App di esempio Qualcomm Linux – Rilevamento oggetti AI e Fusione AI Parallela

A causa delle variabili in costante cambiamento che influenzano la capacità di un drone autonomo di navigare, si utilizza un potente elaborazione AI per il processo decisionale. Poiché sono così complessi, implementare questi controlli AI può essere difficoltoso. Tuttavia, le applicazioni di esempio basate su Linux di Qualcomm offrono agli sviluppatori di prodotti un percorso più rapido al mercato. In questo articolo, scopri le capacità di rilevamento degli oggetti in live-stream e di fusione parallela dei sensori incluse nel Qualcomm Intelligent Multimedia SDK.   L'ultima volta ti abbiamo guidato attraverso due applicazioni di esempio fondamentali del Qualcomm Intelligent Multimedia SDK. Il SDK si basa sul software Qualcomm® Linux®, la nostra distribuzione che ti consente di scrivere una volta e utilizzare per molti dei nostri system-on-chip (SoC) IoT. In questo post esploreremo altre due delle 22 applicazioni di esempio presenti nel SDK per dimostrare come puoi sviluppare applicazioni per i nostri chipset IoT.

Vedere attraverso l'IA: Rilevamento di oggetti in diretta streaming

Questa applicazione da riga di comando, gst-ai-object-detection, acquisisce un flusso video in tempo reale da una videocamera e lo passa ai modelli open-source YOLO (You Only Look Once) di intelligenza artificiale per il rilevamento degli oggetti. Esegue il rilevamento degli oggetti con pre-elaborazione e inferenza AI su blocchi hardware dedicati, eseguendo YOLOV5, YOLOV8 o YOLO-Nas utilizzando il Snapdragon Neural Processing SDK. Successivamente mostra un'anteprima con i risultati sovrapposti, come etichette e riquadri di delimitazione, basati sul modello.   La pipeline dell'applicazione è strutturata come segue:

Ecco un esempio di utilizzo di gst-ai-object-detection per rilevare una persona in un flusso video della telecamera:

Quando utilizzeresti questa applicazione?

gst-ai-object-detection ha dozzine di classi che puoi incorporare nelle tue applicazioni per rilevare oggetti (persone, veicoli, animali, ecc.) e localizzarli in un fotogramma della videocamera. Gli esempi includono il rilevamento di caschi, fuoco/fumo e intrusi.

Fusione AI Parallela: Quattro Inferenze AI su Telecamera Live

Questa applicazione da riga di comando, gst-ai-parallel-inference, estende l'app a un canale sopra citata a quattro canali di elaborazione parallela di modelli AI su blocchi hardware dedicati. Oltre al rilevamento degli oggetti, aggiunge classificazione, rilevamento della postura e segmentazione, quindi visualizza anteprime composte ridimensionate della live camera stream con sovrapposti gli output di tutti e quattro i modelli.   Il pipeline dell'applicazione è una variazione di quella sopra, con un flusso separato per ogni inferenza AI come mostrato di seguito:

Ecco un esempio del flusso video renderizzato da gst-ai-parallel-inference:

Quando utilizzeresti questa applicazione?

Come un superset di gst-ai-object-detection, gst-ai-parallel-inference ti permette di rilevare persone, veicoli, animali e altri oggetti – persino fumo e fuoco – in un fotogramma della videocamera.   Con il rilevamento delle pose, puoi determinare, ad esempio, se una persona sta sdraiata, seduta o in piedi, con la possibilità di stabilire se la persona sia caduta. Un allenatore di palestra o un istruttore di yoga può utilizzare il rilevamento delle pose per capire se uno studente sta assumendo correttamente una determinata posizione. Un’applicazione ergonomica può osservare e ricordare la postura corretta su una sedia o a una scrivania.   Gli scenari delle applicazioni di classificazione includono la categorizzazione dei prodotti, mentre per la segmentazione gli ambiti includono produzione, sanità e logistica.

Prossimi Passi

Questi sono due esempi aggiuntivi delle applicazioni coinvolgenti che abbiamo creato per mostrare Qualcomm Linux. Puoi ottenerle insieme all’intero Qualcomm Intelligent Multimedia SDK in open source, con altre 20 applicazioni per AI e multimedia. Successivamente, puoi iniziare a integrarle nelle tue applicazioni.   Abbiamo progettato Qualcomm Linux in modo che tu possa scrivere una sola volta e utilizzare lo stesso codice sorgente su diversi chip IoT. Il Qualcomm Intelligent Multimedia SDK rappresenta la prima volta che abbiamo reso disponibili a sviluppatori via API tutti i nostri sottosistemi multimediali – inclusi fotocamera, intelligenza artificiale e audio. Poiché mettiamo sempre più a disposizione in open source, puoi personalizzare, sperimentare e contribuire a questo lavoro. È un grande passo nella nostra mentalità orientata agli sviluppatori, in cui rendiamo più facile per te sviluppare le personalizzazioni che desideri nelle tue applicazioni IoT basate su Linux.