Applications d'exemple Qualcomm Linux : bases pour l'inférence AI et la vidéo dans les applications IoT
Pour que les robots puissent jouer un rôle plus important dans notre société, ils doivent être capables d'interagir intelligemment avec leurs environnements dynamiques. Une partie du défi pour y parvenir consiste à intégrer de vastes quantités de données provenant de nombreuses caméras et capteurs. Des blocs de logiciels Linux® préécrits facilitent cette tâche. Cet article de Qualcomm explore des exemples d'applications pour l'inférence AI et la vidéo dans les applications IoT et robotiques.
Diffusion multi-caméra
L'application en ligne de commande gst-multi-camera-example démontre la diffusion à partir de deux capteurs de caméra simultanément. Elle peut appliquer une composition côte à côte des flux vidéos pour afficher sur un dispositif d'affichage, ou encoder et stocker les flux dans des fichiers.
Le pipeline de l'application ressemble à ceci :
L'application prend en charge deux configurations :
- Composition et affichage – Le plugin qtimmfsrc sur la caméra 0 et la caméra 1 capte les données des deux capteurs de caméra. qtivcomposer effectue la composition, puis waylandsink affiche les flux côte à côte sur l'écran.
- Encodage vidéo – Le plugin qtimmfsrc sur la caméra 0 et la caméra 1 capture les données des deux capteurs de caméras et les transmet au plugin v4l2h264enc. Ce plugin encode et compresse les flux des caméras au format H.264, puis les transmet pour être analysés et multiplexés respectivement à l’aide des plugins h264parse et mp4mux. Enfin, les flux sont transmis au plugin filesink, qui les enregistre sous forme de fichiers.
Voici un exemple du résultat de la première configuration : L'image du côté droit est monochrome, car le deuxième capteur de caméra sur le kit de développement est monochrome.
Quand utiliseriez-vous cette application ?
gst-multi-camera-example est un élément de base pour capturer des données à partir de deux capteurs de caméra, avec des options pour composer et afficher les flux vidéo ou encoder et stocker les flux dans des fichiers. Vous pouvez utiliser cette application d'exemple comme base pour vos propres applications de capture/encodage de caméra, y compris pour les caméras embarquées et les caméras stéréo.
Mur vidéo – Décodage et affichage vidéo multi-canaux
L'application en ligne de commande gst-concurrent-videoplay-composition facilite le décodage et la lecture vidéo simultanés pour les vidéos codées en AVC. L'application réalise une composition sur plusieurs flux vidéo provenant de fichiers ou du réseau (par exemple, des caméras IP) pour un affichage sous forme de mur vidéo.
L'application peut prendre plusieurs fichiers vidéo (comme 4 ou 8) en entrée, décoder toutes les vidéos compressées, les redimensionner et les composer sous forme de mur vidéo. L'application nécessite au moins un fichier vidéo en entrée, au format MP4 avec un codec AVC.
Le pipeline de l'application se présente comme suit pour 4 canaux :
Chaque canal utilise des plugins pour effectuer le traitement suivant :
- Lit des données vidéo compressées à partir d'un fichier à l'aide de filesrc.
- Démultiplexe le fichier avec qtdemux.
- Analyse les flux vidéo H.264 en utilisant h264parse.
- Décode les flux à l'aide de v4l2h264dec.
Les flux décodés de tous les canaux sont ensuite composés ensemble à l'aide de qtivcomposer et affichés en utilisant waylandsink.
Voici un exemple d'utilisation de l'application gst-concurrent-videoplay-composition sur 4 flux vidéo :
Quand utiliseriez-vous cette application ?
Avec gst-concurrent-videoplay-composition, vous pouvez décoder plusieurs flux vidéo compressés, puis les composer en un mur vidéo ; par exemple, dans des espaces de vente au détail et des affichages numériques. En tant que box edge pour la surveillance vidéo, vous pouvez capturer les entrées de plusieurs caméras IP et les afficher sur un seul écran. Dans une application de visioconférence, vous pouvez traiter et afficher les flux de plusieurs participants à l'appel, chaque participant diffusant une vidéo.
Prochaines étapes
Vous pouvez obtenir ces applications ou l'intégralité du Qualcomm Intelligent Multimedia SDK sur GitHub. Ensuite, vous pouvez commencer à les intégrer dans vos propres applications.
Étiquettes d'article
