Détection de violation de zone restreinte grâce à l’intelligence spatiale basée sur les pieds
Les zones réglementées sont courantes dans les installations industrielles, les entrepôts, les environnements de fabrication et d’autres lieux critiques pour la sécurité. La surveillance manuelle de ces zones est chronophage et souvent inefficace lorsqu’une action immédiate est requise. Ce projet montre comment construire un système de surveillance de zone réglementée alimenté par l’AI à l’aide du Qualcomm Intelligent Multimedia SDK (IM SDK). En combinant la détection des pieds en temps réel à l’intelligence spatiale, l’application détermine si une personne est entrée dans une zone réglementée prédéfinie. Lorsqu’une infraction se produit, le système met l’événement en évidence visuellement et peut diffuser des métadonnées pour l’intégration avec des tableaux de bord de surveillance de la sécurité et des systèmes d’alerte. La solution fonctionne efficacement en utilisant des plugins GStreamer accélérés matériellement Qualcomm pour le traitement vidéo, l’inférence AI et la visualisation.
Appareils & composants
Logiciels & outils
Description du projet
Ce projet met en œuvre une alarme de zone restreinte en temps réel qui utilise la vision par ordinateur et l’AI pour détecter quand les pieds d’une personne franchissent une zone de sécurité polygonale prédéfinie.
Une caméra surveille en continu la scène tandis qu’un modèle de détection des pieds identifie les positions des pieds dans chaque image vidéo. Les coordonnées des pieds détectés sont évaluées par rapport à un polygone de zone restreinte configurable. Si une position de pied entre dans la zone définie, l’application signale immédiatement la violation et met à jour la visualisation à l’écran. La solution montre comment les développeurs peuvent combiner l’inférence AI, le raisonnement spatial, le traitement vidéo accéléré par matériel et le streaming en temps réel pour créer des applications de sécurité au travail pour des systèmes edge AI.
Flux de travail de l’application
Caractéristiques principales
Détection en temps réel des violations de zones restreintes
Localisation du pied basée sur l’AI pour une connaissance précise de la position
Définition et évaluation de zones basées sur des polygones
Décodage, inférence, visualisation et encodage vidéo accélérés par matériel
Alertes visuelles dynamiques avec indicateurs de violation
Prise en charge de la diffusion en continu RTSP et WebRTC
Diffusion en continu des métadonnées AI pour les systèmes de surveillance externes
Sources d’entrée multiples
Architecture de pipeline modulaire basée sur GStreamer
Optimisé pour les plateformes d’IA en périphérie de Qualcomm
Applications
Capturez des flux vidéo en direct à partir de diverses sources de caméras
Exécutez une inférence AI à l’aide d’un modèle de détection de pieds
Extraire et traiter les métadonnées de localisation du pied
Définir et configurer des zones restreintes à l’aide de polygones
Déterminer si les pieds détectés se trouvent à l’intérieur ou à l’extérieur d’une zone protégée
Générez des alertes de sécurité en temps réel
Superposer les résultats de l’IA sur des flux vidéo
Diffusez en continu des vidéos annotées et des métadonnées vers des systèmes distants
Créez des applications de sûreté et de sécurité industrielles évolutives sur les plateformes Qualcomm
Étapes du projet
Pour des instructions de configuration complètes, les exigences du modèle, les étapes de déploiement, les détails de configuration du pipeline et le code source, consultez le blog sur la détection des violations de zones restreintes avant d’exécuter l’application.
Étape 1 – Préparer la plateforme : Configurez l’environnement Qualcomm Intelligent Multimedia SDK et vérifiez que toutes les dépendances logicielles requises sont installées.
Étape 2 – Télécharger les ressources du projet : Obtenez l’application de détection de zone restreinte, les fichiers de modèle AI et les ressources de configuration décrits dans le tutoriel.
Étape 3 – Configurer la zone restreinte : Définissez les coordonnées du polygone de zone qui représentent la zone protégée dans le champ de vision de la caméra.
Étape 4 – Déployer l’application : Copiez les fichiers de configuration, les fichiers de modèle et les composants de l’application sur l’appareil cible.
Étape 5 – Lancer le pipeline : Démarrez le pipeline de détection des pieds et de surveillance des zones restreintes.
Étape 6 – Surveiller les résultats : Indicateur vert = pied en dehors de la zone restreinte / Indicateur rouge = violation de la zone restreinte détectée
Étape 7 – Résultats du flux : Accédez au flux traité via RTSP ou WebRTC et, en option, exploitez les métadonnées AI à des fins de journalisation ou d’alerte.
Exécution du projet
Les commandes exactes peuvent varier selon la configuration de la plateforme et la méthode de déploiement. Suivez le tutoriel du blog pour obtenir les détails complets de configuration et des instructions mises à jour afin de compiler l’application et de l’exécuter.
Exécuter l’application exemple avec une entrée RTSP
gst-zone-restreinte \
--type-d’entrée=file \
--configuration-d’entrée=$HOME/media/rz_sample.mp4 \
--type-de-sortie=rtsp \
--configuration-de-sortie=8900
Exécuter l'application d'exemple avec une entrée caméra USB et une sortie WebRTC
gst-restricted-zone \
--input-type=USB \
--input-config=/dev/video0
--output-type=webrtc \
--output-config=wss://webrtc.nirbheek.in:8443 \
--webrtc-id=1010
Afficher le flux de sortie
vlc rtsp://<device-ip>:8554/stream
Résultats attendus
Lorsque l’application est en cours d’exécution :
Les positions des pieds sont détectées en temps réel.
Le polygone de zone restreinte est affiché à l’écran.
Les personnes en dehors de la zone sont marquées comme étant en sécurité.
Les infractions sont immédiatement mises en évidence lorsqu’un pied franchit la zone protégée.
Les métadonnées AI sont générées parallèlement au flux vidéo.
La vidéo traitée peut être diffusée en continu vers des systèmes de surveillance à distance.
Code
Dépôt GitHub
Dépôt GitHub pour l’application d’exemple
Qualcomm® IM SDK fournit des plugins GStreamer accélérés par matériel et des applications de référence pour le développement multimédia, ainsi que des intégrations de SDK AI telles que Neural Processing SDK, AI Engine Direct et Lite Runtime.
Étiquettes d'article
