Erkennung von Verstößen gegen Sperrzonen mit fußbasierter räumlicher Intelligenz
Eingeschränkte Bereiche sind in Industrieanlagen, Lagern, Fertigungsumgebungen und anderen sicherheitskritischen Standorten üblich. Die manuelle Überwachung dieser Bereiche ist zeitaufwendig und oft ineffektiv, wenn sofortiges Handeln erforderlich ist. Dieses Projekt zeigt, wie ein KI-gestütztes System zur Überwachung von Sperrzonen mit dem Qualcomm Intelligent Multimedia SDK (IM SDK) aufgebaut werden kann. Durch die Kombination von Fußdetektion in Echtzeit mit räumlicher Intelligenz ermittelt die Anwendung, ob eine Person einen vordefinierten Sperrbereich betreten hat. Wenn es zu einem Verstoß kommt, hebt das System das Ereignis visuell hervor und kann Metadaten für die Integration in Sicherheitsüberwachungs-Dashboards und Alarmierungssysteme streamen. Die Lösung läuft effizient unter Verwendung von Qualcomm hardwarebeschleunigten GStreamer-Plugins für die Videoverarbeitung, KI-Inferenz und Visualisierung.
Geräte & Komponenten
Software & Tools
Projektbeschreibung
Dieses Projekt implementiert einen Echtzeit-Alarm für Sperrzonen, der Computer Vision und AI nutzt, um zu erkennen, wenn die Füße einer Person eine vordefinierte polygonale Sicherheitszone betreten.
Eine Kamera überwacht kontinuierlich die Szene, während ein Fußerkennungsmodell die Fußpositionen in jedem Videoframe identifiziert. Die erkannten Fußkoordinaten werden anhand eines konfigurierbaren Sperrzonen-Polygons ausgewertet. Gelangt eine Fußposition in den definierten Bereich, kennzeichnet die Anwendung den Verstoß sofort und aktualisiert die Visualisierung auf dem Bildschirm. Die Lösung zeigt, wie Entwickler AI-Inferenz, räumliches Schlussfolgern, hardwarebeschleunigte Videoverarbeitung und Echtzeit-Streaming kombinieren können, um Arbeitssicherheitsanwendungen für Edge-AI-Systeme zu erstellen.
App-Workflow
Hauptmerkmale
Echtzeit-Erkennung von Verstößen gegen Sperrzonen
KI-basierte Fußlokalisierung für eine genaue Positionsbestimmung
Polygonbasierte Zonendefinition und -bewertung
Hardwarebeschleunigte Videodekodierung, Inferenz, Visualisierung und Kodierung
Dynamische visuelle Warnmeldungen mit Verstoßindikatoren
RTSP- und WebRTC-Streaming-Unterstützung
AI-Metadaten-Streaming für externe Überwachungssysteme
Mehrere Eingangsquellen
Modulare, auf GStreamer basierende Pipeline-Architektur
Optimiert für Qualcomm Edge-AI-Plattformen
Anwendungen
Erfassen Sie Live-Videostreams aus verschiedenen Kamerasources
KI-Inferenz mit einem Fußerkennungsmodell ausführen
Metadaten zur Fußposition extrahieren und verarbeiten
Definieren und konfigurieren Sie eingeschränkte Zonen mithilfe von Polygonen
Bestimmen Sie, ob erkannte Füße innerhalb oder außerhalb eines geschützten Bereichs liegen
Echtzeit-Sicherheitswarnungen generieren
KI-Ergebnisse über Videostreams legen
Streamen Sie annotierte Videos und Metadaten an entfernte Systeme
Entwickeln Sie skalierbare industrielle Sicherheits- und Schutzanwendungen auf Qualcomm-Plattformen
Projektschritte
Für vollständige Anweisungen zur Einrichtung, Modellanforderungen, Bereitstellungsschritte, Details zur Pipeline-Konfiguration und Quellcode folgen Sie vor dem Ausführen der Anwendung dem Blog zur Erkennung von Verletzungen eingeschränkter Bereiche.
Schritt 1 – Plattform vorbereiten: Richten Sie die Qualcomm Intelligent Multimedia SDK-Umgebung ein und verifizieren Sie, dass alle erforderlichen Softwareabhängigkeiten installiert sind.
Schritt 2 – Projekt-Assets herunterladen: Rufen Sie die in dem Tutorial beschriebene Anwendung zur Erkennung von Sperrzonen, AI-Modell-Dateien und Konfigurations-Assets ab.
Schritt 3 – Konfigurieren der Sperrzone: Definieren Sie die Polygonkoordinaten der Zone, die den geschützten Bereich innerhalb der Kamerasicht darstellen.
Schritt 4 – Die Anwendung bereitstellen: Kopieren Sie die Konfigurationsdateien, Modelldateien und Anwendungskomponenten auf das Zielgerät.
Schritt 5 – Pipeline starten: Starten Sie die Pipeline zur Fußerkennung und Überwachung der Sperrzone.
Schritt 6 – Ergebnisse überwachen: Grüne Anzeige = Fuß außerhalb der Sperrzone / Rote Anzeige = Verstoß gegen die Sperrzone erkannt
Schritt 7 – Stream-Ergebnisse: Greifen Sie über RTSP oder WebRTC auf den verarbeiteten Stream zu und nutzen Sie optional AI-Metadaten für Protokollierung oder Alarmierung.
Durchführung des Projekts
Die genauen Befehle können je nach Plattformkonfiguration und Bereitstellungsmethode variieren. Befolgen Sie das Blog-Tutorial für vollständige Details zur Einrichtung und aktualisierte Anweisungen zum Kompilieren der Anwendung und zum Ausführen.
Beispiel-App mit RTSP-Eingang ausführen
gst-restricted-zone \
--input-type=file \
--input-config=$HOME/media/rz_sample.mp4 \
--output-type=rtsp \
--output-config=8900
Beispiel-App mit USB-Kameraeingang und WebRTC-Ausgang ausführen
gst-restricted-zone \
--input-type=USB \
--input-config=/dev/video0
--output-type=webrtc \
--output-config=wss://webrtc.nirbheek.in:8443 \
--webrtc-id=1010
Ausgabestrom anzeigen
vlc rtsp://<device-ip>:8554/stream
Erwartete Ergebnisse
Wenn die Anwendung ausgeführt wird:
Fußpositionen werden in Echtzeit erkannt.
Das Polygon der Sperrzone wird auf dem Bildschirm angezeigt.
Personen außerhalb der Zone sind als sicher markiert.
Verstöße werden sofort hervorgehoben, wenn ein Fuß in den geschützten Bereich tritt.
AI-Metadaten werden zusammen mit dem Videostream generiert.
Das verarbeitete Video kann an Fernüberwachungssysteme gestreamt werden.
Code
GitHub-Repository
GitHub-Repository für Beispielanwendung
Qualcomm® IM SDK bietet hardwarebeschleunigte GStreamer-Plugins und Referenz-Apps für die Multimedia-Entwicklung sowie AI SDK-Integrationen wie Neural Processing SDK, AI Engine Direct und Lite Runtime.
Artikel tags