Arrow Electronic Components Online

Erkennung von Verstößen gegen Sperrzonen mit fußbasierter räumlicher Intelligenz

Dragonwing Robotics22 Sept. 2026
Zwei Ingenieure mit Schutzhelmen und Westen überwachen mehrere Bildschirme in einem Kontrollraum
Alle Artikel anzeigen

Eingeschränkte Bereiche sind in Industrieanlagen, Lagern, Fertigungsumgebungen und anderen sicherheitskritischen Standorten üblich. Die manuelle Überwachung dieser Bereiche ist zeitaufwendig und oft ineffektiv, wenn sofortiges Handeln erforderlich ist. Dieses Projekt zeigt, wie ein KI-gestütztes System zur Überwachung von Sperrzonen mit dem Qualcomm Intelligent Multimedia SDK (IM SDK) aufgebaut werden kann. Durch die Kombination von Fußdetektion in Echtzeit mit räumlicher Intelligenz ermittelt die Anwendung, ob eine Person einen vordefinierten Sperrbereich betreten hat. Wenn es zu einem Verstoß kommt, hebt das System das Ereignis visuell hervor und kann Metadaten für die Integration in Sicherheitsüberwachungs-Dashboards und Alarmierungssysteme streamen. Die Lösung läuft effizient unter Verwendung von Qualcomm hardwarebeschleunigten GStreamer-Plugins für die Videoverarbeitung, KI-Inferenz und Visualisierung.

Geräte & Komponenten

Software & Tools

Projektbeschreibung

Dieses Projekt implementiert einen Echtzeit-Alarm für Sperrzonen, der Computer Vision und AI nutzt, um zu erkennen, wenn die Füße einer Person eine vordefinierte polygonale Sicherheitszone betreten.
 
Eine Kamera überwacht kontinuierlich die Szene, während ein Fußerkennungsmodell die Fußpositionen in jedem Videoframe identifiziert. Die erkannten Fußkoordinaten werden anhand eines konfigurierbaren Sperrzonen-Polygons ausgewertet. Gelangt eine Fußposition in den definierten Bereich, kennzeichnet die Anwendung den Verstoß sofort und aktualisiert die Visualisierung auf dem Bildschirm. Die Lösung zeigt, wie Entwickler AI-Inferenz, räumliches Schlussfolgern, hardwarebeschleunigte Videoverarbeitung und Echtzeit-Streaming kombinieren können, um Arbeitssicherheitsanwendungen für Edge-AI-Systeme zu erstellen. 

Vertical workflow diagram illustrates an AI video analytics pipeline for detecting foot violations in restricted zones

App-Workflow

Hauptmerkmale

  • Echtzeit-Erkennung von Verstößen gegen Sperrzonen

  • KI-basierte Fußlokalisierung für eine genaue Positionsbestimmung

  • Polygonbasierte Zonendefinition und -bewertung

  • Hardwarebeschleunigte Videodekodierung, Inferenz, Visualisierung und Kodierung

  • Dynamische visuelle Warnmeldungen mit Verstoßindikatoren

  • RTSP- und WebRTC-Streaming-Unterstützung

  • AI-Metadaten-Streaming für externe Überwachungssysteme

  • Mehrere Eingangsquellen

  • Modulare, auf GStreamer basierende Pipeline-Architektur

  • Optimiert für Qualcomm Edge-AI-Plattformen

Anwendungen

  • Erfassen Sie Live-Videostreams aus verschiedenen Kamerasources

  • KI-Inferenz mit einem Fußerkennungsmodell ausführen

  • Metadaten zur Fußposition extrahieren und verarbeiten

  • Definieren und konfigurieren Sie eingeschränkte Zonen mithilfe von Polygonen

  • Bestimmen Sie, ob erkannte Füße innerhalb oder außerhalb eines geschützten Bereichs liegen

  • Echtzeit-Sicherheitswarnungen generieren

  • KI-Ergebnisse über Videostreams legen

  • Streamen Sie annotierte Videos und Metadaten an entfernte Systeme

  • Entwickeln Sie skalierbare industrielle Sicherheits- und Schutzanwendungen auf Qualcomm-Plattformen

Projektschritte

Für vollständige Anweisungen zur Einrichtung, Modellanforderungen, Bereitstellungsschritte, Details zur Pipeline-Konfiguration und Quellcode folgen Sie vor dem Ausführen der Anwendung dem Blog zur Erkennung von Verletzungen eingeschränkter Bereiche.

  • Schritt 1 – Plattform vorbereiten: Richten Sie die Qualcomm Intelligent Multimedia SDK-Umgebung ein und verifizieren Sie, dass alle erforderlichen Softwareabhängigkeiten installiert sind. 

  • Schritt 2 – Projekt-Assets herunterladen: Rufen Sie die in dem Tutorial beschriebene Anwendung zur Erkennung von Sperrzonen, AI-Modell-Dateien und Konfigurations-Assets ab. 

  • Schritt 3 – Konfigurieren der Sperrzone: Definieren Sie die Polygonkoordinaten der Zone, die den geschützten Bereich innerhalb der Kamerasicht darstellen. 

  • Schritt 4 – Die Anwendung bereitstellen: Kopieren Sie die Konfigurationsdateien, Modelldateien und Anwendungskomponenten auf das Zielgerät. 

  • Schritt 5 – Pipeline starten: Starten Sie die Pipeline zur Fußerkennung und Überwachung der Sperrzone. 

  • Schritt 6 – Ergebnisse überwachen: Grüne Anzeige = Fuß außerhalb der Sperrzone / Rote Anzeige = Verstoß gegen die Sperrzone erkannt 

  • Schritt 7 – Stream-Ergebnisse: Greifen Sie über RTSP oder WebRTC auf den verarbeiteten Stream zu und nutzen Sie optional AI-Metadaten für Protokollierung oder Alarmierung. 

Durchführung des Projekts

Die genauen Befehle können je nach Plattformkonfiguration und Bereitstellungsmethode variieren. Befolgen Sie das Blog-Tutorial für vollständige Details zur Einrichtung und aktualisierte Anweisungen zum Kompilieren der Anwendung und zum Ausführen. 

Beispiel-App mit RTSP-Eingang ausführen

gst-restricted-zone    \
 
        --input-type=file \
 
        --input-config=$HOME/media/rz_sample.mp4 \
 
        --output-type=rtsp \
 
        --output-config=8900   

Beispiel-App mit USB-Kameraeingang und WebRTC-Ausgang ausführen

gst-restricted-zone \
 
        --input-type=USB \
 
        --input-config=/dev/video0
 
        --output-type=webrtc \
 
        --output-config=wss://webrtc.nirbheek.in:8443 \
 
        --webrtc-id=1010  

Ausgabestrom anzeigen

vlc rtsp://<device-ip>:8554/stream

Erwartete Ergebnisse

A small modern lobby area is shown from the perspective of a security camera labeled Camera 01

Wenn die Anwendung ausgeführt wird:

  • Fußpositionen werden in Echtzeit erkannt.

  • Das Polygon der Sperrzone wird auf dem Bildschirm angezeigt.

  • Personen außerhalb der Zone sind als sicher markiert.

  • Verstöße werden sofort hervorgehoben, wenn ein Fuß in den geschützten Bereich tritt.

  • AI-Metadaten werden zusammen mit dem Videostream generiert.

  • Das verarbeitete Video kann an Fernüberwachungssysteme gestreamt werden.

Code

GitHub-Repository

GitHub-Repository für Beispielanwendung

Qualcomm® IM SDK bietet hardwarebeschleunigte GStreamer-Plugins und Referenz-Apps für die Multimedia-Entwicklung sowie AI SDK-Integrationen wie Neural Processing SDK, AI Engine Direct und Lite Runtime.

Artikel tags

Weltweit
Eingebettete Systeme
Artikel
Arduino S.r.l.