Erstellen, gestalten und implementieren Sie Robotikanwendungen mit neuen NVIDIA Isaac Foundation Modellen und Workflows.

Neue AI-Entwicklungstools helfen Entwicklern, die Robotik-Entwicklung zu beschleunigen. Dazu gehören:

AMRs und AGVs sind entscheidend für die Effizienz von Montagelinien, Materialtransport und Logistik im Gesundheitswesen. Da diese Roboter in komplexen und unstrukturierten Umgebungen navigieren, wird die Fähigkeit, ihre Umgebung wahrzunehmen und darauf zu reagieren, essenziell.   Isaac Perceptor, basierend auf dem NVIDIA Isaac Robot Operating System (ROS), befähigt Originalgerätehersteller (OEMs), Frachtanbieter, Softwareanbieter und das AMR-Ökosystem, die Entwicklung für die Robotik zu beschleunigen. Teams können mobile Roboter mit Wahrnehmungsfähigkeiten ausstatten, um in unstrukturierten Umgebungen erfolgreich zu navigieren und Hindernissen auszuweichen.   Zu den frühen Kollaborateuren von Isaac Perceptor gehören Marktführer in den Bereichen Lagerhaltung/Intralogistik bis hin zu Automobilherstellern, industriellen Robotikunternehmen und Anbietern von Robotiklösungen wie ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo und Teradyne Robotics.

Hauptmerkmale von Isaac Perceptor

Isaac Perceptor bietet Funktionen zur Bereitstellung von Multi-Kamera-, 3D-Rundumsicht-Fähigkeiten für KI-basierte autonome mobile Roboter.

KI-basierte Tiefenerkennung mit mehreren Kameras

Isaac Perceptor verarbeitet 16,5M Tiefenpunkte pro Sekunde pro Kamera bei 30 Hz. Die Stereo-Disparität wird aus einem zeitlich synchronisierten Bildpaar einer Stereo-Kamera berechnet und dient der Erstellung eines Tiefenbildes oder einer Punktwolke für eine Szene. Ein effizientes semi-supervised Deep Neural Network (ESS DNN) bietet ein GPU-beschleunigtes Paket für DNN-basierte Stereo-Disparität.
 

Multi-Kamera Visuelle Inertialodometrie

Isaac ROS Visual SLAM bietet ROS 2-Pakete für visuelle simultane Lokalisierung und Kartierung (VSLAM) sowie visuelle Odometrie (VO). Dies basiert auf der NVIDIA CUDA Visual SLAM (cuVSLAM) Bibliothek und ermöglicht eine robuste Navigation mit weniger als 1% Übersetzungsfehler, selbst in umgebungen ohne markante Merkmale.   Die Navigation in Umgebungen mit spärlichen visuellen Merkmalen oder sich wiederholenden Mustern stellt eine bekannte Herausforderung für VSLAM-Lösungen dar. Dies kann gemildert werden, indem Eingaben aus mehreren Blickwinkeln kombiniert werden. In der neuesten Aktualisierung integriert cuVSLAM die gleichzeitige Schätzung der visuellen Odometrie aus mehreren Stereo-Kameras.   Unsere Tests zeigten eine deutliche Verbesserung. Roboter erreichten konsequent ihre Navigationsziele mit mehreren Kameras, verglichen mit weniger als 25% bei einer einzelnen Kamera.  

Echtzeit-Voxelgitter-Kartierung mit mehreren Kameras

Im Kern des Isaac Perceptor befindet sich nvblox, die CUDA-beschleunigte 3D-Rekonstruktionsbibliothek, die Hindernisse bis zu fünf Meter entfernt erkennen kann, um eine 2D-Kostenkarte bereitzustellen und diese in weniger als 300 ms zu aktualisieren.   Isaac ROS nvblox bietet ROS 2-Pakete für die 3D-Szenenrekonstruktion und die Erstellung von lokalen Hinderniskostenkarten für die Navigation. Dieses Paket kann für stationäre Umgebungen und Szenen mit Personen und mobilen Objekten verwendet werden.   Einzigartig in dieser Version ist die Unterstützung mehrerer Kameras für eine erweiterte Abdeckung mit bis zu drei HAWK-Kameras, die ein Sichtfeld von etwa 270° bieten.  

NVIDIA Nova Orin Entwicklerkit

Dieses Entwicklerkit, das NVIDIA Jetson AGX Orin umfasst, unterstützt bis zu sechs Kameras, darunter bis zu drei Stereo- und drei Fisheye-Kameras, mit einer intra-Kamera-Latenz von unter 100 Mikrosekunden.   Die Stereo-Kameras bieten eine Auflösung von 2 MP pro Kamera, mit einem Sichtfeld von 110X70, geeignet für 3D-Occupancy-Grid-Mapping, Tiefenwahrnehmung, visuelle Odometrie und Personenerkennung. Kaufen Sie ein Nova Orin Entwicklerkit von Segway oder Leopard Imaging, um Isaac Perceptor zu nutzen.   Isaac Perceptor verfügt über einen Referenzgraphen, der auf diesem Entwicklerkit bis zu drei Stereo-Kameras unterstützt. Mit verbesserter Modularität durch ROS 2 Pakete bietet diese Version auch eine Referenzintegration mit Nav2 auf dem Nova Carter Referenzroboter.

Verbesserte Kompatibilität mit Kameras und Sensoren

Isaac Perceptor bietet verbesserte Unterstützung für die Integration mit Kamera- und Sensorpartnern. Orbbec hat erfolgreich seine Gemini 335L Kamera mit NVIDIA Isaac Perceptor Komponenten integriert. Diese Integration wird auf dem NVIDIA Jetson AGX Orin mit Isaac ROS Visual SLAM und Nvblox demonstriert.   LIPS hat ebenfalls erfolgreich seine AE450 Kamera mit der Isaac Perceptor Komponente Nvblox integriert.

NVIDIA Isaac Manipulator

Isaac Manipulator ist ein Workflow aus NVIDIA-beschleunigten Bibliotheken und AI-Modellen. Er ermöglicht es Entwicklern, AI-Beschleunigung auf Roboterarme oder Manipulatoren zu bringen, die nahtlos ihre Umgebungen wahrnehmen, verstehen und mit ihnen interagieren können.   Seine Grundmodelle und beschleunigten Bibliotheken können als unabhängige Module oder als kompletter Workflow in der Lösungsentwicklung integriert werden. Neben unabhängigen, modularen Komponenten erhalten Entwickler auch Beispiel-Workflows (ROS 2-Startscripte), die Isaac Manipulator-Komponenten für eine vollständige End-to-End-Referenzintegration kombinieren.  

Zu den frühen Partnern des Isaac Manipulators gehören Unternehmen aus den Bereichen Roboterentwicklungsplattformen, OEMs und ISVs/SIs, darunter Intrinsic (ein Unternehmen von Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention und Yaskawa.

Hauptmerkmale des Isaac Manipulator

Isaac Manipulator bringt KI-Funktionen, um die Entwicklung von Roboterarmen zu beschleunigen.

cuMotion für schnellere Wegplanung

Dieser GPU-beschleunigte Bewegungsplaner hilft, Zykluszeiten zu reduzieren. cuMotion ist als Plugin für das MoveIt 2 Bewegungsplanungs-Framework verfügbar, ein Open-Source-Projekt, das von einer internationalen Gemeinschaft entwickelt und von PickNik Robotics geleitet wird.   cuMotion führt die Trajektorienoptimierung parallel über mehrere Seeds aus und liefert die beste Lösung zurück.

Solomon, ein führendes Unternehmen für fortschrittliche Bildverarbeitungs- und Robotiklösungen, ist ein früher Mitarbeiter von Isaac Manipulator. Ihr durch Isaac Manipulator cuMotion verbessertes Bin-Picking-System lieferte eine achtmal schnellere Pfadplanung und reduzierte das Auftreten von Pfadsingularitäten um 50 % im Vergleich zu konventionellen Algorithmen.

FoundationPose

FoundationPose ist ein neues, einheitliches Basis-Modell für die Einzellauf-6D-Pose-Schätzung und -Verfolgung neuartiger Objekte. Dieses Modell ist darauf ausgelegt, mit hoher Genauigkeit in Anwendungen zu arbeiten, die auf zuvor unbekannte Objekte treffen, ohne dass eine Feineinstellung erforderlich ist.   FoundationPose steht derzeit an der Spitze der 2023 BOP Leaderboard für die 6D-Lokalisierung unbekannter Objekte. Es ist robust gegenüber Verdeckungen, schnellen Bewegungen und unterschiedlichen Objekteigenschaften wie Textur und Maßstab, was in verschiedenen Szenarien eine zuverlässige Leistung gewährleistet. Entwickler können realistische Ansichten des Objekts aus jedem Winkel erzeugen. Holen Sie sich das FoundationPose-Modell von GitHub.  

SyntheticaDETR

SyntheticaDETR ist eine Reihe von Modellen, die auf Real-Time DEtection TRansformer (DETRs) basieren und für single-shot, bildraumbezogene Objekterkennung trainiert wurden, wobei synthetische Daten verwendet werden, die mithilfe von NVIDIA Omniverse generiert wurden. Es implementiert einen effizienteren Ansatz gegenüber traditionellen Objektdetektoren, indem es alle Objekte gleichzeitig mithilfe einer Encoder-Decoder-Architektur des Transformers vorhersagt.

Trainiert auf synthetischen und realen Daten, steht SyntheticaDETR an der Spitze der BOP-Rangliste für die 2D-Erkennung von gesehenen Objekten im YCB-Video-Datensatz (mit einer mittleren durchschnittlichen Genauigkeit von 0,885 und einem mittleren durchschnittlichen Rückruf von 0,903).   Diese Modelle können auch Objekte als 2D-Begrenzungsrahmen-Interessensregion für Pose-Schätzer wie NVIDIA FoundationPose erkennen. Laden Sie das SyntheticaDETR-Modell herunter und laden Sie Isaac Manipulator herunter.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 ist mit JetPack 6.0 kompatibel und wird auf allen NVIDIA Jetson Orin Modulen und Entwickler-Kits unterstützt.   Modulare, API-gesteuerte Services zur schnelleren und einfacheren Entwicklung von generativer KI und Robotikanwendungen kommen bald mit NVIDIA Jetson Platform Services. Diese vorgefertigten und anpassbaren Services sind darauf ausgelegt, die Entwicklung von KI-Anwendungen auf NVIDIA Jetson Orin System-on-Modules zu beschleunigen.

NVIDIA Isaac Sim 4.0

Mit Isaac Sim können Entwickler synthetische Daten und vielfältige, virtuelle komplexe Testumgebungen mit branchenführender Sensor- und Robotertypprüfung erzeugen. Dies ermöglicht hochrealistische Simulationen zum Testen von Tausenden von Robotern gleichzeitig in Echtzeit.

NVIDIA Isaac Lab

Isaac Lab ist eine leichte Referenzanwendung, die auf der Isaac Sim Plattform aufgebaut ist und eine entscheidende Rolle im Training von Roboter-Grundlagenmodellen spielt. Sie unterstützt Verstärkungslernen, Imitationslernen und Transferlernen. Sie kann eine breite Palette von Roboterverkörperungen trainieren, damit Entwickler Designs und Funktionalitäten erkunden können.
 
Dies bietet Benutzerfreundlichkeit mit VSCode-Integration einschließlich eines Kompatibilitätsprüfers, Multi-GPU-Unterstützung für Verstärkungslernen, Leistungsverbesserungen mit RTX-Sensor-Tiled-Rendering, optimiertem Cache und Shader-Management.
 
Zusätzliche neue Funktionen in Isaac Sim umfassen: