Créer, concevoir et déployer des applications robotiques en utilisant les nouveaux modèles et flux de travail NVIDIA Isaac Foundation

De nouveaux outils de développement AI aident les développeurs à accélérer le développement de la robotique. Ceux-ci incluent :

Les AMR et AGV sont essentiels pour l'efficacité des chaînes de montage, la manipulation des matériaux et la logistique dans le domaine de la santé. Alors que ces robots naviguent dans des environnements complexes et non structurés, la capacité de percevoir et de réagir à leur environnement devient primordiale.   Isaac Perceptor, construit sur le NVIDIA Isaac Robot Operating System (ROS), permet aux fabricants d'équipements d'origine (OEM), aux prestataires de services de fret, aux fournisseurs de logiciels et à l'écosystème des AMR d'accélérer le développement pour la robotique. Les équipes peuvent doter les robots mobiles de capacités de perception pour une navigation réussie et l'évitement des obstacles dans des environnements non structurés.   Parmi les premiers collaborateurs d'Isaac Perceptor figurent des leaders de l'industrie dans l'entreposage/intralogistique, les constructeurs automobiles, les entreprises de fabrication de robots industriels et les fournisseurs de solutions robotiques, tels que ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo et Teradyne Robotics.

Caractéristiques principales d’Isaac Perceptor

Isaac Perceptor offre des fonctionnalités permettant de fournir des capacités de vision panoramique 3D multi-caméras pour les robots mobiles autonomes basés sur l'IA.

Perception de profondeur basée sur l'IA à plusieurs caméras

Isaac Perceptor traite 16,5 millions de points de profondeur par seconde et par caméra à 30 Hz. La disparité stéréo est calculée à partir d'une paire d'images synchronisées dans le temps provenant d'une caméra stéréo et est utilisée pour produire une image de profondeur ou un nuage de points pour une scène. Un réseau neuronal profond semi-supervisé efficace (ESS DNN) offre un package accéléré par GPU pour la disparité stéréo basée sur les DNN.  

Odométrie visuelle inertielle multi-caméras

Isaac ROS Visual SLAM fournit des packages ROS 2 pour la localisation et la cartographie simultanées visuelles (VSLAM) et l'odométrie visuelle (VO). Cela repose sur la bibliothèque NVIDIA CUDA Visual SLAM (cuVSLAM) et offre une navigation robuste avec moins de 1 % d'erreur de translation lors de la navigation dans des environnements dépourvus de caractéristiques.   La navigation dans des environnements avec des caractéristiques visuelles rares ou des motifs répétitifs pose un défi bien connu pour les solutions VSLAM. Cela peut être atténué en fusionnant les entrées de plusieurs points de vue. Dans la dernière mise à jour, cuVSLAM intègre une estimation d'odométrie visuelle concurrente à partir de plusieurs caméras stéréo.   Nos tests ont indiqué une amélioration notable. Les robots ont systématiquement atteint leurs objectifs de navigation en utilisant plusieurs caméras, contre moins de 25 % avec une seule caméra.  

Cartographie de grille de voxels multi-caméras en temps réel

Au cœur de l'Isaac Perceptor se trouve nvblox, la bibliothèque de reconstruction 3D accélérée par CUDA qui peut identifier des obstacles jusqu'à cinq mètres de distance pour fournir une carte de coût 2D et les mettre à jour en moins de 300 ms.   Isaac ROS nvblox fournit des packages ROS 2 pour la reconstruction de scènes 3D et la génération de cartes de coût d'obstacle locales pour la navigation. Ce package peut être utilisé pour des environnements stationnaires et des scènes comprenant des personnes et des objets mobiles.   Ce qui est unique dans cette version, c'est la prise en charge de plusieurs caméras pour une couverture étendue utilisant jusqu'à trois caméras HAWK, offrant un champ de vision d'environ 270°.  

NVIDIA Nova Orin Kit de Développement

Ce kit de développement, équipé du NVIDIA Jetson AGX Orin, prend en charge jusqu'à six caméras, y compris jusqu'à trois caméras stéréo et trois caméras fisheye, avec une latence intra-caméra de moins de 100 microsecondes.   Les caméras stéréo offrent une résolution de 2MP par caméra, avec un champ de vision de 110X70, adapté à la cartographie de grille d'occupation en 3D, la détection de profondeur, l'odométrie visuelle et la détection des personnes. Achetez un kit de développement Nova Orin auprès de Segway ou Leopard Imaging pour utiliser Isaac Perceptor.   Isaac Perceptor dispose d'un graphe de référence prenant en charge jusqu'à trois caméras stéréo sur ce kit de développement. Avec une modularité améliorée grâce aux packages ROS 2, cette version inclut également une intégration de référence avec Nav2 sur le robot de référence Nova Carter.

Compatibilité améliorée avec les caméras et les capteurs

Isaac Perceptor offre un support amélioré pour l'intégration avec les partenaires de caméras et de capteurs. Orbbec a intégré avec succès sa caméra Gemini 335L avec les composants NVIDIA Isaac Perceptor. Cette intégration est démontrée sur le NVIDIA Jetson AGX Orin en utilisant Isaac ROS Visual SLAM et Nvblox.   LIPS a également intégré avec succès sa caméra AE450 avec le composant Isaac Perceptor, Nvblox.

NVIDIA Isaac Manipulator

Isaac Manipulator est un flux de travail basé sur des bibliothèques accélérées par NVIDIA et des modèles d'IA. Il permet aux développeurs d'apporter une accélération par l'IA aux bras robotiques, ou manipulateurs, qui peuvent percevoir, comprendre et interagir de manière transparente avec leur environnement.   Ses modèles de base et bibliothèques accélérées peuvent être intégrés comme modules indépendants ou comme un flux de travail complet dans le développement de solutions. En plus des composants indépendants et modulaires, des flux de travail d'exemple (scripts de lancement ROS 2) combinant les composants d'Isaac Manipulator sont également fournis aux développeurs pour une intégration de référence complète de bout en bout.  

Les premiers collaborateurs d'Isaac Manipulator incluent des entreprises de plateformes de développement robotique, des OEM et des ISV/SI, notamment Intrinsic (une société d'Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention et Yaskawa.

Principales caractéristiques d'Isaac Manipulator

Isaac Manipulator intègre des fonctionnalités d'IA pour accélérer le développement des bras robotisés.

cuMotion pour une planification de trajectoire plus rapide

Ce planificateur de mouvement accéléré par GPU aide à réduire les temps de cycle. cuMotion est disponible en tant que plugin pour le framework de planification de mouvement MoveIt 2, un projet open-source développé par une communauté internationale et dirigé par PickNik Robotics.   cuMotion exécute l'optimisation de trajectoire sur plusieurs points de départ en parallèle et renvoie la meilleure solution.

Solomon, un leader dans les solutions avancées de vision et de robotique, est un collaborateur précoce de Isaac Manipulator. Leur système de prélèvement dans les bacs amélioré par Isaac Manipulator cuMotion a offert une planification de trajectoire huit fois plus rapide et réduit les occurrences de singularité de trajectoire de 50 % par rapport aux algorithmes classiques.

FoundationPose

FoundationPose est un nouveau modèle de base unifié pour l'estimation et le suivi de la pose 6D en une seule prise de vue sur des objets nouveaux. Ce modèle est conçu pour fonctionner avec une grande précision dans les applications rencontrant des objets inconnus, sans nécessiter de réglage personnalisé.   FoundationPose occupe actuellement la première place du classement BOP 2023 pour la localisation 6D d'objets inconnus. Il est robuste face aux occultations, aux mouvements rapides et aux propriétés variées des objets comme la texture et l'échelle, garantissant des performances fiables dans divers scénarios. Les développeurs peuvent générer des vues réalistes de l'objet sous n'importe quel angle. Obtenez le modèle Foundation Pose sur GitHub.  

SyntheticaDETR

SyntheticaDETR est un ensemble de modèles basés sur Real-Time DEtection TRansformer (DETRs) pour la détection d'objets en espace image en une seule prise, entraînés sur des données synthétiques générées avec NVIDIA Omniverse. Il utilise une approche plus efficace que les détecteurs d'objets traditionnels en prédisant tous les objets simultanément grâce à une architecture d'encodeur-décodeur de transformateurs.

Formé sur des données synthétiques et réelles, SyntheticaDETR est en tête du classement BOP pour la détection 2D d'objets vus sur le jeu de données YCB-Video (avec une précision moyenne de 0,885 et un rappel moyen de 0,903).   Ces modèles peuvent également détecter des objets sous forme de boîte englobante 2D comme région d'intérêt pour les estimateurs de pose tels que NVIDIA FoundationPose. Téléchargez le modèle SyntheticaDETR et téléchargez Isaac Manipulator.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 est compatible avec JetPack 6.0 et est pris en charge sur tous les modules et kits de développement NVIDIA Jetson Orin.   Des services modulaires et pilotés par API pour développer plus rapidement et facilement des applications d'IA générative et de robotique seront bientôt disponibles avec NVIDIA Jetson Platform Services. Ces services préconstruits et personnalisables sont conçus pour accélérer le développement d'applications d'IA sur les systèmes sur module NVIDIA Jetson Orin.

NVIDIA Isaac Sim 4.0

Avec Isaac Sim, les développeurs peuvent générer des données synthétiques et des environnements de test complexes virtuels variés, avec des capteurs et des tests de types de robots à la pointe de l'industrie. Cela permet des simulations hautement réalistes pour tester des milliers de robots simultanément et en temps réel.

NVIDIA Isaac Lab

Isaac Lab est une application de référence légère construite sur la plateforme Isaac Sim et joue un rôle central dans la formation des modèles de base pour robots. Elle prend en charge l’apprentissage par renforcement, l’apprentissage par imitation et l’apprentissage par transfert. Elle peut entraîner une large gamme d’incarnations de robots, permettant aux développeurs d’explorer des conceptions et des fonctionnalités.   Celle-ci offre une facilité d’utilisation avec l’intégration VSCode et un vérificateur de compatibilité, une prise en charge multi-GPU pour l’apprentissage par renforcement, des améliorations de performance grâce à un rendu en mosaïque avec capteur RTX, une gestion optimisée du cache et des shaders.   Les nouvelles fonctionnalités supplémentaires dans Isaac Sim incluent :