Crea, progetta e distribuisci applicazioni robotiche utilizzando nuovi modelli e flussi di lavoro NVIDIA Isaac Foundation

I nuovi strumenti di sviluppo AI aiutano gli sviluppatori ad accelerare lo sviluppo della robotica. Questi includono:

Gli AMR e gli AGV sono fondamentali per l'efficienza delle linee di assemblaggio, la movimentazione dei materiali e la logistica sanitaria. Man mano che questi robot navigano in ambienti complessi e non strutturati, la capacità di percepire e reagire all'ambiente circostante diventa essenziale.   Isaac Perceptor, costruito sulla base del NVIDIA Isaac Robot Operating System (ROS), consente ai produttori di apparecchiature originali (OEM), ai fornitori di servizi di trasporto, ai fornitori di software e all'ecosistema AMR di accelerare lo sviluppo per la robotica. I team possono dotare i robot mobili di capacità percettive per una navigazione di successo e l'evitamento degli ostacoli in ambienti non strutturati.   I primi collaboratori di Isaac Perceptor includono leader del settore nella logistica di magazzino/intralogistica, case automobilistiche, aziende produttrici di robotica industriale e fornitori di soluzioni robotiche, come ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo e Teradyne Robotics.

Caratteristiche principali di Isaac Perceptor

Isaac Perceptor offre funzionalità per fornire capacità di visione surround 3D multi-camera per robot mobili autonomi basati su AI.

Percezione della profondità basata sull'intelligenza artificiale con multi-camera

Isaac Perceptor elabora 16,5 milioni di punti di profondità al secondo per fotocamera a 30 Hz. La disparità stereo viene calcolata da una coppia di immagini sincronizzate nel tempo provenienti da una fotocamera stereo e viene utilizzata per produrre un'immagine di profondità o una nuvola di punti per una scena. Una rete neurale profonda semi-supervisionata efficiente (ESS DNN) offre un pacchetto accelerato da GPU per la disparità stereo basata su DNN.  

Odometria visuale inerziale multi-camera

Isaac ROS Visual SLAM provides ROS 2 packages for visual simultaneous localization and mapping (VSLAM) and visual odometry (VO). This is based on the NVIDIA CUDA Visual SLAM (cuVSLAM) library and provides robust navigation with less than 1% translation error while navigating in featureless environments.
 
Navigating environments with sparse visual features or repetitive patterns presents a well-known challenge for VSLAM solutions. This can be mitigated by fusing input from multiple viewpoints. In the latest update, cuVSLAM incorporates concurrent visual odometry estimation from multiple stereo cameras.
 
Our testing indicated a marked improvement. Robots consistently achieved their navigation goals using multiple cameras, compared to less than 25% with a single camera.
 

Mappatura in tempo reale della griglia voxel multi-camera

Al centro di Isaac Perceptor si trova nvblox, la libreria di ricostruzione 3D accelerata da CUDA, in grado di identificare ostacoli fino a cinque metri di distanza per fornire una costmap 2D e aggiornarla in meno di 300 ms.   Isaac ROS nvblox fornisce pacchetti ROS 2 per la ricostruzione di scene 3D e la generazione di costmap degli ostacoli locali per la navigazione. Questo pacchetto può essere utilizzato per ambienti stazionari e scene con persone e oggetti mobili.   Ciò che è unico in questa versione è il supporto multi-camera per una copertura ampliata utilizzando fino a tre telecamere HAWK, fornendo un campo visivo di circa 270°.  

NVIDIA Nova Orin Developer Kit

Questo kit di sviluppo, caratterizzato da NVIDIA Jetson AGX Orin, supporta fino a sei fotocamere, inclusi fino a tre stereo e tre fisheye, con una latenza intra-camera inferiore ai 100 microsecondi.   Le fotocamere stereo vantano una risoluzione di 2MP per fotocamera, con un campo visivo di 110x70, adatto per la mappatura delle griglie di occupazione 3D, la percezione della profondità, l'odometria visiva e il rilevamento delle persone. Acquista un kit di sviluppo Nova Orin da Segway o Leopard Imaging per utilizzare Isaac Perceptor.   Isaac Perceptor ha un grafo di riferimento che supporta fino a tre fotocamere stereo su questo Kit di Sviluppo. Con una modularità migliorata con i pacchetti ROS 2, questa versione presenta anche un'integrazione di riferimento con Nav2 sul robot di riferimento Nova Carter.

Compatibilità migliorata con fotocamere e sensori

Isaac Perceptor offre un supporto migliorato per l'integrazione con partner di telecamere e sensori. Orbbec ha integrato con successo la sua telecamera Gemini 335L con i componenti NVIDIA Isaac Perceptor. Questa integrazione è dimostrata su NVIDIA Jetson AGX Orin utilizzando Isaac ROS Visual SLAM e Nvblox.   Anche LIPS ha integrato con successo la sua telecamera AE450 con il componente Isaac Perceptor, Nvblox.

NVIDIA Isaac Manipulator

Isaac Manipulator è un flusso di lavoro di librerie accelerate da NVIDIA e modelli AI. Consente agli sviluppatori di portare l'accelerazione AI ai bracci robotici, o manipolatori, che possono percepire, comprendere e interagire senza problemi con i loro ambienti.   I suoi modelli di base e le librerie accelerate possono essere integrati come moduli indipendenti o come un intero flusso di lavoro nello sviluppo di soluzioni. Insieme ai componenti modulari e indipendenti, agli sviluppatori vengono forniti anche flussi di lavoro di esempio (script di avvio ROS 2) che combinano i componenti di Isaac Manipulator per un'integrazione di riferimento completa end-to-end.  

I primi collaboratori di Isaac Manipulator includono aziende di piattaforme per sviluppatori di robotica, OEM e ISV/SI, tra cui Intrinsic (una società di Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention e Yaskawa.

Caratteristiche principali di Isaac Manipulator

Isaac Manipulator offre funzionalità AI per accelerare lo sviluppo dei bracci robotici.

cuMotion per una pianificazione del percorso più veloce

Questo pianificatore del movimento accelerato dalla GPU aiuta a ridurre i tempi di ciclo. cuMotion è disponibile come plugin per il framework di pianificazione del movimento MoveIt 2, un progetto open-source sviluppato da una comunità internazionale guidata da PickNik Robotics.   cuMotion esegue l'ottimizzazione della traiettoria su diversi semi in parallelo e restituisce la migliore soluzione.

Solomon, un leader nelle soluzioni avanzate di visione e robotica, è un collaboratore precoce di Isaac Manipulator. Il loro sistema di bin-picking potenziato da Isaac Manipulator cuMotion ha fornito una pianificazione del percorso otto volte più veloce e ha ridotto le occorrenze di singolarità del percorso del 50% rispetto agli algoritmi convenzionali.

FoundationPose

FoundationPose è un nuovo modello di base unificato per la stima e il tracciamento della posa 6D di oggetti nuovi in un unico scatto. Questo modello è progettato per funzionare con elevata accuratezza in applicazioni che incontrano oggetti precedentemente non visti, senza bisogno di fine-tuning.   FoundationPose è attualmente in cima alla BOP Leaderboard 2023 per la localizzazione 6D di oggetti non visti. È robusto alle occlusioni, ai movimenti rapidi e alle diverse proprietà degli oggetti come la texture e la scala, garantendo prestazioni affidabili in vari scenari. Gli sviluppatori possono generare viste realistiche dell'oggetto da qualsiasi angolazione. Scarica il modello Foundation Pose da GitHub.  

SyntheticaDETR

SyntheticaDETR è un insieme di modelli basati su Real-Time DEtection TRansformer (DETRs) per il rilevamento di oggetti nello spazio immagine, con un singolo scatto, addestrati su dati sintetici generati utilizzando NVIDIA Omniverse. Implementa un approccio più efficiente rispetto ai rilevatori di oggetti tradizionali, prevedendo tutti gli oggetti contemporaneamente utilizzando un'architettura trasformatore encoder-decoder.

Addestrato su dati sintetici e reali, SyntheticaDETR è in cima alla classifica BOP per il rilevamento 2D di oggetti visibili sul dataset YCB-Video (con una precisione media di 0,885 e un richiamo medio di 0,903).   Questi modelli possono anche rilevare oggetti come una regione di interesse delimitata da un riquadro 2D per stimatori di posa come NVIDIA FoundationPose. Scarica il modello SyntheticaDETR e scarica Isaac Manipulator.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0 è compatibile con JetPack 6.0 ed è supportato su tutti i moduli e kit di sviluppo NVIDIA Jetson Orin.   Servizi modulari basati su API per costruire applicazioni di AI generativa e robotica più rapidamente e facilmente arriveranno presto con NVIDIA Jetson Platform Services. Questi servizi pre-costruiti e personalizzabili sono progettati per accelerare lo sviluppo di applicazioni AI su system-on-modules NVIDIA Jetson Orin.

NVIDIA Isaac Sim 4.0

Utilizzando Isaac Sim, gli sviluppatori possono generare dati sintetici e ambienti complessi di test virtuali diversificati con test di sensori e robot di tipo all'avanguardia. Questo consente simulazioni altamente realistiche per testare migliaia di robot simultaneamente in tempo reale.

NVIDIA Isaac Lab

Isaac Lab è un'applicazione di riferimento leggera costruita sulla piattaforma Isaac Sim e svolge un ruolo fondamentale nell'addestramento dei modelli di base per robot. Supporta il reinforcement learning, l'apprendimento per imitazione e il transfer learning. Può addestrare un'ampia gamma di incarnazioni di robot, consentendo agli sviluppatori di esplorare progetti e funzionalità.   Questo offre facilità d'uso con l'integrazione di VSCode con un verificatore di compatibilità, supporto multi-GPU per il reinforcement learning, miglioramenti delle prestazioni con il rendering a piastrelle del sensore RTX, gestione ottimizzata della cache e degli shader.   Ulteriori nuove funzionalità in Isaac Sim includono: