L'applicazione della robotica si sta rapidamente espandendo in diversi ambienti, come impianti di produzione intelligenti, cucine commerciali, ospedali, logistica di magazzino e settori agricoli. La chiave per accelerare l'adozione di questa nuova tecnologia è l'intelligenza artificiale. In questo articolo di NVIDIA vengono esaminati diversi strumenti di supporto all'intelligenza artificiale che aiutano gli esperti di robotica e gli ingegneri a costruire robot intelligenti.
I nuovi strumenti di sviluppo dell'intelligenza artificiale aiutano gli sviluppatori ad accelerare lo sviluppo della robotica. Tra essi sono inclusi:
- NVIDIA Isaac Perceptor, un nuovo flusso di lavoro di riferimento per robot mobili autonomi (AMR) e veicoli a guida automatica (AGV).
- NVIDIA Isaac Manipulator offre nuovi modelli di base e un flusso di lavoro di riferimento per i bracci robotici industriali.
- NVIDIA Jetson per la robotica, con nuovi aggiornamenti in NVIDIA JetPack 6.0.
- NVIDIA Jetson per la robotica, con nuovi aggiornamenti in NVIDIA JetPack 6.0.
Video 1. I leader mondiali nello sviluppo di robot stanno adottando NVIDIA Isaac per la ricerca, lo sviluppo e la produzione di robot di nuova generazione dotati di intelligenza artificiale.
I robot mobili autonomi (AMR) e i veicoli a guida automatizzata (AGV) sono fondamentali per l'efficienza della catena di montaggio, la movimentazione dei materiali e la logistica sanitaria. Poiché questi robot si muovono in ambienti complessi e non strutturati, la capacità di percepire l'ambiente circostante e di reagire diventa essenziale.
Isaac Perceptor, basato sul sistema operativo per robot (ROS) Isaac di NVIDIA, consente ai produttori di apparecchiature originali (OEM), ai fornitori di servizi di trasporto merci, ai fornitori di software e all'ecosistema AMR di accelerare lo sviluppo della robotica. I team possono dotare i robot mobili di capacità di percezione per orientarsi con successo ed evitare gli ostacoli in ambienti non strutturati.
Tra i primi collaboratori di Isaac Perceptor figurano leader del settore dell'immagazzinamento/intralogistica, produttori automobilistici, aziende produttrici di robotica industriale e fornitori di soluzioni di robotica, tra cui ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo e Teradyne Robotics.
Caratteristiche principali di Isaac Perceptor
Isaac Perceptor dispone di funzionalità per fornire una capacità di visione surround 3D con più telecamere per robot mobili autonomi basati sull'intelligenza artificiale.
Percezione della profondità basata sull'intelligenza artificiale con più telecamere
Isaac Perceptor elabora 16,5 milioni di punti di profondità al secondo per telecamera a 30 Hz. La disparità stereo viene calcolata a partire da una coppia di immagini sincronizzate nel tempo provenienti da una telecamera stereo e viene utilizzata per produrre un'immagine di profondità o una nuvola di punti per una scena. Un'efficiente rete neurale profonda semi-supervisionata (ESS DNN) fornisce un pacchetto accelerato da GPU per la disparità stereo basata su DNN.
Figura 1. ESS DNN rileva ostacoli a 5 m
Odometria inerziale visiva con più telecamere
Isaac ROS Visual SLAM fornisce pacchetti ROS 2 per la localizzazione e la mappatura visiva simultanea (VSLAM) e l'odometria visiva (VO). Si basa sulla libreria NVIDIA CUDA Visual SLAM (cuVSLAM) e garantisce una navigazione affidabile con errori di traslazione inferiori all'1% durante la navigazione in ambienti privi caratteristiche.
La navigazione in ambienti con caratteristiche visive sparse o schemi ripetitivi rappresenta una sfida ben nota per le soluzioni VSLAM. Questo problema può essere attenuato unendo contributi da più punti di vista. Nell'ultimo aggiornamento, cuVSLAM incorpora la stima simultanea dell'odometria visiva da più telecamere stereo.
I nostri test hanno evidenziato un netto miglioramento. I robot hanno raggiunto costantemente i loro obiettivi di navigazione utilizzando più telecamere, rispetto a meno del 25% con una sola telecamera.
| Metodo VO | Tempo di esecuzione |
| CuVSLAM | 5 millisecondi |
| FRVO, S-PTAM | 30 millisecondi |
| ORB-SLAM2 | 60 millisecondi |
Figura 2. Isaac ROS Visual SLAM con una telecamera rispetto a due telecamere e poi quattro telecamere
Mappatura della griglia voxel multi-camera in tempo reale
Il nucleo dell'Isaac Perceptor è nvblox, la libreria di ricostruzione 3D accelerata da CUDA in grado di identificare ostacoli fino a cinque metri di distanza per fornire una mappa dei costi 2D e aggiornarla in meno di 300 ms.
Isaac ROS nvblox fornisce pacchetti ROS 2 per la ricostruzione di scene 3D e la generazione di mappe dei costi degli ostacoli locali per la navigazione. Questo pacchetto può essere utilizzato per ambienti fissi e scene con persone e oggetti mobili.
La novità di questa versione è il supporto multi-telecamera per una copertura estesa utilizzando fino a tre telecamere HAWK, offrendo un campo visivo di circa 270°.
Figura 3. Ricostruzione in voxel 3D utilizzando Isaac ROS Nvblox, inclusa la ricostruzione degli ostacoli sospesi
Kit per sviluppatori NVIDIA Nova Orin
Questo kit per sviluppatori, dotato di NVIDIA Jetson AGX Orin, supporta fino a sei telecamere, di cui fino a tre stereo e tre fisheye, con una latenza intra-telecamera inferiore a 100 microsecondi.
Le telecamere stereo hanno una risoluzione di 2 MP per telecamera, con un campo visivo di 110 x 70, adatto per la mappatura della griglia di occupazione 3D, la percezione della profondità, l'odometria visiva e il rilevamento delle persone. Acquista un kit di sviluppo Nova Orin da Segway o Leopard Imaging per utilizzare Isaac Perceptor.
Isaac Perceptor dispone di un grafico di riferimento che supporta fino a tre telecamere stereo in questo kit per sviluppatori. Grazie alla modularità migliorata con i pacchetti ROS 2, questa versione presenta anche un'integrazione di riferimento con Nav2 sul robot di riferimento Nova Carter.
Compatibilità migliorata con fotocamere e sensori
Isaac Perceptor offre supporto avanzato per l'integrazione con i partner di telecamere e sensori. Orbbec ha integrato con successo la sua telecamera Gemini 335L con i componenti NVIDIA Isaac Perceptor. Questa integrazione è dimostrata su NVIDIA Jetson AGX Orin utilizzando Isaac ROS Visual SLAM e Nvblox.
LIPS ha inoltre integrato con successo la sua telecamera AE450 con il componente Isaac Perceptor, Nvblox.
Manipolatore NVIDIA Isaac
Isaac Manipulator è un flusso di lavoro di librerie accelerate da NVIDIA e modelli di intelligenza artificiale. Consente agli sviluppatori di portare l'accelerazione dell'intelligenza artificiale nei bracci robotici, o manipolatori, in grado di percepire, comprendere e interagire senza problemi con l'ambiente circostante.
I suoi modelli di base e le librerie accelerate possono essere integrati come moduli indipendenti o come un intero flusso di lavoro nello sviluppo di soluzioni. Oltre ai componenti indipendenti e modulari, agli sviluppatori vengono forniti anche flussi di lavoro di esempio (script di avvio ROS 2) che combinano i componenti di Isaac Manipulator per un'integrazione di riferimento end-to-end completa.
Figura 4. Un esempio di flusso di lavoro di Isaac Manipulator che sfrutta i componenti NVIDIA (in verde)
Tra i primi collaboratori di Isaac Manipulator figurano aziende di piattaforme di sviluppo di robot, OEM e ISV/SI, tra cui Intrinsic (un'azienda di Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention e Yaskawa.
Caratteristiche principali di Isaac Manipulator
Isaac Manipulator introduce funzionalità di intelligenza artificiale per accelerare lo sviluppo di bracci robotici.
cuMotion per una pianificazione più rapida del percorso
Questo pianificatore di movimento accelerato dalla GPU aiuta a ridurre i tempi di ciclo. cuMotion è disponibile come plugin per il framework di pianificazione del movimento MoveIt 2, un progetto open source sviluppato da una comunità internazionale e guidato da PickNik Robotics.
cuMotion esegue l'ottimizzazione della traiettoria su più seed in parallelo e restituisce la soluzione migliore.
Figura 5. Plugin NVIDIA cuMotion per MoveIt 2 di PickNik
Solomon, azienda leader nelle soluzioni avanzate di visione e robotica, è uno dei primi collaboratori di Isaac Manipulator. Il loro sistema di bin-picking potenziato da Isaac Manipulator cuMotion ha consentito una pianificazione del percorso otto volte più rapida e ha ridotto del 50% le occorrenze di singolarità del percorso rispetto agli algoritmi convenzionali.
| Metrica | Rapporto di miglioramento (%) |
| Miglioramento del tasso di successo | 346.43 |
| Riduzione del tempo di spostamento | 55.50 |
| Riduzione della lunghezza della traiettoria | 42.27 |
| Riduzione del tempo di pianificazione della traiettoria | 816.66 |
FoundationPose
FoundationPose è un nuovo modello base unificato per la stima della posa 6D in un singolo scatto e il tracciamento di nuovi oggetti. Questo modello è progettato per funzionare con elevata accuratezza in applicazioni che incontrano oggetti mai visti prima, senza bisogno di una regolazione precisa.
FoundationPose è attualmente in cima alla classifica BOP 2023 per la localizzazione 6D di oggetti mai visti prima. È resistente alle occlusioni, ai movimenti rapidi e alle diverse proprietà degli oggetti, come texture e scala, garantendo prestazioni affidabili in tutti gli scenari. Gli sviluppatori possono generare viste realistiche dell'oggetto da qualsiasi angolazione. Ottieni il modello Foundation Pose da GitHub.
Figura 6. Stima e tracciamento della posa tramite NVIDIA FoundationPose
SyntheticaDETR
SyntheticaDETR è un set di modelli basati su Real-Time DEtection TRansformer (DETR) per il rilevamento di oggetti nello spazio immagine a scatto singolo, addestrati su dati sintetici generati utilizzando NVIDIA Omniverse. Implementa un approccio più efficiente ai tradizionali rilevatori di oggetti, prevedendo tutti gli oggetti contemporaneamente mediante un'architettura codificatrice-decodificatrice a trasformatore.
Figura 7. Rilevamento e tracciamento di oggetti mediante SyntheticaDETR
Sviluppato su dati sintetici e reali, SyntheticaDETR è in cima alla classifica BOP per il rilevamento 2D di oggetti visti sul set di dati YCB-Video (con una precisione media di 0,885 e un richiamo medio di 0,903).
Questi modelli possono anche rilevare gli oggetti come una regione di interesse di un riquadro di delimitazione 2D per stimatori di posa come NVIDIA FoundationPose. Scarica il modello SyntheticaDETR e scarica Isaac Manipulator.
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 è compatibile con JetPack 6.0 ed è supportato su tutti i moduli e kit per sviluppatori NVIDIA Jetson Orin.
A breve, NVIDIA Jetson Platform Services offrirà servizi modulari basati su API per creare applicazioni di robotica e intelligenza artificiale generativa in modo più rapido e semplice. Questi servizi predefiniti e personalizzabili sono progettati per accelerare lo sviluppo di applicazioni IA sui sistemi su moduli NVIDIA Jetson Orin.
NVIDIA Isaac Sim 4.0
Utilizzando Isaac Sim, gli sviluppatori possono generare dati sintetici e vari ambienti di test virtuali complessi eseguendo test su sensori e tipi di robot leader del settore. Ciò consente simulazioni altamente realistiche per testare migliaia di robot contemporaneamente e in tempo reale.
NVIDIA Isaac Lab
Isaac Lab è un'applicazione di riferimento leggera creata sulla piattaforma Isaac Sim e svolge un ruolo fondamentale nell'addestramento dei modelli di robot di base. Supporta l'apprendimento per rinforzo, l'apprendimento per imitazione e l'apprendimento per trasferimento. Può addestrare un'ampia gamma di tipi di robot, consentendo agli sviluppatori di esaminare design e funzionalità.
La nuova versione offre anche facilità d'uso grazie all'integrazione di VSCode con controllo di compatibilità, supporto multi-GPU per l'apprendimento di rinforzo, miglioramenti delle prestazioni con il rendering affiancato dei sensori RTX, cache ottimizzata e gestione degli shader.
Le nuove funzionalità aggiuntive di Isaac Sim includono:
- Facilità d'uso con installazione PIP e una procedura guidata per l'importazione di robot e altro ancora.
- Prestazioni migliorate con una generazione di dati sintetici (SDG) fino all'80% più veloce.
- Nuovi formati SDG che supportano il formato COCO e il writer personalizzato per la stima della posa.
- Supporto all'avvio di ROS 2 con un flusso di lavoro end-to-end e prestazioni migliori per gli editori basati su immagini.
- Supporto per altri robot integrati: tra cui Universal Robots UR20 e UR30 e Boston Dynamics Spot. Sono presenti anche una serie di umanoidi, tra cui 1X Neo, Unitree H1, Agility Digit, Fourier Intelligence GR1, Sanctuary A1 Phoenix e XiaoPeng PX5.