Cree, diseñe y despliegue aplicaciones robóticas utilizando los nuevos modelos y flujos de trabajo de NVIDIA Isaac Foundation.
La aplicación de la robótica se está expandiendo rápidamente en diversos entornos, como las instalaciones de manufactura inteligente, cocinas comerciales, hospitales, logística de almacenes y campos agrícolas. La clave para acelerar la adopción de esta nueva tecnología es la IA. En este artículo de NVIDIA, explore varias herramientas de soporte de IA que ayudan a los roboticistas e ingenieros a construir robots inteligentes.
Nuevas herramientas de desarrollo de IA ayudan a los desarrolladores a acelerar el desarrollo de la robótica. Estas incluyen:
- NVIDIA Isaac Perceptor, un nuevo flujo de trabajo de referencia para robots móviles autónomos (AMR) y vehículos guiados automatizados (AGV).
- NVIDIA Isaac Manipulator ofrece nuevos modelos base y un flujo de trabajo de referencia para brazos robóticos industriales.
- NVIDIA Jetson para Robótica, con nuevas actualizaciones en NVIDIA JetPack 6.0.
- NVIDIA Jetson para Robótica, con nuevas actualizaciones en NVIDIA JetPack 6.0.
Video 1. Los líderes mundiales en el desarrollo de robots están adoptando NVIDIA Isaac para la investigación, el desarrollo y la producción de robots de próxima generación habilitados con IA.
Los AMRs y AGVs son críticos para la eficiencia de la línea de montaje, el manejo de materiales y la logística en el sector de la salud. A medida que estos robots navegan por entornos complejos y no estructurados, la capacidad de percibir y reaccionar a su entorno se vuelve esencial. Isaac Perceptor, construido sobre el sistema operativo NVIDIA Isaac Robot (ROS), capacita a los fabricantes de equipos originales (OEMs), proveedores de servicios de carga, vendedores de software y el ecosistema AMR para acelerar el desarrollo de la robótica. Los equipos pueden equipar robots móviles con capacidades de percepción para una navegación exitosa y la evasión de obstáculos en entornos no estructurados. Los primeros colaboradores de Isaac Perceptor incluyen líderes de la industria en almacenamiento/intralogística hasta fabricantes de automóviles, compañías de fabricación de robótica industrial y proveedores de soluciones robóticas, como ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo y Teradyne Robotics.
Características clave de Isaac Perceptor
Isaac Perceptor ofrece características para proporcionar capacidades de visión envolvente en 3D con múltiples cámaras para robots móviles autónomos basados en IA.
Percepción de profundidad basada en IA con múltiples cámaras
Isaac Perceptor procesa 16,5M puntos de profundidad por segundo por cámara a 30 Hz. La disparidad estéreo se calcula a partir de un par de imágenes sincronizadas en el tiempo provenientes de una cámara estéreo y se utiliza para producir una imagen de profundidad o una nube de puntos para una escena. Una red neuronal profunda semi-supervisada eficiente (ESS DNN) proporciona un paquete acelerado por GPU para la disparidad estéreo basada en DNN.
Figura 1. ESS DNN detectando obstáculos a 5m
Odometría visual inercial multicámara
Isaac ROS Visual SLAM provides ROS 2 packages for visual simultaneous localization and mapping (VSLAM) and visual odometry (VO). This is based on the NVIDIA CUDA Visual SLAM (cuVSLAM) library and provides robust navigation with less than 1% translation error while navigating in featureless environments.
Navigating environments with sparse visual features or repetitive patterns presents a well-known challenge for VSLAM solutions. This can be mitigated by fusing input from multiple viewpoints. In the latest update, cuVSLAM incorporates concurrent visual odometry estimation from multiple stereo cameras.
Our testing indicated a marked improvement. Robots consistently achieved their navigation goals using multiple cameras, compared to less than 25% with a single camera.
| Método VO | Tiempo de ejecución |
|---|---|
| cuVSLAM | 5 ms |
| FRVO, S-PTAM | 30 ms |
| ORB-SLAM2 | 60 ms |
Tabla 1. Comparación de rendimiento de cuVSLAM con FRVO, S-PTAM y ORB-SLAM2. cuVSLAM muestra un rendimiento acelerado en la navegación de robots usando múltiples cámaras
Figura 2. Isaac ROS Visual SLAM con una cámara en comparación con dos cámaras y luego cuatro cámaras
Mapeo de rejilla de vóxeles en tiempo real y multicámara
En el núcleo del Isaac Perceptor está nvblox, la biblioteca de reconstrucción 3D acelerada por CUDA que puede identificar obstáculos a una distancia de hasta cinco metros para proporcionar un mapa de costos 2D y actualizarlos en menos de 300 ms. Isaac ROS nvblox ofrece paquetes ROS 2 para la reconstrucción de escenas 3D y la generación de mapas de costos de obstáculos locales para navegación. Este paquete se puede utilizar en entornos estacionarios y escenas con personas y objetos móviles. Lo que es único en esta versión es el soporte para múltiples cámaras para cobertura expandida usando hasta tres cámaras HAWK, proporcionando un campo de visión de aproximadamente 270°.
Figura 3. Reconstrucción 3D de vóxel utilizando Isaac ROS Nvblox, incluyendo la reconstrucción de obstáculos colgantes
NVIDIA Nova Orin Developer Kit
Este kit de desarrollo, con el NVIDIA Jetson AGX Orin, admite hasta seis cámaras, incluyendo hasta tres cámaras estéreo y tres cámaras ojo de pez, con una latencia de intra-cámara de menos de 100 microsegundos. Las cámaras estéreo cuentan con una resolución de 2MP por cámara, con un campo de visión de 110X70, adecuado para mapeo de cuadrículas de ocupación 3D, percepción de profundidad, odometría visual y detección de personas. Compre un kit de desarrollo Nova Orin de Segway o Leopard Imaging para usar Isaac Perceptor. Isaac Perceptor tiene un gráfico de referencia que admite hasta tres cámaras estéreo en este Kit de Desarrollo. Con modularidad mejorada con paquetes ROS 2, esta versión también cuenta con una integración de referencia con Nav2 en el robot de referencia Nova Carter.
Compatibilidad mejorada con cámaras y sensores
Isaac Perceptor ofrece soporte mejorado para la integración con socios de cámaras y sensores. Orbbec integró con éxito su cámara Gemini 335L con los componentes de NVIDIA Isaac Perceptor. Esta integración se demuestra en el NVIDIA Jetson AGX Orin utilizando Isaac ROS Visual SLAM y Nvblox. LIPS también integró exitosamente su cámara AE450 con el componente Isaac Perceptor, Nvblox.
NVIDIA Isaac Manipulator
Isaac Manipulator es un flujo de trabajo de bibliotecas aceleradas por NVIDIA y modelos de IA. Permite a los desarrolladores llevar aceleración de IA a brazos robóticos, o manipuladores, que pueden percibir, entender e interactuar sin problemas con sus entornos. Sus modelos fundamentales y bibliotecas aceleradas se pueden integrar como módulos independientes o como un flujo de trabajo completo en el desarrollo de soluciones. Junto con los componentes modulares independientes, también se proporcionan a los desarrolladores flujos de trabajo de ejemplo (scripts de lanzamiento ROS 2) que combinan componentes de Isaac Manipulator para una integración completa de referencia de extremo a extremo.
Figura 4. Un ejemplo de un flujo de trabajo de manipulador Isaac aprovechando componentes de NVIDIA (en verde)
Los primeros colaboradores de Isaac Manipulator incluyen empresas de plataformas de desarrolladores de robótica, OEMs y ISVs/SIs, incluidas Intrinsic (una empresa de Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention y Yaskawa.
Características clave de Isaac Manipulator
Isaac Manipulator aporta funciones de IA para acelerar el desarrollo de brazos robóticos.
cuMotion para una planificación de rutas más rápida
Este planificador de movimiento acelerado por GPU ayuda a reducir los tiempos de ciclo. cuMotion está disponible como un complemento para el marco de planificación de movimientos MoveIt 2, un proyecto de código abierto desarrollado por una comunidad internacional y liderado por PickNik Robotics. cuMotion ejecuta la optimización de trayectorias a través de varias semillas en paralelo y devuelve la mejor solución.
Figura 5. NVIDIA cuMotion plugin para MoveIt 2 de PickNik
Solomon, un líder en soluciones avanzadas de visión y robótica, es un colaborador temprano de Isaac Manipulator. Su sistema de bin-picking mejorado por Isaac Manipulator cuMotion ofreció una planificación de rutas ocho veces más rápida y redujo las ocurrencias de singularidad de ruta en un 50% en comparación con los algoritmos convencionales.
| Métrica | Ratio de Mejora (%) |
|---|---|
| Mejora de Tasa de Éxito | 346.43 |
| Reducción del Tiempo de Movimiento | 55.50 |
| Reducción de la Longitud de la Trayectoria | 42.27 |
| Reducción del Tiempo de Planificación de Trayectoria | 816.66 |
Tabla 2. Mejoras de rendimiento en el sistema de selección de contenedores de Solomon con Isaac Manipulator. Solomon experimentó mejoras significativas en la tasa de éxito, tiempo de movimiento, longitud de trayectoria y tiempo de planificación, con reducciones en la ocurrencia de singularidades de trayectoria. Datos proporcionados por Solomon
FoundationPose
FoundationPose es un nuevo modelo unificado para la estimación y seguimiento de la pose 6D de objetos novedosos en una sola toma. Este modelo está diseñado para trabajar con alta precisión en aplicaciones que encuentran objetos no vistos previamente, sin ajuste fino. FoundationPose está actualmente en la cima del BOP Leaderboard de 2023 para la localización 6D de objetos no vistos. Es robusto ante oclusiones, movimiento rápido y diversas propiedades de los objetos como textura y escala, asegurando un rendimiento fiable en distintos escenarios. Los desarrolladores pueden generar vistas realistas del objeto desde cualquier ángulo. Obtén el modelo FoundationPose de GitHub.
Figura 6. Estimación y seguimiento de pose utilizando NVIDIA FoundationPose
SyntheticaDETR
SyntheticaDETR es un conjunto de modelos basados en Real-Time DEtection TRansformer (DETRs) para la detección de objetos en el espacio de la imagen en un solo disparo, entrenados con datos sintéticos generados usando NVIDIA Omniverse. Implementa un enfoque más eficiente que los detectores de objetos tradicionales al predecir todos los objetos a la vez utilizando una arquitectura de codificador-decodificador de transformador.
Figura 7. Detección y seguimiento de objetos usando SyntheticaDETR
Entrenado con datos sintéticos y del mundo real, SyntheticaDETR está en la cima del ranking BOP para la detección 2D de objetos vistos en el conjunto de datos YCB-Video (con una precisión promedio de 0.885 y un recuerdo promedio de 0.903). Estos modelos también pueden detectar objetos como una región de interés de caja delimitadora 2D para estimadores de pose como NVIDIA FoundationPose. Descargue el modelo SyntheticaDETR y descargue Isaac Manipulator.
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 es compatible con JetPack 6.0 y es compatible con todos los módulos y kits de desarrollo de NVIDIA Jetson Orin. Pronto llegarán servicios modulares impulsados por API para construir aplicaciones de robótica e IA generativa de manera más rápida y sencilla con NVIDIA Jetson Platform Services. Estos servicios preconstruidos y personalizables están diseñados para acelerar el desarrollo de aplicaciones de IA en los sistemas en módulo de NVIDIA Jetson Orin.
NVIDIA Isaac Sim 4.0
Usando Isaac Sim, los desarrolladores pueden generar datos sintéticos y diversos entornos de prueba virtuales complejos con pruebas de sensores y robots de primera categoría en la industria. Esto permite simulaciones altamente realistas para probar miles de robots simultáneamente en tiempo real.
NVIDIA Isaac Lab
Isaac Lab es una aplicación de referencia ligera construida sobre la plataforma Isaac Sim y desempeña un papel fundamental en el entrenamiento de modelos base para robots. Soporta el aprendizaje por refuerzo, el aprendizaje por imitación y el aprendizaje por transferencia. Puede entrenar una amplia gama de encarnaciones de robots, permitiendo a los desarrolladores explorar diseños y funcionalidades. Esto proporciona facilidad de uso con la integración de VSCode con un comprobador de compatibilidad, soporte multi-GPU para el aprendizaje por refuerzo, mejoras de rendimiento con el renderizado en mosaico de sensores RTX, gestión optimizada de cache y shaders. Las nuevas características adicionales en Isaac Sim incluyen:
- Facilidad de uso con la instalación de PIP y un asistente para importar robots y más.
- Mejora del rendimiento con hasta un 80% más rápido en la generación de datos sintéticos (SDG).
- Nuevo formatos SDG que admiten el formato COCO y escritor personalizado para estimación de poses.
- Compatibilidad con lanzamiento de ROS 2 con un flujo de trabajo completo y mejor rendimiento para publicadores basados en imágenes.
- Más soporte para robots integrados: incluidos Universal Robots UR20 y UR30 y Boston Dynamics Spot. También hay una serie de humanoides, incluidos el 1X Neo, Unitree H1, Agility Digit, Fourier Intelligence GR1, Sanctuary A1 Phoenix y XiaoPeng PX5.
Etiquetas de artículo
