La aplicación de la robótica se está expandiendo rápidamente en diversos entornos, como instalaciones de fabricación inteligentes, cocinas comerciales, hospitales, logística de almacenes y campos agrícolas. La clave para acelerar la adopción de esta nueva tecnología es la IA. En este artículo de NVIDIA, se exploran varias herramientas de asistencia con IA que ayudan a los especialistas en robótica e ingenieros a construir robots inteligentes.
Las nuevas herramientas de desarrollo de IA ayudan a los desarrolladores a acelerar el desarrollo de la robótica. Entre las cuales se encuentran:
- NVIDIA Isaac Perceptor, un nuevo flujo de trabajo de referencia para robots móviles autónomos (AMR) y vehículos guiados automatizados (AGV).
- Isaac Manipulator de NVIDIA ofrece nuevos modelos básicos y un flujo de trabajo de referencia para brazos robóticos industriales.
- NVIDIA Jetson para Robótica, con nuevas actualizaciones en NVIDIA JetPack 6.0.
- NVIDIA Jetson para Robótica, con nuevas actualizaciones en NVIDIA JetPack 6.0.
Vídeo 1. Los líderes mundiales en desarrollo de robots están adoptando NVIDIA Isaac para la investigación, el desarrollo y la producción de robots de próxima generación habilitados para IA.
Los robots móviles autónomos (AMR, por sus siglas en inglés) y los vehículos guiados automatizados (AGV) son fundamentales para la eficiencia de la línea de montaje, el manejo de materiales y la logística de la atención médica. A medida que estos robots navegan por entornos complejos y no estructurados, la capacidad de percibir y reaccionar a su entorno se vuelve esencial.
Isaac Perceptor, creado sobre la base del sistema operativo para robots (ROS, por sus siglas en inglés) Isaac de NVIDIA, empodera a los fabricantes de equipos originales (OEM, por sus siglas en inglés), proveedores de servicios de transporte, proveedores de software y el ecosistema de AMR acelerar el desarrollo de la robótica. Los equipos pueden equipar robots móviles con capacidades de percepción para una navegación exitosa y la evitación de obstáculos en entornos no estructurados.
Entre los primeros colaboradores de Isaac Perceptor se encuentran líderes de la industria en almacenamiento/intralogística, fabricantes de automóviles, empresas de fabricación de robótica industrial y proveedores de soluciones robóticas, como ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo y Teradyne Robotics.
Características clave de Isaac Perceptor
Isaac Perceptor proporciona funciones para ofrecer capacidades de visión envolvente 3D y múltiples cámaras para robots móviles autónomos basados en IA.
Percepción de profundidad basada en IA con múltiples cámaras
Isaac Perceptor procesa 16,5 millones de puntos de profundidad por segundo por cámara a 30 Hz. La disparidad estéreo se calcula a partir de un par de imágenes sincronizadas en el tiempo obtenidas de una cámara estéreo y se utiliza para producir una imagen de profundidad o una nube de puntos para una escena. Una red neuronal profunda semisupervisada eficiente (ESS DNN, por sus siglas en inglés) proporciona un paquete acelerado por GPU para disparidad estéreo basada en DNN.
Figura 1. ESS DNN detectando obstáculos a 5 m
Odometría inercial visual multicámara
Isaac ROS Visual SLAM proporciona paquetes ROS 2 para localización y el mapeo visual simultáneo (VSLAM, por sus siglas en inglés) y odometría visual (VO, por sus siglas en inglés). Se basa en la biblioteca NVIDIA CUDA Visual SLAM (cuVSLAM) y proporciona una navegación sólida con menos del 1 % de error de traslación al navegar en entornos sin características.
Navegar por entornos con características visuales dispersas o patrones repetitivos presenta un desafío bien conocido para las soluciones VSLAM. Esto se puede mitigar fusionando los aportes de varios puntos de vista. En la última actualización, cuVSLAM incorpora estimación de odometría visual simultánea desde múltiples cámaras estéreo.
Nuestras pruebas indicaron una mejora notable. Los robots lograron consistentemente sus objetivos de navegación utilizando múltiples cámaras, en comparación con menos del 25% con una sola cámara.
| Método VO | Tiempo de ejecución |
| cuVSLAM | 5 ms |
| FRVO, S-PTAM | 30 ms |
| ORB-SLAM2 | 60 ms |
Figura 2. Isaac ROS Visual SLAM con una cámara en comparación con dos cámaras y luego con cuatro cámaras
Mapeo de cuadrícula de vóxeles con múltiples cámaras en tiempo real
En el centro de Isaac Perceptor se encuentra nvblox, la biblioteca de reconstrucción en 3D acelerada por CUDA que puede identificar obstáculos con hasta cinco metros de distancia para proporcionar un mapa de costos en 2D y actualizarlo en menos de 300 ms.
Isaac ROS nvblox proporciona paquetes ROS 2 para la reconstrucción de escenas 3D y la generación de mapas de costos de obstáculos locales para la navegación. Este paquete se puede usar para entornos fijos, y escenas con personas y objetos móviles.
Lo nuevo de esta versión es el soporte de múltiples cámaras para una cobertura ampliada utilizando hasta tres cámaras HAWK, lo que proporciona un campo de visión de aproximadamente 270°.
Figura 3. Reconstrucción de vóxeles 3D mediante el uso de Isaac ROS Nvblox, incluida la reconstrucción de obstáculos sobresalientes
Kit para desarrolladores de NVIDIA Nova Orin
Este kit para desarrolladores, que incluye NVIDIA Jetson AGX Orin, admite hasta seis cámaras, incluidas hasta tres cámaras estéreo y tres cámaras ojo de pez, con una latencia dentro de la cámara de menos de 100 microsegundos.
Las cámaras estéreo cuentan con una resolución de 2 MP por cámara, con un campo de visión de 110 X 70, adecuado para mapeo de cuadrícula de ocupación 3D, percepción de profundidad, odometría visual y detección de personas. Compre un kit de desarrollador Nova Orin de Segway o Leopard Imaging para usar Isaac Perceptor.
Isaac Perceptor tiene un gráfico de referencia que admite hasta tres cámaras estéreo en este kit para desarrolladores. Con una modularidad mejorada con los paquetes ROS 2, esta versión también presenta una integración de referencia con Nav2 en el robot de referencia Nova Carter.
Compatibilidad mejorada con cámaras y sensores.
Isaac Perceptor ofrece asistencia mejorada para la integración con socios de cámaras y sensores. Orbbec integró con éxito su cámara Gemini 335L con los componentes NVIDIA Isaac Perceptor. Esta integración se demuestra en NVIDIA Jetson AGX Orin utilizando Isaac ROS Visual SLAM y Nvblox.
LIPS también integró con éxito su cámara AE450 con el componente Isaac Perceptor, Nvblox.
Isaac Manipulator de NVIDIA
Isaac Manipulator es un flujo de trabajo de bibliotecas aceleradas por NVIDIA y modelos de IA. Permite a los desarrolladores llevar la aceleración de la IA a brazos robóticos, o manipuladores, que pueden percibir, comprender e interactuar sin problemas con sus entornos.
Sus modelos básicos y bibliotecas aceleradas se pueden integrar como módulos independientes o como un flujo de trabajo completo en el desarrollo de soluciones. Junto con los componentes modulares independientes, a los desarrolladores también se les proporcionan flujos de trabajo de muestra (scripts de lanzamiento de ROS 2) que combinan los componentes de Isaac Manipulator para una integración de referencia completa de extremo a extremo.
Figura 4. Un ejemplo de un flujo de trabajo de Isaac Manipulator que aprovecha los componentes de NVIDIA (en verde)
Entre los primeros colaboradores de Isaac Manipulator se encuentran empresas de plataformas de desarrollo robótico, fabricantes de equipos originales y proveedores independientes de software/integradores de sistemas, como Intrinsic (una empresa de Alphabet), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention y Yaskawa.
Características principales de Isaac Manipulator
Isaac Manipulator aporta funciones de IA para acelerar el desarrollo de brazos robóticos.
cuMotion para una planificación de rutas más rápida
Este planificador de movimiento acelerado por GPU ayuda a reducir los tiempos de ciclo. cuMotion se encuentra disponible como complemento para la estructura de planificación de movimiento MoveIt 2, proyecto de código abierto desarrollado por una comunidad internacional y liderado por PickNik Robotics.
cuMotion ejecuta la optimización de la trayectoria en varios puntos de inicio en paralelo y da como resultado la mejor solución.
Figura 5. Complemento NVIDIA cuMotion para MoveIt 2 de PickNik
Solomon, líder en soluciones avanzadas de visión y robótica, es uno de los primeros colaboradores de Isaac Manipulator. Su sistema de recogida en contenedores mejorado con Isaac Manipulator cuMotion proporcionó una planificación de rutas ocho veces más rápida y redujo las ocurrencias de singularidad de ruta en un 50 % en comparación con los algoritmos convencionales.
| Métrica | Factor de mejora (%) |
| Mejora de la tasa de éxito | 346.43 |
| Reducción del tiempo de movimiento | 55.50 |
| Reducción de la longitud de la trayectoria | 42.27 |
| Reducción del tiempo de planificación de trayectorias | 816.66 |
FoundationPose
FoundationPose es un nuevo modelo básico unificado para la estimación de la pose 6D monoestable y el seguimiento de objetos nuevos. Este modelo está diseñado para trabajar con gran precisión en aplicaciones que encuentren objetos nunca antes vistos, sin necesidad de realizar ajustes finos.
FoundationPose se encuentra actualmente en la cima del ranking BOP 2023 en cuanto a localización 6D de objetos nunca antes vistos. Es resistente a oclusiones, movimientos rápidos y diversas propiedades de objetos como textura y escala, lo que garantiza un rendimiento confiable en todos los escenarios. Los desarrolladores pueden generar vistas realistas del objeto desde cualquier ángulo. Obtenga el modelo Foundation Pose de GitHub.
Figura 6. Estimación y seguimiento de la pose con NVIDIA FoundationPose
SyntheticaDETR
SyntheticaDETR es un conjunto de modelos basados en transformadores de detección en tiempo real (DETR) para la detección de objetos en el espacio de imágenes de disparo único entrenados con datos sintéticos generados con NVIDIA Omniverse. Implementa un enfoque más eficiente para los detectores de objetos tradicionales al predecir todos los objetos a la vez utilizando una arquitectura de codificador-decodificador de transformador.
Figura 7. Detección y seguimiento de objetos mediante SyntheticaDETR
Entrenado con datos sintéticos y del mundo real, SyntheticaDETR se encuentra en la cima del ranking BOP en cuanto a detección 2D de objetos vistos en el conjunto de datos YCB-Video (con una precisión promedio media de 0,885 y una repetición promedio media de 0,903).
Estos modelos también pueden detectar objetos como una región de interés de cuadro delimitador 2D para estimadores de pose como NVIDIA FoundationPose. Descargue el modelo SyntheticaDETR y descargue Isaac Manipulator.
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 es compatible con JetPack 6.0 y es compatible con todos los módulos y kits para desarrolladores NVIDIA Jetson Orin.
Próximamente, NVIDIA Jetson Platform Services ofrecerá servicios modulares basados en API para crear aplicaciones de robótica e inteligencia artificial generativa de forma más rápida y sencilla. Estos servicios prediseñados y personalizables están diseñados para acelerar el desarrollo de aplicaciones de IA en los sistemas en módulos NVIDIA Jetson Orin.
NVIDIA Isaac Sim 4.0
Mediante el uso de Isaac Sim, los desarrolladores pueden generar datos sintéticos y diversos entornos de prueba virtuales complejos, realizando pruebas líderes en la industria con diferentes tipos de robots y sensores. Esto permite realizar simulaciones muy realistas para probar miles de robots simultáneamente en tiempo real.
Laboratorio Isaac de NVIDIA
Isaac Lab es una aplicación de referencia liviana creada en la plataforma Isaac Sim y juega un rol fundamental en el entrenamiento de modelos básicos de robots. Admite aprendizaje de refuerzo, aprendizaje por imitación y aprendizaje por transferencia. Puede entrenar una amplia gama de realizaciones de robots, para que los desarrolladores exploren diseños y funcionalidades.
La nueva versión también ofrece facilidad de uso con la integración de VSCode con un verificador de compatibilidad, compatibilidad con multi-GPU para aprendizaje de refuerzo, mejoras de rendimiento con renderizado en mosaico de sensores RTX, caché optimizado y gestión de sombreadores.
Las nuevas características adicionales de Isaac Sim incluyen:
- Facilidad de uso con instalación PIP y un asistente para importar robots y mucho más.
- Rendimiento mejorado con generación de datos sintéticos (SDG) hasta un 80 % más rápida.
- Nuevos formatos SDG que admiten el formato COCO y un escritor personalizado para la estimación de pose.
- Compatibilidad con de lanzamiento de ROS 2 con un flujo de trabajo de extremo a extremo y un mejor rendimiento para los publicadores basados en imágenes.
- Más compatibilidad con robots integrados: incluidos Universal Robots UR20 y UR30 y Boston Dynamics Spot. También hay una gran cantidad de humanoides, incluidos 1X Neo, Unitree H1, Agility Digit, Fourier Intelligence GR1, Sanctuary A1 Phoenix y XiaoPeng PX5.