机器人技术的应用正在智能制造设施、商业厨房、医院、仓库物流和农业领域等多样化环境中迅速扩展。加速这项新技术应用的关键是人工智能。在这篇来自 NVIDIA 的文章中，我们将探讨帮助机器人专家和工程师构建智能机器人的几种人工智能支持工具。
新的人工智能开发工具帮助开发人员加速机器人开发。这些优势包括：
- NVIDIA Isaac Perceptor，一种针对自主移动机器人 (AMR) 和自动导引车 (AGV) 的全新参考工作流程。
- NVIDIA Isaac Manipulator 为工业机械臂提供了新的基础模型和参考工作流程。
- 用于机器人技术的 NVIDIA Jetson，在 NVIDIA JetPack 6.0 中有新的更新。
- 用于机器人技术的 NVIDIA Jetson，在 NVIDIA JetPack 6.0 中有新的更新。
视频 1. 全球机器人开发领域的领导者正在采用 NVIDIA Isaac 来研究、开发和生产下一代 AI 机器人。
AMR 和 AGV 对于装配线效率、物料处理和医疗保健物流至关重要。当这些机器人在复杂和非结构化的环境中导航时，感知和对周围环境做出反应的能力变得至关重要。
Isaac Perceptor 建立在 NVIDIA Isaac 机器人操作系统（ROS）之上，能够帮助原始设备制造商（OEM）、货运服务供应商、软件供应商和AMR生态系统加速机器人技术的开发。团队可以为移动机器人配备感知能力，以便在非结构化环境中成功导航和避障。
Isaac Perceptor 的早期合作者包括从仓储/内部物流到汽车制造商、工业机器人制造公司和机器人解决方案提供商的行业领导者，如 ArcBest、比亚迪电子、Gideon、KION、Kudan、idealworks、RGo 和 Teradyne Robotics。
Isaac Perceptor 的主要功能
Isaac Perceptor为基于人工智能的自主移动机器人提供多摄像头三维环视功能。
基于人工智能的多摄像头深度感知
Isaac Perceptor 以 30Hz 的速度每秒处理每个摄像头的 1650 万深度点。立体视差是根据来自立体相机的时间同步图像对计算得出的，用于生成场景的深度图像或点云。一个高效的半监督深度神经网络（ESS DNN）为基于 DNN 的立体差异提供了一个 GPU 加速包。
图 1. ESS DNN 检测 5 米处的障碍物
多相机视觉惯性里程计
Isaac ROS Visual SLAM 为视觉同时定位和地图绘制 (VSLAM) 和视觉里程计 (VO) 提供了 ROS 2 包。它基于 NVIDIA CUDA Visual SLAM (cuVSLAM) 库，在无特征环境中进行导航时，可提供稳健的导航，平移误差小于 1%。
在具有稀疏视觉特征或重复模式的环境中导航对于 VSLAM 解决方案来说是一个众所周知的挑战。这可以通过融合来自多个视角的输入来缓解。在最新更新中，cuVSLAM 结合了来自多个立体摄像机的并发视觉里程计估计。
我们的测试表明有明显的改善。使用多个摄像头，机器人能够始终如一地实现导航目标，而使用单个摄像头的导航成功率则不到 25%。
| VO 方法 | 运行时间 |
| cuVSLAM | 5 毫秒 |
| FRVO，S-PTAM | 30 毫秒 |
| ORB-SLAM2 | 60 毫秒 |
图 2. Isaac ROS Visual SLAM 使用一个摄像头与两个摄像头和四个摄像头的对比
实时多摄像头体素网格映射
Isaac Perceptor 的核心是 nvblox，这是一个 CUDA 加速三维重建库，可以识别五米以外的障碍物，提供二维成本地图，并在 300 毫秒内更新。
Isaac ROS nvblox 提供 ROS 2 软件包，用于三维场景重建和本地障碍物成本图生成，以实现导航。该包可用于静止环境以及有人和移动物体的场景。
此版本的新功能是支持多摄像头，可使用最多三个 HAWK 摄像头扩大覆盖范围，提供约 270° 的视野。
图 3. 使用 Isaac ROS Nvblox 进行体素 3D 重建，包括悬垂障碍物的重建
NVIDIA Nova Orin 开发套件
该开发套件采用 NVIDIA Jetson AGX Orin，支持多达六个摄像头，包括最多三个立体摄像头和三个鱼眼摄像头，摄像头内延迟低于 100 微秒。
每台立体相机的分辨率为 200 万像素，视场角为 110X70，适用于三维占位网格映射、深度感知、视觉里程测量和人员检测。从 Segway 或 Leopard Imaging 购买 Nova Orin 开发套件以使用 Isaac Perceptor。
Isaac Perceptor 的参考图支持该开发者套件中的多达三个立体摄像头。通过 ROS 2 包增强的模块化，此版本还具有与 Nova Carter 参考机器人上的 Nav2 的参考集成。
增强与相机和传感器的兼容性
Isaac Perceptor 为与相机和传感器合作伙伴的集成提供了增强的支持。Orbbec 成功将其 Gemini 335L 相机与 NVIDIA Isaac Perceptor 组件集成在一起。此集成在 NVIDIA Jetson AGX Orin 上使用 Isaac ROS Visual SLAM 和 Nvblox 进行了演示。
LIPS 还成功将其 AE450 相机与 Isaac Perceptor 组件 Nvblox 集成。
NVIDIA Isaac 操纵器
Isaac Manipulator 是 NVIDIA 加速库和 AI 模型的工作流程。它使开发人员能够为机械臂或机械手带来人工智能加速，使其能够无缝感知、理解环境并与环境互动。
其基础模型和加速库可以作为独立模块或解决方案开发中的整个工作流程集成。除了独立的模块化组件外，还为开发人员提供结合 Isaac Manipulator 组件的示例工作流程（ROS 2 启动脚本），实现完整的端到端参考集成。
图 4. 利用 NVIDIA 组件的 Isaac Manipulator 工作流程示例（绿色）
Isaac Manipulator 早期合作者包括机器人开发平台公司、OEM 和 ISV/SI，其中包括 Intrinsic（Alphabet 旗下公司）、西门子、Solomon、Techman Robot、Teradyne Robotics、Vention 和 Yaskawa。
Isaac Manipulator 的主要特点
Isaac Manipulator 为加速机械臂的开发提供了人工智能功能。
cuMotion 实现更快的路径规划
这种 GPU 加速的运动规划器有助于缩短周期时间。cuMotion 可作为 MoveIt 2 运动规划框架的插件使用，该框架是由 PickNik Robotics 公司领导的国际社区开发的开源项目。
cuMotion 在多个种子上并行运行轨迹优化，并返回最佳解决方案。
图 5. PickNik's MoveIt 2 的 NVIDIA cuMotion 插件
Solomon 是先进视觉和机器人解决方案的领导者，也是 Isaac Manipulator 的早期合作者。与传统算法相比，他们使用 Isaac Manipulator cuMotion 增强的垃圾箱拣选系统的路径规划速度提高了8倍，路径奇异性发生率降低了50%
。| 指标 | 改善率（%） |
| 成功率提高 | 346.43 |
| 移动时间缩短 | 55.50 |
| 轨迹长度缩短 | 42.27 |
| 轨迹规划时间缩短 | 816.66 |
FoundationPose
FoundationPose 是一种新的统一基础模型，用于单次 6D 姿态估计和新物体的跟踪。该模型旨在在遇到以前未见过的物体的应用中以高精度工作，无需进行微调。
FoundationPose 目前在 2023 年 BOP 排行榜上名列前茅，用于未见物体的 6D 定位。它对遮挡、快速运动以及纹理和比例等各种物体属性具有很强的鲁棒性，可确保在各种场景中实现可靠的性能。开发人员可以从任何角度生成物体的真实视图。从 GitHub 获取 Foundation Pose 模型。
图 6. 使用 NVIDIA FoundationPose 进行姿势估计和跟踪
SyntheticaDETR
SyntheticaDETR 是一套基于实时检测转换器（DETR）的模型，用于在使用 NVIDIA Omniverse 生成的合成数据上进行单次图像空间物体检测训练。与传统的物体检测器相比，它采用变压器编码器-解码器架构一次性预测所有物体，从而实现了更高效的方法。
图 7.使用 SyntheticaDETR 进行对象检测和跟踪
SyntheticaDETR 在合成数据和真实世界数据上进行了训练，在 YCB-Video 数据集上对可见物体进行二维检测的 BOP 排行榜上名列前茅（平均精确度为 0.885，平均召回率为 0.903）。
这些模型还能将物体检测为二维边界框兴趣区域，用于 NVIDIA FoundationPose 等姿态估计工具。下载 SyntheticaDETR 模型并下载 Isaac Manipulator。
NVIDIA JetPack 6.0
NVIDIA Isaac ROS 3.0 与 JetPack 6.0 兼容，并支持所有 NVIDIA Jetson Orin 模块和开发人员工具包。
NVIDIA Jetson Platform Services 即将提供模块化、API 驱动的服务，以更快、更简便地构建生成式人工智能和机器人应用。这些预构建和可定制的服务旨在加速 NVIDIA Jetson Orin 系统模块上的 AI 应用开发。
NVIDIA Isaac Sim 4.0
利用 Isaac Sim，开发人员可以通过业界领先的传感器和机器人类型测试生成合成数据和多样化的虚拟复杂测试环境。这使得高度逼真的模拟能够同时对数千个机器人进行实时测试。
NVIDIA Isaac Lab
Isaac Lab 是基于 Isaac Sim 平台构建的轻量级参考应用程序，在机器人基础模型训练中发挥着关键作用。它支持强化学习、模仿学习和迁移学习。它可训练各种机器人，供开发人员探索设计和功能。
新版本还提供了易用性，包括与兼容性检查器的 VSCode 集成、对强化学习的多 GPU 支持、通过 RTX 传感器平铺渲染进行的性能改进、优化的缓存和着色器管理。
Isaac Sim 的其他新功能包括：
- 通过 PIP 安装和向导导入机器人等功能，易于使用。
- 性能得到提升，合成数据生成 (SDG) 速度提高 80%。
- 新的 SDG 格式，支持 COCO 格式和用于姿势估计的自定义写入器。
- 支持 ROS 2 启动，为基于图像的发布商提供端到端工作流程和更佳性能。
- 更多内置机器人支持：包括 Universal Robots UR20 和 UR30 以及 Boston Dynamics Spot。还有许多人形机器人，包括 1X Neo、Unitree H1、Agility Digit、Fourier Intelligence GR1、Sanctuary A1 Phoenix 和 XiaoPeng PX5。