새로운 NVIDIA Isaac Foundation 모델과 워크플로를 사용하여 로봇 애플리케이션을 생성, 설계 및 배포하십시오.

새로운 AI 개발 도구는 개발자가 로봇 개발을 가속화할 수 있도록 지원합니다. 이러한 도구에는 다음이 포함됩니다:

AMR과 AGV는 조립 라인의 효율성, 자재 처리, 의료 물류에 매우 중요합니다. 이러한 로봇이 복잡하고 비구조화된 환경을 탐색함에 따라 주변을 인식하고 반응하는 능력은 필수적입니다.   Isaac Perceptor는 NVIDIA Isaac Robot Operating System (ROS)을 기반으로 구축되었으며, 원장비제조업체(OEM), 화물 서비스 제공업체, 소프트웨어 벤더 및 AMR 생태계가 로봇 공학 개발을 가속화할 수 있도록 지원합니다. 팀은 비구조화된 환경에서 성공적인 탐색 및 장애물 회피를 위해 이동 로봇에 인식 기능을 장착할 수 있습니다.   Isaac Perceptor 초기 협력업체에는 ArcBest, BYD Electronics, Gideon, KION, Kudan, idealworks, RGo, Teradyne Robotics와 같은 물류/내부 물류, 자동차 제작사, 산업용 로봇 제조사 및 로봇 솔루션 제공업체의 업계 리더들이 포함됩니다.

아이작 퍼셉터의 주요 특징

Isaac Perceptor는 AI 기반 자율 이동 로봇을 위한 다중 카메라, 3D 서라운드 비전 기능을 제공합니다.

Multi-camera AI-based depth perception

Isaac Perceptor는 30 Hz에서 카메라당 초당 16.5M의 깊이 포인트를 처리합니다. 스테레오 카메라에서 소싱된 시간 동기화된 이미지 쌍에서 스테레오 차이를 계산하며, 이를 사용하여 장면의 깊이 이미지 또는 포인트 클라우드를 생성합니다. 효율적인 반감독 심층 신경망(ESS DNN)은 DNN 기반 스테레오 차이를 위한 GPU 가속 패키지를 제공합니다.  

다중 카메라 시각 관성 위치 추적

Isaac ROS Visual SLAM은 ROS 2 패키지를 제공하여 시각적 동시 위치 추정 및 매핑(VSLAM)과 시각적 오도메트리(VO)를 지원합니다. 이 패키지는 NVIDIA CUDA Visual SLAM (cuVSLAM) 라이브러리를 기반으로 하며, 특징이 없는 환경에서도 1% 미만의 번역 오류로 강력한 내비게이션을 제공합니다.   시각적 특징이 드문 환경이나 반복적 패턴을 가진 환경의 내비게이션은 VSLAM 솔루션에 잘 알려진 과제를 제공합니다. 이는 여러 시점으로부터의 입력을 융합함으로써 완화될 수 있습니다. 최신 업데이트에서는 cuVSLAM이 다중 스테레오 카메라로부터의 동시 시각적 오도메트리 추정을 통합했습니다.   테스트 결과 상당한 개선이 확인되었습니다. 로봇은 단일 카메라를 사용했을 때 25% 미만의 성공률에 비해, 다중 카메라를 사용했을 때 내비게이션 목표를 지속적으로 달성했습니다.  

실시간 다중 카메라 복셀 그리드 매핑

Isaac Perceptor의 중심에는 CUDA로 가속화된 3D 재구성 라이브러리인 nvblox가 있습니다. nvblox는 최대 5미터 떨어진 장애물을 식별하여 2D 비용 맵을 제공하고 300ms 이내에 업데이트할 수 있습니다.   Isaac ROS nvblox는 네비게이션을 위한 3D 장면 재구성과 로컬 장애물 비용 맵 생성을 위한 ROS 2 패키지를 제공합니다. 이 패키지는 고정된 환경 및 사람과 이동하는 객체가 있는 장면에 사용할 수 있습니다.   이 버전에서 독특한 점은 최대 세 개의 HAWK 카메라를 사용하여 약 270° 시야각을 제공하며, 확장된 범위를 지원하는 멀티 카메라 기능입니다.  

NVIDIA Nova Orin Developer Kit

이 개발 키트는 NVIDIA Jetson AGX Orin을 특징으로 하며, 최대 세 개의 스테레오 카메라와 세 개의 어안 카메라를 포함하여 총 여섯 개의 카메라를 지원하며, 카메라 간 지연 시간이 100마이크로초 미만입니다.   스테레오 카메라는 카메라당 2MP의 해상도를 가지며, 110X70의 시야각으로 3D 점유 격자 매핑, 깊이 인식, 비주얼 오도메트리 및 사람 감지에 적합합니다. Segway 또는 Leopard Imaging에서 Nova Orin 개발 키트를 구매하여 Isaac Perceptor를 사용하세요.   Isaac Perceptor는 이 개발 키트에서 최대 세 개의 스테레오 카메라를 지원하는 참조 그래프를 제공합니다. ROS 2 패키지와의 향상된 모듈성과 함께, 이 버전에는 Nova Carter 참조 로봇의 Nav2와의 참조 통합도 포함되어 있습니다.

카메라 및 센서와의 향상된 호환성

Isaac Perceptor는 카메라 및 센서 파트너와의 통합을 위한 향상된 지원을 제공합니다. Orbbec는 NVIDIA Isaac Perceptor 구성 요소와 Gemini 335L 카메라를 성공적으로 통합했습니다. 이 통합은 NVIDIA Jetson AGX Orin에서 Isaac ROS Visual SLAM과 Nvblox를 사용하여 시연됩니다.   LIPS 또한 Isaac Perceptor 구성 요소인 Nvblox와 AE450 카메라를 성공적으로 통합했습니다.

NVIDIA Isaac Manipulator

Isaac Manipulator는 NVIDIA가 가속화한 라이브러리와 AI 모델의 워크플로우입니다. 이는 개발자가 로봇 팔 또는 매니퓰레이터에 AI 가속화를 도입하여 주변 환경을 원활하게 인지하고 이해하며 상호작용할 수 있도록 합니다.   기초 모델과 가속화된 라이브러리는 독립 모듈로 통합하거나, 솔루션 개발에서 전체 워크플로우로 통합될 수 있습니다. 독립적이고 모듈식 구성 요소와 함께, 개발자는 Isaac Manipulator 구성 요소를 사용하여 전체 엔드 투 엔드 참조 통합을 위한 샘플 워크플로우(ROS 2 실행 스크립트)도 제공받습니다.  

Isaac Manipulator의 초기 협력사에는 Intrinsic (Alphabet 회사), Siemens, Solomon, Techman Robot, Teradyne Robotics, Vention, Yaskawa를 포함한 로봇 개발 플랫폼 기업, OEM 및 ISV/SI가 포함됩니다.

Isaac Manipulator의 주요 기능

Isaac Manipulator는 로봇 팔 개발을 가속화하기 위해 AI 기능을 제공합니다.

cuMotion으로 더 빠른 경로 계획

이 GPU 가속 모션 플래너는 사이클 시간을 단축하는 데 도움이 됩니다. cuMotion은 국제 커뮤니티가 개발하고 PickNik Robotics가 이끄는 오픈 소스 프로젝트 MoveIt 2 모션 플래닝 프레임워크의 플러그인으로 제공됩니다.
 
cuMotion은 여러 시드에서 궤적 최적화를 병렬로 실행하고 최상의 솔루션을 반환합니다.

Solomon은 첨단 비전 및 로봇 솔루션 분야의 리더로서 Isaac Manipulator의 초기 협력업체입니다. 그들의 cuMotion으로 강화된 Isaac Manipulator 빈 피킹 시스템은 기존 알고리즘에 비해 경로 계획 속도를 8배 향상시키고 경로 특이 발생 빈도를 50% 줄였습니다.

파운데이션포즈

FoundationPose는 새로운 객체에 대한 단일 샷 6D 자세 추정 및 트래킹을 위한 통합 기준 모델입니다. 이 모델은 이전에 본 적 없는 객체를 정확하게 처리하며, 별도의 세부 조정 없이 고정밀도를 유지하도록 설계되었습니다.   FoundationPose는 현재 2023 BOP 리더보드에서 새로운 객체의 6D 위치 추정을 위한 최고의 위치에 있습니다. 이 모델은 가림, 빠른 움직임, 텍스처 및 크기 등 다양한 객체 특성에도 견고한 성능을 제공하여 다양한 상황에서 신뢰할 수 있는 결과를 제공합니다. 개발자는 객체의 현실적인 뷰를 어느 각도에서든 생성할 수 있습니다. GitHub에서 FoundationPose 모델을 받아보세요.  

SyntheticaDETR

SyntheticaDETR은 NVIDIA Omniverse를 사용하여 생성된 합성 데이터를 학습한 단일 발사, 이미지 공간 객체 검출을 위한 Real-Time DEtection TRansformer (DETRs) 기반 모델 세트입니다. 이는 변환기 인코더-디코더 아키텍처를 사용하여 모든 객체를 한 번에 예측함으로써 전통적인 객체 검출기보다 더 효율적인 접근 방식으로 구현됩니다.

합성 및 실제 데이터로 학습된 SyntheticaDETR은 YCB-Video 데이터셋에서 관찰된 객체의 2D 감지를 위한 BOP 리더보드에서 상위를 차지하고 있습니다 (평균 정밀도 0.885 및 평균 재현율 0.903).   이 모델들은 NVIDIA FoundationPose와 같은 포즈 추정기를 위한 2D 경계 상자 관심 영역으로 객체를 감지할 수도 있습니다. SyntheticaDETR 모델을 다운로드하고 Isaac Manipulator를 다운로드하세요.

NVIDIA JetPack 6.0

NVIDIA Isaac ROS 3.0은 JetPack 6.0과 호환되며 모든 NVIDIA Jetson Orin 모듈 및 개발 키트에서 지원됩니다.   모듈식 API 기반 서비스를 통해 생성적 AI와 로보틱스 애플리케이션을 더 빠르고 쉽게 개발할 수 있도록 NVIDIA Jetson Platform Services에 곧 제공될 예정입니다. 이러한 사전 구축되고 맞춤화 가능한 서비스는 NVIDIA Jetson Orin 시스템 온 모듈에서 AI 애플리케이션 개발을 가속화하도록 설계되었습니다.

NVIDIA Isaac Sim 4.0

Isaac Sim을 사용하여 개발자는 업계 선두의 센서 및 로봇 유형 테스트를 통해 합성 데이터와 다양한 가상 복잡한 테스트 환경을 생성할 수 있습니다. 이는 수천 대의 로봇을 실시간으로 동시에 테스트할 수 있는 매우 현실적인 시뮬레이션을 가능하게 합니다.

NVIDIA Isaac Lab

Isaac Lab는 Isaac Sim 플랫폼을 기반으로 구축된 경량 참조 애플리케이션으로, 로봇 기초 모델 훈련에서 중요한 역할을 합니다. 이는 강화 학습, 모방 학습, 전이 학습을 지원하며, 개발자가 설계와 기능을 탐구할 수 있도록 다양한 로봇 구현을 훈련할 수 있습니다.   이 애플리케이션은 호환성 검사기를 사용한 VSCode 통합, 강화 학습을 위한 멀티 GPU 지원, RTX 센서 타일 렌더링을 사용한 성능 개선, 최적화된 캐시 및 셰이더 관리를 통해 사용 편의성을 제공합니다.   Isaac Sim의 추가 새로운 기능은 다음과 같습니다: