Desarrolle para los seis módulos NVIDIA Jetson Orin con la potencia de un solo kit para desarrolladores

Con el anuncio de Jetson Orin Nano esta semana en GTC, ahora se revela toda la línea de módulos Jetson Orin. Con hasta 40 TOPS de rendimiento de IA, los módulos Orin Nano establecen el nuevo estándar para la IA de nivel de entrada, al igual que Jetson AGX Orin ya está redefiniendo la robótica y otros casos de uso de borde autónomo con 275 TOPS de rendimiento computacional de clase servidor.

Todos los módulos Jetson Orin y el kit para desarrolladores Jetson AGX Orin se basan en una arquitectura de SoC simple con una GPU de arquitectura Ampere de NVIDIA, una CPU de alto rendimiento y los aceleradores más recientes. Esta arquitectura compartida significa que puede desarrollar software para un módulo Jetson Orin y luego implementarlo fácilmente en cualquiera de los demás.

Puede comenzar hoy mismo el desarrollo de cualquier módulo Jetson Orin utilizando el kit para desarrolladores Jetson AGX Orin. La capacidad del kit para desarrolladores de emular de forma nativa el rendimiento de cualquiera de los módulos le permite comenzar ahora y acortar el tiempo de comercialización. El kit para desarrolladores puede emular con precisión el rendimiento de cualquier módulo Jetson Orin configurando las características y los relojes del hardware para que coincidan con los del módulo de destino.

Los equipos de desarrollo se benefician de la simplicidad de necesitar solo un tipo de kit para desarrolladores, independientemente de qué módulos estén destinados a producción. Esto también simplifica la infraestructura de CI/CD. Ya sea que esté desarrollando para robótica, análisis de video o cualquier otro caso de uso, la capacidad de este kit para desarrolladores brinda muchos beneficios.

Transforme el kit de desarrollador Jetson AGX Orin en cualquier módulo Jetson Orin

Con un solo paso, puedes transformar un kit de desarrollador Jetson AGX Orin en cualquiera de los módulos Jetson Orin. Se proporcionan archivos de configuración de flasheo para este proceso.

Para emular el módulo Jetson Orin en el kit para desarrolladores Jetson AGX Orin, siga los mismos pasos que se mencionan para flashear un kit para desarrolladores Jetson AGX Orin mediante el uso de las utilidades de flasheo. Después de colocar su kit para desarrolladores en modo de recuperación forzada, se usa la herramienta de línea de comandos flash.sh para flashearlo con una nueva imagen. Por ejemplo, el siguiente comando flashea el kit para desarrolladores con su configuración predeterminada:

$ sudo ./flash.sh jetson-agx-orin-devkit mmcblk0p1

El comando exacto que utilice debe modificarse con el nombre de la configuración flash adecuada para el módulo Jetson Orin que se va a emular. Por ejemplo, para emular un módulo Jetson Orin NX de 16 GB, utilice el siguiente comando:

$ sudo ./flash.sh jetson-agx-orin-devkit-as-nx-16gb mmcblk0p1

La Tabla 1 enumera los módulos Jetson Orin y el comando flash.sh apropiado para cada uno.

Las configuraciones de flash para los módulos Jetson Orin Nano aún no están incluidas en NVIDIA JetPack, hasta la versión 5.0.2. Utilice estas nuevas configuraciones después de descargarlas y aplicar un parche de superposición sobre NVIDIA JetPack 5.0.2 según las instrucciones que se encuentran dentro del archivo descargado.

Para obtener más información sobre las configuraciones de flasheo útiles para la emulación, consulte Configuraciones de flash de emulación.

Cuando finalice el flasheo, complete el arranque y la configuración iniciales. Luego puedes instalar el resto de los componentes de NVIDIA JetPack usando SDK Manager o simplemente usando un administrador de paquetes en el kit para desarrolladores en ejecución:

sudo apt update
sudo apt install nvidia-jetpack

Ahora tienes el kit para desarrolladores ejecutándose y NVIDIA JetPack instalado. El kit para desarrolladores Jetson AGX Orin ahora emula el rendimiento y la potencia del módulo Jetson Orin especificado.

Emule con precisión cualquier módulo Jetson Orin

Esta emulación nativa es precisa porque configura el kit para desarrolladores para que coincida con las frecuencias de reloj, la cantidad de núcleos de GPU y CPU y los aceleradores de hardware disponibles con el módulo de destino.

Por ejemplo, al emular el módulo Jetson Orin NX de 16 GB:

• El kit para desarrolladores de GPU está configurado con 1024 núcleos CUDA y 32 núcleos Tensor con una frecuencia máxima de 918 MHz.
• El complejo de CPU está configurado con ocho núcleos Arm Cortex-A78AE que funcionan a 2 GHz.
• La DRAM está configurada en 16 GB con un ancho de banda de 102 GB/s.
• El sistema ofrece los mismos perfiles de potencia admitidos por el módulo Jetson Orin NX de 16 GB.

Abra la interfaz gráfica de usuario de Jetson Power desde el menú superior del escritorio y verá que el sistema se ha configurado con precisión según el módulo de destino que se está emulando. Los relojes máximos se pueden configurar ejecutando el siguiente comando, y la interfaz gráfica de usuario de Jetson Power mostrará el cambio.

sudo jetson_clocks

La Figura 2 muestra la interfaz gráfica de usuario de Jetson Power después de configurar los relojes máximos cuando el Jetson AGX Orin Developer Kit se instala en un módulo Jetson AGX Orin de 64 GB emulado, en comparación con cuando se instala para emular un módulo Jetson Orin NX de 16 GB.

Al ejecutar varias muestras proporcionadas con NVIDIA JetPack, puede ver que el rendimiento se ajusta para coincidir con el del módulo que se está emulando. Por ejemplo, el ejemplo de evaluación comparativa incluido con la biblioteca VPI se puede utilizar para mostrar el rendimiento de la CPU, la GPU y PVA de los módulos Jetson AGX Orin de 64 GB, Jetson Orin NX de 16 GB y Jetson Orin Nano de 8 GB después de configurar el Jetson AGX Orin Developer Kit para emular el módulo respectivo.

Para ejecutar el ejemplo de evaluación comparativa de VPI, utilice los siguientes comandos:

cd /opt/nvidia/vpi2/samples/05-benchmark
sudo cmake .
sudo make
sudo ./vpi_sample_05_benchmark 

El ejemplo de evaluación comparativa de VPI genera la latencia en milisegundos para el algoritmo gaussiano. En la Tabla 2 se muestran los resultados para cada uno de los módulos objetivo.

De manera similar, puede ejecutar muestras multimedia para codificar y decodificar.

Para decodificar, ejecute los siguientes comandos:

cd /usr/src/jetson_multimedia_api/samples/00_video_decode
sudo make
sudo ./video_decode H264 --disable-rendering --stats --max-perf <input file>

Para codificar, ejecute los siguientes comandos:

cd /usr/src/jetson_multimedia_api/samples/01_video_encode
sudo make
sudo ./video_encode input.yuv 1920 1080 H264 out.h264 -fps 30 1 -ifi 1000 -idri 1000 --max-perf --stats

En la Tabla 3 se muestran los números de FPS después de ejecutar estas muestras de codificación y decodificación utilizando transmisiones de video H.264 1080P 30FPS.

*Jetson Orin Nano no incluye un NVEncoder. Para la Tabla 3, la codificación de Jetson Orin Nano se realizó en CPU usando ffmpeg. Se consiguen 110 FPS al utilizar cuatro núcleos de CPU. Al utilizar dos núcleos de CPU, se lograron 73 FPS, y al utilizar un solo núcleo de CPU, se lograron 33 FPS.

Para demostrar la precisión de la emulación, ejecutamos algunas pruebas de rendimiento del modelo de IA en el Jetson AGX Orin Developer Kit emulado como Jetson AGX Orin 32GB. Luego lo comparamos con los resultados que se obtengan al ejecutar las mismas pruebas de rendimiento en el módulo Jetson AGX Orin de 32 GB verdadero. Como se puede ver en los resultados, la diferencia entre el rendimiento emulado y el real es insignificante.

Aunque el kit para desarrollador Jetson AGX Orin incluye un módulo de 32 GB, proporciona el mismo nivel de rendimiento y viene con 275 TOPS que coinciden con el Jetson AGX Orin de 64 GB. No se requiere una configuración de flasheo especial para la emulación de Jetson AGX Orin de 64 GB, pero debe usar la configuración de flasheo adecuada para emular Jetson AGX Orin de 32 GB en el kit para desarrolladores de Jetson AGX Orin.

Realice el desarrollo de extremo a extremo para cualquier módulo de Jetson Orin

Puede trabajar con toda la pila de software de Jetson mientras emula un módulo Jetson Orin. Los marcos como NVIDIA DeepStream, NVIDIA Isaac y NVIDIA Riva funcionan en modo de emulación, y herramientas como TAO Toolkit funcionan como se espera con modelos previamente entrenados de NGC. La pila de software es independiente de la emulación y el rendimiento coincide exactamente con el del objetivo que se emula.

Si desarrolla un caso de uso de robótica o desarrolla una segmentación de visión con IA, puede realizar hoy mismo un desarrollo de extremo a extremo para cualquier módulo Jetson Orin mediante el uso del kit para desarrolladores Jetson AGX Orin y el modo de emulación.

Desarrolle aplicaciones robóticas con NVIDIA Isaac ROS para cualquier módulo Jetson Orin. Simplemente use la configuración de flasheo correcta para flash y comience su desarrollo ROS. La figura 5 muestra la ejecución de Isaac ROS Stereo Disparity DNN en el Jetson AGX Orin Developer Kit emulado como Jetson Orin Nano 8GB.

Desarrolle segmentaciones de visión con IA mediante el uso de DeepStream en el kit para desarrolladores Jetson AGX Orin para cualquier módulo Jetson Orin. ¡Simplemente funciona!

En la Figura 6 se muestra una segmentación IVA que ejecuta la detección de personas mediante el uso de DeepStream en el kit para desarrolladores Jetson AGX Orin emulado como Jetson Orin Nano de 8 GB con cuatro transmisiones de H.265 1080P 30FPS.

Llegue al mercado más rápido con el kit para desarrolladores Jetson AGX Orin

Con el soporte de emulación, puede llegar a producción más rápido al iniciar y finalizar el desarrollo de su aplicación en el Kit para desarrolladores Jetson AGX Orin. Compre el kit y comience su desarrollo.