Ultralytics YOLO26 en NVIDIA Jetson usando DeepStream SDK y TensorRT

Esta guía exhaustiva proporciona un recorrido detallado para implementar Ultralytics YOLO26 en NVIDIA Jetson dispositivos usando DeepStream SDK y TensorRT. Aquí usamos TensorRT para maximizar el rendimiento de la inferencia en la plataforma Jetson.

¿Qué es NVIDIA DeepStream?

NVIDIA DeepStream SDK es un kit de herramientas completo de análisis de streaming basado en GStreamer para el procesamiento multisensor, vídeo, audio y comprensión de imágenes basado en IA. Es ideal para desarrolladores de visión artificial, socios de software, startups y OEMs que crean aplicaciones y servicios de IVA (Intelligent Video Analytics). Ahora puedes crear pipelines de procesamiento de flujo que incorporen redes neuronales y otras tareas de procesamiento complejas como seguimiento, codificación/decodificación de vídeo y renderizado de vídeo. Estos pipelines permiten realizar análisis en tiempo real sobre datos de vídeo, imágenes y sensores. El soporte multiplataforma de DeepStream te ofrece una forma más rápida y sencilla de desarrollar aplicaciones y servicios de visión artificial en entornos locales, en el borde y en la nube.

Requisitos previos

Antes de empezar a seguir esta guía:

• Visita nuestra documentación, Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO26 para configurar tu dispositivo NVIDIA Jetson con Ultralytics YOLO26
• Instala DeepStream SDK según la versión de JetPack
  • Para JetPack 4.6.4, instala DeepStream 6.0.1
  • Para JetPack 5.1.3, instala DeepStream 6.3
  • Para JetPack 6.1, instala DeepStream 7.1
  • Para JetPack 7.1, instala DeepStream 9.0

Configuración de DeepStream para YOLO26

Aquí estamos usando el repositorio de GitHub marcoslucianops/DeepStream-Yolo el cual incluye soporte para NVIDIA DeepStream SDK para modelos YOLO. ¡Agradecemos el esfuerzo de marcoslucianops por sus contribuciones!

1. Instala Ultralytics con las dependencias necesarias

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. Clona el repositorio DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Copia el archivo export_yolo26.py desde el directorio DeepStream-Yolo/utils a la carpeta ultralytics folder

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. Descarga el modelo de detección Ultralytics YOLO26 (.pt) de tu elección desde lanzamientos de YOLO26. Aquí usamos yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. Convierte el modelo a ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. Copia el archivo de modelo .onnx generado y el archivo labels.txt a la carpeta DeepStream-Yolo folder

   cp yolo26s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. Establece la versión de CUDA según la versión de JetPack instalada

   Para JetPack 4.6.4:

   export CUDA_VER=10.2

   Para JetPack 5.1.3:

   export CUDA_VER=11.4

   Para JetPack 6.1:

   export CUDA_VER=12.6

8. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. Edita el archivo config_infer_primary_yolo26.txt según tu modelo (para YOLO26s con 80 clases)

   [property]
   ...
   onnx-file=yolo26s.pt.onnx
   ...
   num-detected-classes=80
   ...

10. Edita el archivo deepstream_app_config archivo

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. También puedes cambiar la fuente de vídeo en el archivo deepstream_app_config. Aquí se carga un archivo de vídeo predeterminado

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Ejecuta la inferencia

deepstream-app -c deepstream_app_config.txt

Calibración INT8

Si quieres usar precisión INT8 para la inferencia, debes seguir los pasos a continuación:

1. Establece la variable de entorno OPENCV environment variable

   export OPENCV=1

2. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para el conjunto de datos COCO, descarga val2017, extráelo y muévelo a DeepStream-Yolo folder

4. Crea un nuevo directorio para las imágenes de calibración

   mkdir calibration

5. Ejecuta lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO para realizar la calibración

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crea el archivo calibration.txt con todas las imágenes seleccionadas

   realpath calibration/*jpg > calibration.txt

7. Establece las variables de entorno

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Actualiza el config_infer_primary_yolo26.txt archivo

   Desde

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   Para

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Ejecuta la inferencia

deepstream-app -c deepstream_app_config.txt

Configuración de MultiStream

Para configurar múltiples flujos bajo una única aplicación DeepStream, realiza los siguientes cambios en el deepstream_app_config.txt:

1. Cambia las filas y columnas para crear una visualización en cuadrícula según el número de flujos que desees tener. Por ejemplo, para 4 flujos, podemos añadir 2 filas y 2 columnas.

   [tiled-display]
   rows=2
   columns=2

2. Establece la variable de entorno num-sources=4 y añade las uri entradas para los cuatro flujos.

   [source0]
   enable=1
   type=3
   uri=path/to/video1.jpg
   uri=path/to/video2.jpg
   uri=path/to/video3.jpg
   uri=path/to/video4.jpg
   num-sources=4

Ejecuta la inferencia

deepstream-app -c deepstream_app_config.txt

Resultados de los benchmarks

Los siguientes benchmarks resumen cómo funcionan los modelos YOLO26 en diferentes niveles de precisión de TensorRT con un tamaño de entrada de 640x640 en NVIDIA Jetson Orin NX 16GB.

Gráfico comparativo

Tabla comparativa detallada

Agradecimientos

Esta guía fue creada originalmente por nuestros amigos de Seeed Studio, Lakshantha y Elaine.

Preguntas frecuentes

¿Cómo configuro Ultralytics YOLO26 en un dispositivo NVIDIA Jetson?

Para configurar Ultralytics YOLO26 en un NVIDIA Jetson dispositivo, primero necesitas instalar el DeepStream SDK compatible con tu versión de JetPack. Sigue la guía paso a paso en nuestra Guía de inicio rápido para configurar tu NVIDIA Jetson para la implementación de YOLO26.

¿Cuál es la ventaja de usar TensorRT con YOLO26 en NVIDIA Jetson?

El uso de TensorRT con YOLO26 optimiza el modelo para la inferencia, reduciendo significativamente la latencia y mejorando el rendimiento en dispositivos NVIDIA Jetson. TensorRT proporciona una inferencia deep learning de alto rendimiento y baja latencia mediante la fusión de capas, la calibración de precisión y el ajuste automático del kernel. Esto conduce a una ejecución más rápida y eficiente, especialmente útil para aplicaciones en tiempo real como el análisis de vídeo y las máquinas autónomas.

¿Puedo ejecutar Ultralytics YOLO26 con DeepStream SDK en diferentes hardware de NVIDIA Jetson?

Sí, la guía para implementar Ultralytics YOLO26 con DeepStream SDK y TensorRT es compatible con toda la línea NVIDIA Jetson. Esto incluye dispositivos como Jetson Orin NX 16GB con JetPack 5.1.3 y Jetson Nano 4GB con JetPack 4.6.4. Consulta la sección Configuración de DeepStream para YOLO26 para obtener pasos detallados.

¿Cómo puedo convertir un modelo YOLO26 a ONNX para DeepStream?

Para convertir un modelo YOLO26 al formato ONNX para su implementación con DeepStream, usa el utils/export_yolo26.py script del DeepStream-Yolo repositorio.

Aquí tienes un comando de ejemplo:

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

Para obtener más detalles sobre la conversión de modelos, consulta nuestra sección de exportación de modelos.

¿Cuáles son los benchmarks de rendimiento para YOLO en NVIDIA Jetson Orin NX?

El rendimiento de los modelos YOLO26 en NVIDIA Jetson Orin NX 16GB varía según los niveles de precisión de TensorRT. Por ejemplo, los modelos YOLO26s logran:

• Precisión FP32: 14.6 ms/im, 68.5 FPS
• Precisión FP16: 7.94 ms/im, 126 FPS
• Precisión INT8: 5.95 ms/im, 168 FPS

Estos benchmarks subrayan la eficiencia y capacidad de usar modelos YOLO26 optimizados con TensorRT en hardware NVIDIA Jetson. Para más detalles, consulta nuestra Resultados de los benchmarks.