Ultralytics YOLO26 en NVIDIA Jetson con DeepStream SDK y TensorRT#

Esta guía completa explica detalladamente cómo implementar Ultralytics YOLO26 en dispositivos NVIDIA Jetson con DeepStream SDK y TensorRT. Aquí usamos TensorRT para maximizar el rendimiento de la inferencia en la plataforma Jetson.

Esta guía explica cómo configurar DeepStream para YOLO26, realizar la calibración INT8, configurar varios flujos y consultar los resultados de las pruebas de rendimiento.

¿Qué es NVIDIA DeepStream?#

DeepStream SDK de NVIDIA es un conjunto de herramientas completo de análisis de flujos basado en GStreamer para el procesamiento multisensor con IA y la comprensión de vídeo, audio e imágenes. Es ideal para desarrolladores de IA visual, socios de software, startups y fabricantes de equipos originales que desarrollan aplicaciones y servicios de análisis de vídeo inteligente (IVA). Ahora puedes crear canalizaciones de procesamiento de flujos que incorporen redes neuronales y otras tareas de procesamiento complejas, como el seguimiento, la codificación y decodificación de vídeo, y la renderización de vídeo. Estas canalizaciones permiten realizar análisis en tiempo real de datos de vídeo, imágenes y sensores. La compatibilidad multiplataforma de DeepStream te ofrece una forma más rápida y sencilla de desarrollar aplicaciones y servicios de IA visual en tus instalaciones, en el edge y en la nube.

Requisitos previos#

Antes de seguir esta guía:

• Consulta nuestra documentación, Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO26, para configurar tu dispositivo NVIDIA Jetson con Ultralytics YOLO26
• Instala DeepStream SDK según la versión de JetPack
  • Para JetPack 4.6.4, instala DeepStream 6.0.1
  • Para JetPack 5.1.3, instala DeepStream 6.3
  • Para JetPack 6.1, instala DeepStream 7.1
  • Para JetPack 7.1, instala DeepStream 9.0

Configuración de DeepStream para YOLO26#

Aquí usamos el repositorio de GitHub marcoslucianops/DeepStream-Yolo, que incluye compatibilidad con los modelos YOLO para NVIDIA DeepStream SDK. ¡Agradecemos a marcoslucianops su esfuerzo y sus contribuciones!

1. Instala Ultralytics con las dependencias necesarias

   pip install ultralytics onnx onnxslim

2. Clona el repositorio DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Descarga el modelo de detección Ultralytics YOLO26 (.pt) que prefieras desde el proyecto YOLO26. Aquí usamos yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Convierte el modelo a ONNX y escribe el archivo labels.txt del que DeepStream lee los nombres de las clases

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # crea 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Copia el archivo de modelo generado .onnx y el archivo labels.txt en la carpeta DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Establece la versión de CUDA según la versión de JetPack instalada

   Para JetPack 4.6.4:

   export CUDA_VER=10.2

   Para JetPack 5.1.3:

   export CUDA_VER=11.4

   Para JetPack 6.1:

   export CUDA_VER=12.6

   Para JetPack 7.1:

   export CUDA_VER=13.0

7. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Edita el archivo config_infer_primary_yolo26.txt según tu modelo (para YOLO26s con 80 clases)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Edita el archivo deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. También puedes cambiar la fuente de vídeo en el archivo deepstream_app_config. Aquí se carga un archivo de vídeo de forma predeterminada

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Ejecuta la inferencia#

deepstream-app -c deepstream_app_config.txt

Calibración INT8#

Si quieres usar precisión INT8 para la inferencia, sigue estos pasos:

1. Establece la variable de entorno OPENCV

   export OPENCV=1

2. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para el conjunto de datos COCO, descarga val2017, extráelo y muévelo a la carpeta DeepStream-Yolo

4. Crea un directorio nuevo para las imágenes de calibración

   mkdir calibration

5. Ejecuta lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO y realizar la calibración

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crea el archivo calibration.txt con todas las imágenes seleccionadas

   realpath calibration/*jpg > calibration.txt

7. Establece las variables de entorno

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Actualiza el archivo config_infer_primary_yolo26.txt

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Ejecuta la inferencia INT8#

Ejecuta el mismo comando para crear el motor INT8 e iniciar la inferencia:

deepstream-app -c deepstream_app_config.txt

Configuración de varios flujos#

Para configurar varios flujos en una sola aplicación DeepStream, haz los siguientes cambios en el archivo deepstream_app_config.txt:

1. Cambia las filas y las columnas para crear una cuadrícula según el número de flujos que quieras usar. Por ejemplo, para 4 flujos, puedes añadir 2 filas y 2 columnas.

   [tiled-display]
   rows=2
   columns=2

2. Añade un grupo [sourceN] independiente para cada flujo, cada uno con su propio uri y num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Ejecuta la inferencia con varios flujos#

Ejecuta el mismo comando para iniciar todos los flujos en la visualización en mosaico:

deepstream-app -c deepstream_app_config.txt

Resultados de las pruebas de rendimiento#

Las siguientes pruebas de rendimiento resumen el rendimiento de los modelos YOLO11 con distintos niveles de precisión de TensorRT y un tamaño de entrada de 640x640 en NVIDIA Jetson Orin NX de 16 GB. YOLO26 utiliza el mismo flujo de trabajo de exportación e inferencia de DeepStream descrito anteriormente.

Gráfico comparativo#

Tabla comparativa detallada#

Agradecimientos#

Esta guía la crearon inicialmente nuestros amigos de Seeed Studio, Lakshantha y Elaine.

Preguntas frecuentes#