Ultralytics YOLO26 en NVIDIA Jetson usando DeepStream SDK y TensorRT#

Esta guía completa ofrece un recorrido detallado para implementar Ultralytics YOLO26 en dispositivos NVIDIA Jetson usando DeepStream SDK y TensorRT. Aquí usamos TensorRT para maximizar el rendimiento de la inferencia en la plataforma Jetson.

Esta guía explica la configuración de DeepStream para YOLO26, la calibración INT8, la configuración multistream y los resultados de las pruebas de rendimiento.

¿Qué es NVIDIA DeepStream?#

El DeepStream SDK de NVIDIA es un kit de herramientas completo de análisis de streaming basado en GStreamer para el procesamiento multisensor basado en IA, así como para la comprensión de vídeo, audio e imágenes. Es ideal para desarrolladores de IA para visión, socios de software, startups y OEM que crean aplicaciones y servicios de IVA (analítica de vídeo inteligente). Ahora puedes crear canalizaciones de procesamiento de streams que incorporen redes neuronales y otras tareas de procesamiento complejas, como el seguimiento, la codificación y decodificación de vídeo y la renderización de vídeo. Estas canalizaciones permiten realizar análisis en tiempo real de vídeo, imágenes y datos de sensores. La compatibilidad multiplataforma de DeepStream te ofrece una forma más rápida y sencilla de desarrollar aplicaciones y servicios de IA para visión en las instalaciones, en el edge y en la nube.

Requisitos previos#

Antes de empezar a seguir esta guía:

• Visita nuestra documentación, Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO26, para configurar tu dispositivo NVIDIA Jetson con Ultralytics YOLO26
• Instala DeepStream SDK según la versión de JetPack
  • Para JetPack 4.6.4, instala DeepStream 6.0.1
  • Para JetPack 5.1.3, instala DeepStream 6.3
  • Para JetPack 6.1, instala DeepStream 7.1
  • Para JetPack 7.1, instala DeepStream 9.0

Configuración de DeepStream para YOLO26#

Aquí usamos el repositorio de GitHub marcoslucianops/DeepStream-Yolo, que incluye compatibilidad con NVIDIA DeepStream SDK para modelos YOLO. ¡Agradecemos el trabajo de marcoslucianops y sus contribuciones!

1. Instala Ultralytics con las dependencias necesarias

   pip install ultralytics onnx onnxslim

2. Clona el repositorio DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Descarga el modelo de detección de Ultralytics YOLO26 (.pt) que prefieras desde el proyecto YOLO26. Aquí usamos yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Convierte el modelo a ONNX y escribe el archivo labels.txt del que DeepStream lee los nombres de las clases

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Copia el archivo de modelo .onnx generado y el archivo labels.txt a la carpeta DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Establece la versión de CUDA según la versión de JetPack instalada

   Para JetPack 4.6.4:

   export CUDA_VER=10.2

   Para JetPack 5.1.3:

   export CUDA_VER=11.4

   Para JetPack 6.1:

   export CUDA_VER=12.6

   Para JetPack 7.1:

   export CUDA_VER=13.0

7. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Edita el archivo config_infer_primary_yolo26.txt según tu modelo (para YOLO26s con 80 clases)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Edita el archivo deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. También puedes cambiar la fuente de vídeo en el archivo deepstream_app_config. Aquí se carga un archivo de vídeo predeterminado

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Ejecuta la inferencia#

deepstream-app -c deepstream_app_config.txt

Calibración INT8#

Si quieres usar precisión INT8 para la inferencia, debes seguir los pasos siguientes:

1. Establece la variable de entorno OPENCV

   export OPENCV=1

2. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para el conjunto de datos COCO, descarga val2017, extráelo y muévelo a la carpeta DeepStream-Yolo

4. Crea un directorio nuevo para las imágenes de calibración

   mkdir calibration

5. Ejecuta lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO y realizar la calibración

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crea el archivo calibration.txt con todas las imágenes seleccionadas

   realpath calibration/*jpg > calibration.txt

7. Establece las variables de entorno

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Actualiza el archivo config_infer_primary_yolo26.txt

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Ejecuta la inferencia INT8#

Ejecuta el mismo comando para compilar el motor INT8 e iniciar la inferencia:

deepstream-app -c deepstream_app_config.txt

Configuración multistream#

Para configurar varios streams en una sola aplicación de DeepStream, realiza los cambios siguientes en el archivo deepstream_app_config.txt:

1. Cambia las filas y columnas para crear una cuadrícula según el número de streams que quieras tener. Por ejemplo, para 4 streams, podemos añadir 2 filas y 2 columnas.

   [tiled-display]
   rows=2
   columns=2

2. Añade un grupo [sourceN] independiente para cada stream, cada uno con su propio uri y num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Ejecuta la inferencia multistream#

Ejecuta el mismo comando para iniciar todos los streams en la vista en mosaico:

deepstream-app -c deepstream_app_config.txt

Resultados de las pruebas de rendimiento#

Las siguientes pruebas de rendimiento resumen el rendimiento de los modelos YOLO11 con distintos niveles de precisión de TensorRT, con un tamaño de entrada de 640x640 en NVIDIA Jetson Orin NX 16GB. YOLO26 utiliza el mismo flujo de trabajo de exportación e inferencia de DeepStream descrito anteriormente.

Gráfico comparativo#

Tabla comparativa detallada#

Agradecimientos#

Esta guía fue creada inicialmente por nuestros amigos de Seeed Studio, Lakshantha y Elaine.

Preguntas frecuentes#