Ultralytics YOLO26 en NVIDIA Jetson utilizando DeepStream SDK y TensorRT#

Esta guía completa ofrece una descripción detallada para implementar Ultralytics YOLO26 en dispositivos NVIDIA Jetson utilizando el DeepStream SDK y TensorRT. Aquí usamos TensorRT para maximizar el rendimiento de inferencia en la plataforma Jetson.

Esta guía repasa la configuración de DeepStream para YOLO26, la calibración INT8, la configuración multi-flujo y los resultados de las pruebas de rendimiento.

¿Qué es NVIDIA DeepStream?#

El DeepStream SDK de NVIDIA es un kit de herramientas de análisis de transmisión completo basado en GStreamer para procesamiento multisensor basado en IA, vídeo, audio y comprensión de imágenes. Es ideal para desarrolladores de visión artificial, socios de software, startups y fabricantes de equipos originales (OEM) que crean aplicaciones y servicios de IVA (análisis de vídeo inteligente). Ahora puedes crear canalizaciones de procesamiento de transmisiones que incorporan redes neuronales y otras tareas de procesamiento complejas como seguimiento, codificación/decodificación de vídeo y renderizado de vídeo. Estas canalizaciones permiten realizar análisis en tiempo real de datos de vídeo, imágenes y sensores. La compatibilidad multiplataforma de DeepStream te ofrece una forma más rápida y sencilla de desarrollar aplicaciones y servicios de visión artificial en las instalaciones, en el borde y en la nube.

Requisitos previos#

Antes de comenzar a seguir esta guía:

• Visita nuestra documentación, la Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLO26, para configurar tu dispositivo NVIDIA Jetson con Ultralytics YOLO26.
• Instala el DeepStream SDK según la versión de JetPack.
  • Para JetPack 4.6.4, instala DeepStream 6.0.1.
  • Para JetPack 5.1.3, instala DeepStream 6.3.
  • Para JetPack 6.1, instala DeepStream 7.1.
  • Para JetPack 7.1, instala DeepStream 9.0.

Configuración de DeepStream para YOLO26#

Aquí utilizamos el repositorio de GitHub marcoslucianops/DeepStream-Yolo, que incluye compatibilidad con el NVIDIA DeepStream SDK para modelos YOLO. ¡Agradecemos los esfuerzos de marcoslucianops por sus contribuciones!

1. Instala Ultralytics con las dependencias necesarias

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. Clona el repositorio DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Copia el archivo export_yolo26.py del directorio DeepStream-Yolo/utils a la carpeta ultralytics.

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. Descarga un modelo de detección Ultralytics YOLO26 (.pt) de tu elección desde el proyecto YOLO26. Aquí usamos yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. Convierte el modelo a ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. Copia el archivo de modelo .onnx generado y el archivo labels.txt a la carpeta DeepStream-Yolo.

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. Establece la versión de CUDA según la versión de JetPack instalada

   Para JetPack 4.6.4:

   export CUDA_VER=10.2

   Para JetPack 5.1.3:

   export CUDA_VER=11.4

   Para JetPack 6.1:

   export CUDA_VER=12.6

8. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. Edita el archivo config_infer_primary_yolo26.txt según tu modelo (para YOLO26s con 80 clases).

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. Edita el archivo deepstream_app_config.

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. También puedes cambiar la fuente de vídeo en el archivo deepstream_app_config. Aquí se carga un archivo de vídeo predeterminado.

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Ejecuta la inferencia#

deepstream-app -c deepstream_app_config.txt

Calibración INT8#

Si deseas utilizar precisión INT8 para la inferencia, debes seguir los pasos a continuación:

1. Configura la variable de entorno OPENCV.

   export OPENCV=1

2. Compila la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Para el conjunto de datos COCO, descarga val2017, extráelo y muévelo a la carpeta DeepStream-Yolo.

4. Crea un nuevo directorio para las imágenes de calibración

   mkdir calibration

5. Ejecuta lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO para realizar la calibración

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crea el archivo calibration.txt con todas las imágenes seleccionadas.

   realpath calibration/*jpg > calibration.txt

7. Establece las variables de entorno

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Actualiza el archivo config_infer_primary_yolo26.txt.

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Ejecutar inferencia INT8#

Ejecuta el mismo comando para crear el motor INT8 e iniciar la inferencia:

deepstream-app -c deepstream_app_config.txt

Configuración de múltiples flujos (MultiStream)#

Para configurar múltiples flujos bajo una sola aplicación de DeepStream, realiza los siguientes cambios en el archivo deepstream_app_config.txt:

1. Cambia las filas y columnas para crear una visualización en cuadrícula de acuerdo con la cantidad de flujos que desees tener. Por ejemplo, para 4 flujos, podemos añadir 2 filas y 2 columnas.

   [tiled-display]
   rows=2
   columns=2

2. Añade un grupo [sourceN] independiente para cada flujo, cada uno con su propio uri y num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Ejecutar inferencia de múltiples flujos#

Ejecuta el mismo comando para lanzar todos los flujos en la pantalla de mosaico:

deepstream-app -c deepstream_app_config.txt

Resultados de los benchmarks#

Las siguientes pruebas de rendimiento resumen cómo funcionan los modelos YOLO11 en diferentes niveles de precisión de TensorRT con un tamaño de entrada de 640x640 en NVIDIA Jetson Orin NX 16GB. YOLO26 utiliza el mismo flujo de trabajo de exportación e inferencia de DeepStream descrito anteriormente.

Gráfico comparativo#

Tabla comparativa detallada#

Agradecimientos#

Esta guía fue creada inicialmente por nuestros amigos de Seeed Studio, Lakshantha y Elaine.

FAQ#