Ultralytics YOLOv8 en NVIDIA Jetson usando DeepStream SDK y TensorRT

Esta completa guía proporciona un recorrido detallado para implementar Ultralytics YOLOv8 en dispositivos NVIDIA Jetson utilizando DeepStream SDK y TensorRT. Aquí utilizamos TensorRT para maximizar el rendimiento de la inferencia en la plataforma Jetson.

¿Qué es NVIDIA DeepStream?

El SDK DeepStream de NVIDIA es un completo kit de herramientas de análisis de streaming basado en GStreamer para el procesamiento multisensor basado en IA, vídeo, audio y comprensión de imágenes. Es ideal para desarrolladores de IA de visión, socios de software, startups y fabricantes de equipos originales que crean aplicaciones y servicios de IVA (Análisis Inteligente de Vídeo). Ahora puedes crear canalizaciones de procesamiento de flujos que incorporen redes neuronales y otras tareas de procesamiento complejas como el seguimiento, la codificación/decodificación de vídeo y la renderización de vídeo. Estos canales permiten el análisis en tiempo real de datos de vídeo, imágenes y sensores. La compatibilidad multiplataforma de DeepStream te ofrece una forma más rápida y sencilla de desarrollar aplicaciones y servicios de IA de visión in situ, en el perímetro y en la nube.

Requisitos previos

Antes de empezar a seguir esta guía:

• Visita nuestra documentación, Guía de inicio rápido: NVIDIA Jetson con Ultralytics YOLOv8 para configurar tu dispositivo NVIDIA Jetson con Ultralytics YOLOv8

• Instala DeepStream SDK según la versión de JetPack

  • Para JetPack 4.6.4, instala DeepStream 6.0.1
  • Para JetPack 5.1.3, instala DeepStream 6.3

Configuración de DeepStream para YOLOv8

Aquí estamos utilizando marcoslucianops/DeepStream-Yolo repositorio GitHub que incluye soporte NVIDIA DeepStream SDK para modelos YOLO . ¡Agradecemos los esfuerzos de marcoslucianops por sus contribuciones!

1. Instalar dependencias

   pip install cmake
   pip install onnxsim
   

2. Clonar el siguiente repositorio

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. Descarga Ultralytics YOLOv8 modelo de detección (.pt) que elijas de las versiones deYOLOv8 . Aquí utilizamos yolov8s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   Nota

   También puedes utilizar un modelo YOLOv8 entrenado a medida.

4. Convertir modelo en ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   Pase los siguientes argumentos al comando anterior

   Para DeepStream 6.0.1, utilice el opset 12 o inferior. El conjunto de operaciones predeterminado es 16.

   --opset 12
   

   Para cambiar el tamaño de inferencia (valor predeterminado: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Ejemplo para 1280:

   -s 1280
   or
   -s 1280 1280
   

   Para simplificar el ONNX modelo (DeepStream >= 6.0)

   --simplify
   

   Para utilizar el tamaño de lote dinámico (DeepStream >= 6.1)

   --dynamic
   

   Para utilizar el tamaño de lote estático (ejemplo para el tamaño de lote = 4)

   --batch 4
   

5. Establezca la versión de CUDA de acuerdo con la versión de JetPack instalada

   Para JetPack 4.6.4:

   export CUDA_VER=10.2
   

   Para JetPack 5.1.3:

   export CUDA_VER=11.4
   

6. Compilar la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. Edite el archivo config_infer_primary_yoloV8.txt de acuerdo con su modelo (para YOLOv8s con 80 clases)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. Edite el archivo deepstream_app_config archivo

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. También puede cambiar la fuente de vídeo en deepstream_app_config archivo. Aquí se carga un archivo de vídeo predeterminado

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

Ejecutar inferencia

deepstream-app -c deepstream_app_config.txt

Calibración INT8

Si quieres utilizar la precisión INT8 para la inferencia, debes seguir los siguientes pasos

1. Poner OPENCV Variable de entorno

   export OPENCV=1
   

2. Compilar la biblioteca

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Para el conjunto de datos COCO, descarga el val2017, extraer, y pasar a DeepStream-Yolo carpeta

4. Crear un nuevo directorio para las imágenes de calibración

   mkdir calibration
   

5. Ejecute lo siguiente para seleccionar 1000 imágenes aleatorias del conjunto de datos COCO para ejecutar la calibración

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   Nota

   NVIDIA recomienda al menos 500 imágenes para obtener una buena precisión. En este ejemplo, se eligen 1000 imágenes para obtener una mayor precisión (más imágenes = más precisión). Puedes ajustarlo desde la cabeza -1000. Por ejemplo, para 2000 imágenes, cabeza -2000. Este proceso puede llevar mucho tiempo.

6. Cree el archivo calibration.txt Archivo con todas las imágenes seleccionadas

   realpath calibration/*jpg > calibration.txt
   

7. Establecer variables de entorno

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Nota

   Los valores de INT8_CALIB_BATCH_SIZE más altos darán como resultado una mayor precisión y una velocidad de calibración más rápida. Configúrelo de acuerdo con la memoria de su GPU.

8. Actualice el archivo config_infer_primary_yoloV8.txt archivo

   En

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Ejecutar inferencia

deepstream-app -c deepstream_app_config.txt

Configuración de MultiStream

Para configurar varias secuencias en una sola aplicación de flujo profundo, puede realizar los siguientes cambios en el archivo deepstream_app_config.txt archivo

1. Cambie las filas y columnas para crear una visualización de cuadrícula de acuerdo con el número de secuencias que desee tener. Por ejemplo, para 4 flujos, podemos agregar 2 filas y 2 columnas.

   [tiled-display]
   rows=2
   columns=2
   

2. Poner num-sources=4 y añade uri de las 4 corrientes

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

Ejecutar inferencia

deepstream-app -c deepstream_app_config.txt

Resultados de referencia

En la tabla siguiente se resume cómo YOLOv8s Los modelos se comportan a diferentes TensorRT niveles de precisión con un tamaño de entrada de 640x640 en NVIDIA Jetson Orin NX de 16 GB.

Agradecimientos

Esta guía fue creada inicialmente por nuestros amigos de Seeed Studio, Lakshantha y Elaine.

Comentarios