Ultralytics YOLOv8 su NVIDIA Jetson utilizzando DeepStream SDK e TensorRT

Questa guida completa fornisce una procedura dettagliata per l'implementazione di Ultralytics YOLOv8 sui dispositivi NVIDIA Jetson utilizzando DeepStream SDK e TensorRT. Qui utilizziamo TensorRT per massimizzare le prestazioni di inferenza sulla piattaforma Jetson.

Che cos'è NVIDIA DeepStream?

DeepStream SDK di NVIDIA è un toolkit completo per l'analisi in streaming basato su GStreamer per l'elaborazione multisensore basata sull'intelligenza artificiale, la comprensione di video, audio e immagini. È ideale per gli sviluppatori di AI vision, i partner software, le startup e gli OEM che realizzano applicazioni e servizi IVA (Intelligent Video Analytics). Ora puoi creare pipeline di elaborazione dei flussi che incorporano reti neurali e altre attività di elaborazione complesse come il tracking, la codifica/decodifica video e il rendering video. Queste pipeline consentono di effettuare analisi in tempo reale su dati video, immagini e sensori. Il supporto multipiattaforma di DeepStream ti offre un modo più rapido e semplice per sviluppare applicazioni e servizi di AI vision on-premise, edge e cloud.

Prerequisiti

Prima di iniziare a seguire questa guida:

• Visita la nostra documentazione, Guida rapida: NVIDIA Jetson con Ultralytics YOLOv8 per configurare il tuo dispositivo NVIDIA Jetson con Ultralytics YOLOv8

• Installa DeepStream SDK secondo la versione di JetPack

  • Per JetPack 4.6.4, installa DeepStream 6.0.1
  • Per JetPack 5.1.3, installa DeepStream 6.3

Configurazione DeepStream per YOLOv8

Qui stiamo usando il repository GitHub di marcoslucianops/DeepStream-Yolo che include il supporto dell'SDK NVIDIA DeepStream per i modelli YOLO . Apprezziamo gli sforzi di marcoslucianops per i suoi contributi!

1. Installare le dipendenze

   pip install cmake
   pip install onnxsim
   

2. Clonare il seguente repository

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. Scarica il modello di rilevamento Ultralytics YOLOv8 (.pt) di tua scelta tra le release diYOLOv8 . Qui utilizziamo yolov8s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   Nota

   Puoi anche utilizzare un modello YOLOv8 addestrato in modo personalizzato.

4. Converti il modello in ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   Passare gli argomenti seguenti al comando precedente

   Per DeepStream 6.0.1, utilizzare opset 12 o inferiore. L'opset predefinito è 16.

   --opset 12
   

   Per modificare la dimensione dell'inferenza (default: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Esempio per 1280:

   -s 1280
   or
   -s 1280 1280
   

   Per semplificare il ONNX modello (DeepStream >= 6.0)

   --simplify
   

   Per utilizzare la dimensione batch dinamica (DeepStream >= 6.1)

   --dynamic
   

   Per utilizzare batch size statico (esempio per batch-size = 4)

   --batch 4
   

5. Impostare la versione CUDA in base alla versione di JetPack installata

   Per JetPack 4.6.4:

   export CUDA_VER=10.2
   

   Per JetPack 5.1.3:

   export CUDA_VER=11.4
   

6. Compilare la libreria

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. Modificare il file config_infer_primary_yoloV8.txt file in base al tuo modello (per YOLOv8s con 80 classi)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. Modificare il file deepstream_app_config file

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. È inoltre possibile modificare la sorgente video in deepstream_app_config file. Qui viene caricato un file video predefinito

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

Eseguire l'inferenza

deepstream-app -c deepstream_app_config.txt

Calibrazione INT8

Se vuoi utilizzare la precisione INT8 per l'inferenza, devi seguire i seguenti passaggi

1. Mettere OPENCV variabile d'ambiente

   export OPENCV=1
   

2. Compilare la libreria

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Per il set di dati COCO, scarica il file val2017, estrarre e spostare in DeepStream-Yolo cartella

4. Creare una nuova directory per le immagini di calibrazione

   mkdir calibration
   

5. Eseguire quanto segue per selezionare 1000 immagini casuali dal set di dati COCO per eseguire la calibrazione

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   Nota

   NVIDIA raccomanda almeno 500 immagini per ottenere una buona precisione. In questo esempio, sono state scelte 1000 immagini per ottenere una maggiore precisione (più immagini = maggiore precisione). Puoi impostarlo a partire da testa -1000. Ad esempio, per 2000 immagini, scegli -2000. Questo processo può richiedere molto tempo.

6. Creare il file calibration.txt file con tutte le immagini selezionate

   realpath calibration/*jpg > calibration.txt
   

7. Impostare le variabili di ambiente

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Nota

   Valori di INT8_CALIB_BATCH_SIZE più elevati si tradurranno in una maggiore precisione e velocità di calibrazione. Impostalo in base alla memoria della tua GPU.

8. Aggiorna il file config_infer_primary_yoloV8.txt file

   Da

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Eseguire l'inferenza

deepstream-app -c deepstream_app_config.txt

Configurazione MultiStream

Per configurare più flussi in un'unica applicazione deepstream, è possibile apportare le seguenti modifiche al file deepstream_app_config.txt file

1. Modificare le righe e le colonne per creare una visualizzazione a griglia in base al numero di flussi che si desidera avere. Ad esempio, per 4 flussi, possiamo aggiungere 2 righe e 2 colonne.

   [tiled-display]
   rows=2
   columns=2
   

2. Mettere num-sources=4 e aggiungi uri di tutti e 4 i corsi d'acqua

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

Eseguire l'inferenza

deepstream-app -c deepstream_app_config.txt

Risultati del benchmark

La tabella seguente riepiloga come YOLOv8s i modelli si comportano a diversi TensorRT livelli di precisione con una dimensione di input di 640x640 su NVIDIA Jetson Orin NX 16GB.

Riconoscimenti

Questa guida è stata inizialmente creata dai nostri amici di Seeed Studio, Lakshantha ed Elaine.

Commenti