Ultralytics YOLO26 su NVIDIA Jetson con DeepStream SDK e TensorRT#

Questa guida completa fornisce una procedura dettagliata per distribuire Ultralytics YOLO26 sui dispositivi NVIDIA Jetson utilizzando DeepStream SDK e TensorRT. Qui utilizziamo TensorRT per massimizzare le prestazioni di inferenza sulla piattaforma Jetson.

Questa guida illustra la configurazione di DeepStream per YOLO26, la calibrazione INT8, la configurazione multistream e i risultati dei benchmark.

Che cos'è NVIDIA DeepStream?#

DeepStream SDK di NVIDIA è un toolkit completo per l'analisi dei flussi, basato su GStreamer, per l'elaborazione multisensore basata sull'AI e la comprensione di video, audio e immagini. È ideale per sviluppatori di AI per la visione, partner software, startup e OEM che realizzano app e servizi di analisi video intelligente (IVA). Ora puoi creare pipeline di elaborazione dei flussi che incorporano reti neurali e altre attività di elaborazione complesse, come il tracking, la codifica/decodifica video e il rendering video. Queste pipeline consentono analisi in tempo reale di dati video, immagini e sensori. Il supporto multipiattaforma di DeepStream offre un modo più rapido e semplice per sviluppare applicazioni e servizi di AI per la visione on-premise, all'edge e nel cloud.

Prerequisiti#

Prima di iniziare a seguire questa guida:

• Consulta la nostra documentazione, Guida rapida: NVIDIA Jetson con Ultralytics YOLO26, per configurare il tuo dispositivo NVIDIA Jetson con Ultralytics YOLO26
• Installa DeepStream SDK in base alla versione di JetPack
  • Per JetPack 4.6.4, installa DeepStream 6.0.1
  • Per JetPack 5.1.3, installa DeepStream 6.3
  • Per JetPack 6.1, installa DeepStream 7.1
  • Per JetPack 7.1, installa DeepStream 9.0

Configurazione di DeepStream per YOLO26#

Qui utilizziamo il repository GitHub marcoslucianops/DeepStream-Yolo, che include il supporto di NVIDIA DeepStream SDK per i modelli YOLO. Apprezziamo il lavoro di marcoslucianops e i suoi contributi!

1. Installa Ultralytics con le dipendenze necessarie

   pip install ultralytics onnx onnxslim

2. Clona il repository DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. Scarica un modello di rilevamento Ultralytics YOLO26 (.pt) a tua scelta dal progetto YOLO26. Qui utilizziamo yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. Converti il modello in ONNX e scrivi il file labels.txt da cui DeepStream legge i nomi delle classi

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. Copia il file del modello generato .onnx e il file labels.txt nella cartella DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. Imposta la versione di CUDA in base alla versione di JetPack installata

   Per JetPack 4.6.4:

   export CUDA_VER=10.2

   Per JetPack 5.1.3:

   export CUDA_VER=11.4

   Per JetPack 6.1:

   export CUDA_VER=12.6

   Per JetPack 7.1:

   export CUDA_VER=13.0

7. Compila la libreria

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. Modifica il file config_infer_primary_yolo26.txt in base al tuo modello (per YOLO26s con 80 classi)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. Modifica il file deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. Puoi anche modificare la sorgente video nel file deepstream_app_config. In questo esempio viene caricato un file video predefinito

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Esegui l'inferenza#

deepstream-app -c deepstream_app_config.txt

Calibrazione INT8#

Se vuoi utilizzare la precisione INT8 per l'inferenza, devi seguire i passaggi seguenti:

1. Imposta la variabile d'ambiente OPENCV

   export OPENCV=1

2. Compila la libreria

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. Per il dataset COCO, scarica val2017, estrailo e spostalo nella cartella DeepStream-Yolo

4. Crea una nuova directory per le immagini di calibrazione

   mkdir calibration

5. Esegui quanto segue per selezionare 1000 immagini casuali dal dataset COCO da utilizzare per la calibrazione

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. Crea il file calibration.txt con tutte le immagini selezionate

   realpath calibration/*jpg > calibration.txt

7. Imposta le variabili d'ambiente

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. Aggiorna il file config_infer_primary_yolo26.txt

   Da

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   A

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Esegui l'inferenza INT8#

Esegui lo stesso comando per compilare il motore INT8 e avviare l'inferenza:

deepstream-app -c deepstream_app_config.txt

Configurazione multistream#

Per configurare più flussi all'interno di una singola applicazione DeepStream, apporta le seguenti modifiche al file deepstream_app_config.txt:

1. Modifica il numero di righe e colonne per creare una griglia di visualizzazione in base al numero di flussi desiderati. Ad esempio, per 4 flussi, puoi aggiungere 2 righe e 2 colonne.

   [tiled-display]
   rows=2
   columns=2

2. Aggiungi un gruppo [sourceN] separato per ogni flusso, ciascuno con il proprio uri e num-sources=1.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Esegui l'inferenza multistream#

Esegui lo stesso comando per avviare tutti i flussi nella visualizzazione affiancata:

deepstream-app -c deepstream_app_config.txt

Risultati dei benchmark#

I seguenti benchmark riassumono le prestazioni dei modelli YOLO11 con diversi livelli di precisione TensorRT e una dimensione di input di 640x640 su NVIDIA Jetson Orin NX 16GB. YOLO26 utilizza lo stesso flusso di esportazione e inferenza DeepStream descritto sopra.

Grafico di confronto#

Tabella di confronto dettagliata#

Ringraziamenti#

Questa guida è stata inizialmente creata dai nostri amici di Seeed Studio, Lakshantha ed Elaine.

FAQ#