Vai al contenuto

Guida rapida: NVIDIA Jetson con Ultralytics YOLOv8

Questa guida completa fornisce un percorso dettagliato per l'implementazione di Ultralytics YOLOv8 sui dispositivi NVIDIA Jetson. Inoltre, mostra i benchmark delle prestazioni per dimostrare le capacità di YOLOv8 su questi piccoli e potenti dispositivi.

Ecosistema NVIDIA Jetson

Nota

Questa guida è stata testata con Seeed Studio reComputer J4012 che si basa su NVIDIA Jetson Orin NX 16GB e che esegue l'ultima release stabile di JetPack, JP5.1.3. L'utilizzo di questa guida per dispositivi Jetson più vecchi, come Jetson Nano (che supporta solo fino a JP4.6.4), potrebbe non essere garantito. Tuttavia, si prevede che funzionerà su tutti i dispositivi Jetson Orin, Xavier NX, AGX Xavier con JP5.1.3.

Che cos'è NVIDIA Jetson?

NVIDIA Jetson è una serie di schede di computing embedded progettate per portare l'AI (intelligenza artificiale) accelerata sui dispositivi edge. Questi dispositivi compatti e potenti sono costruiti attorno all'architettura GPU di NVIDIA e sono in grado di eseguire complessi algoritmi di AI e modelli di deep learning direttamente sul dispositivo, senza dover ricorrere a risorse di cloud computing. Le schede Jetson sono spesso utilizzate nella robotica, nei veicoli autonomi, nell'automazione industriale e in altre applicazioni in cui l'inferenza dell'intelligenza artificiale deve essere eseguita localmente con bassa latenza ed elevata efficienza. Inoltre, queste schede si basano sull'architettura ARM64 e consumano meno rispetto ai dispositivi di GPU computing tradizionali.

Confronto tra le serie NVIDIA Jetson

Jetson Orin è l'ultima iterazione della famiglia NVIDIA Jetson basata sull'architettura NVIDIA Ampere che offre prestazioni AI drasticamente migliorate rispetto alle generazioni precedenti. La tabella seguente mette a confronto alcuni dei dispositivi Jetson presenti nell'ecosistema.

Jetson AGX Orin 64GB Jetson Orin NX 16GB Jetson Orin Nano 8GB Jetson AGX Xavier Jetson Xavier NX Jetson Nano
Prestazioni AI 275 TOPS 100 TOPS 40 TOP 32 TOPS 21 TOPS 472 GFLOPS
GPU GPU con architettura NVIDIA Ampere a 2048 core e 64 core Tensor GPU con architettura NVIDIA Ampere a 1024 core e 32 core Tensor GPU con architettura NVIDIA Ampere a 1024 core e 32 core Tensor GPU a 512 core con architettura NVIDIA Volta e 64 core Tensor GPU a 384 core con architettura NVIDIA Volta™ e 48 core Tensor GPU NVIDIA Maxwell™ a 128 core
Frequenza massima della GPU 1,3 GHz 918 MHz 625 MHz 1377 MHz 1100 MHz 921MHz
CPU CPU a 12 core NVIDIA Arm® Cortex A78AE v8.2 a 64 bit 3MB L2 + 6MB L3 CPU a 8 core NVIDIA Arm® Cortex A78AE v8.2 64 bit 2MB L2 + 4MB L3 CPU a 6 core Arm® Cortex®-A78AE v8.2 a 64 bit 1.5MB L2 + 4MB L3 CPU a 8 core NVIDIA Carmel Arm®v8.2 a 64 bit 8MB L2 + 4MB L3 CPU a 6 core NVIDIA Carmel Arm®v8.2 a 64 bit 6MB L2 + 4MB L3 Processore Quad-Core Arm® Cortex®-A57 MPCore
Frequenza massima della CPU 2,2 GHz 2,0 GHz 1,5 GHz 2,2 GHz 1,9 GHz 1.43GHz
Memoria 64GB 256-bit LPDDR5 204.8GB/s 16GB 128-bit LPDDR5 102,4GB/s 8GB 128-bit LPDDR5 68 GB/s 32GB 256-bit LPDDR4x 136.5GB/s 8GB 128-bit LPDDR4x 59,7GB/s 4GB 64-bit LPDDR4 25.6GB/s"

Per una tabella di confronto più dettagliata, visita la sezione Specifiche tecniche della pagina ufficiale di NVIDIA Jetson.

Che cos'è NVIDIA JetPack?

L'SDK NVIDIA JetPack che alimenta i moduli Jetson è la soluzione più completa e fornisce un ambiente di sviluppo completo per la creazione di applicazioni AI accelerate end-to-end e riduce il time to market. JetPack include Jetson Linux con bootloader, kernel Linux, ambiente desktop Ubuntu e una serie completa di librerie per l'accelerazione di GPU Computing, multimedia, grafica e computer vision. Include anche esempi, documentazione e strumenti per sviluppatori sia per il computer host che per il kit di sviluppo e supporta SDK di livello superiore come DeepStream per l'analisi video in streaming, Isaac per la robotica e Riva per l'IA conversazionale.

Flash JetPack per NVIDIA Jetson

Il primo passo da compiere dopo aver messo le mani su un dispositivo NVIDIA Jetson è quello di flashare NVIDIA JetPack sul dispositivo. Esistono diversi modi per eseguire il flashing dei dispositivi NVIDIA Jetson.

  1. Se possiedi un kit di sviluppo ufficiale NVIDIA, come il Jetson Orin Nano Developer Kit, puoi visitare questo link per scaricare un'immagine e preparare una scheda SD con JetPack per avviare il dispositivo.
  2. Se possiedi un altro kit di sviluppo NVIDIA, puoi visitare questo link per flashare JetPack sul dispositivo utilizzando SDK Manager.
  3. Se possiedi un dispositivo Seeed Studio reComputer J4012, puoi visitare questo link per flashare JetPack sull'SSD incluso.
  4. Se possiedi un altro dispositivo di terze parti alimentato dal modulo NVIDIA Jetson, ti consigliamo di seguire il flashing da riga di comando visitando questo link.

Nota

Per i metodi 3 e 4, dopo aver flashato il sistema e avviato il dispositivo, inserisci "sudo apt update && sudo apt install nvidia-jetpack -y" nel terminale del dispositivo per installare tutti i restanti componenti di JetPack necessari.

Iniziare con Docker

Il modo più veloce per iniziare a utilizzare Ultralytics YOLOv8 su NVIDIA Jetson è quello di eseguire un'immagine docker precostituita per Jetson.

Esegui il comando seguente per estrarre il contenitore Docker ed eseguirlo su Jetson. Questo è basato sull'immagine docker l4t-pytorch che contiene PyTorch e Torchvision in un ambiente Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Iniziare senza Docker

Installa il pacchetto Ultralytics

Qui installeremo il pacchetto ultralyics su Jetson con le dipendenze opzionali in modo da poter esportare i modelli di PyTorch in altri formati diversi. Ci concentreremo principalmente sulle esportazioni di NVIDIA TensorRT perché TensoRT ci permetterà di ottenere le massime prestazioni dai dispositivi Jetson.

  1. Aggiornare l'elenco dei pacchetti, installare pip e passare all'ultimo aggiornamento
sudo apt update
sudo apt install python3-pip -y
pip install -U pip
  1. Installa ultralytics pacchetto pip con dipendenze opzionali
pip install ultralytics[export]
  1. Riavvia il dispositivo
sudo reboot

Installa PyTorch e Torchvision

L'installazione di ultralytics di cui sopra installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con la piattaforma Jetson, basata su architettura ARM64. Pertanto, dobbiamo installare manualmente PyTorch pip wheel e compilare/installare Torchvision dai sorgenti.

  1. Disinstalla i siti PyTorch e Torchvision attualmente installati
pip uninstall torch torchvision
  1. Installa PyTorch 2.1.0 come da JP5.1.3
sudo apt-get install -y libopenblas-base libopenmpi-dev
wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
  1. Installa Torchvision v0.16.2 secondo PyTorch v2.1.0
sudo apt install -y libjpeg-dev zlib1g-dev
git clone https://github.com/pytorch/vision torchvision
cd torchvision
git checkout v0.16.2
python3 setup.py install --user

Visita questa pagina per accedere a tutte le versioni di PyTorch per le diverse versioni di JetPack. Per un elenco più dettagliato della compatibilità di PyTorch e Torchvision, consulta questa pagina.

Usa TensorRT su NVIDIA Jetson

Tra tutti i formati di esportazione dei modelli supportati da Ultralytics, TensorRT offre le migliori prestazioni di inferenza quando si lavora con i dispositivi NVIDIA Jetson e il nostro consiglio è di utilizzare TensorRT con Jetson. Abbiamo anche un documento dettagliato su TensorRT qui.

Convertire il modello in TensorRT ed eseguire l'inferenza

Il modello YOLOv8n in formato PyTorch viene convertito in TensorRT per eseguire l'inferenza con il modello esportato.

Esempio

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')
# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

Argomenti

Chiave Valore Descrizione
format 'engine' formato in cui esportare
imgsz 640 dimensione dell'immagine come scalare o come elenco (h, w), ad esempio (640, 480)
half False Quantizzazione FP16

Benchmark di NVIDIA Jetson Orin YOLOv8

YOLOv8 I benchmark riportati di seguito sono stati eseguiti dal team di Ultralytics su 3 diversi formati di modelli che misurano la velocità e la precisione: PyTorch, TorchScript e TensorRT. I benchmark sono stati eseguiti su Seeed Studio reComputer J4012 alimentato da un dispositivo Jetson Orin NX da 16GB con precisione FP32 e con un'immagine di input di dimensioni predefinite pari a 640.

Ecosistema NVIDIA Jetson
Modello Formato Stato Dimensione (MB) mAP50-95(B) Tempo di inferenza (ms/im)
YOLOv8n PyTorch ✅ 6.2 0.4473 14.3
YOLOv8n TorchScript ✅ 12.4 0.4520 13.3
YOLOv8n TensorRT ✅ 13.6 0.4520 8.7
YOLOv8s PyTorch ✅ 21.5 0.5868 18
YOLOv8s TorchScript ✅ 43.0 0.5971 23.9
YOLOv8s TensorRT ✅ 44.0 0.5965 14.82
YOLOv8m PyTorch ✅ 49.7 0.6101 36.4
YOLOv8m TorchScript ✅ 99.2 0.6125 53.34
YOLOv8m TensorRT ✅ 100.3 0.6123 33.28
YOLOv8l PyTorch ✅ 83.7 0.6588 61.3
YOLOv8l TorchScript ✅ 167.2 0.6587 85.21
YOLOv8l TensorRT ✅ 168.3 0.6591 51.34
YOLOv8x PyTorch ✅ 130.5 0.6650 93
YOLOv8x TorchScript ✅ 260.7 0.6651 135.3
YOLOv8x TensorRT ✅ 261.8 0.6645 84.5

Questa tabella rappresenta i risultati del benchmark per cinque diversi modelli (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) in tre diversi formati (PyTorch, TorchScript, TensorRT), fornendo lo stato, la dimensione, la metrica mAP50-95(B) e il tempo di inferenza per ogni combinazione.

Visita questo link per esplorare altri benchmark effettuati da Seeed Studio su diverse versioni di hardware NVIDIA Jetson.

Riprodurre i nostri risultati

Per riprodurre i benchmark di Ultralytics su tutti i formati di esportazione, esegui questo codice:

Esempio

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)
# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Si noti che i risultati dei benchmark possono variare in base all'esatta configurazione hardware e software di un sistema, nonché al carico di lavoro corrente del sistema al momento dell'esecuzione dei benchmark. Per ottenere i risultati più affidabili, usa un set di dati con un gran numero di immagini, ad es. data='coco8.yaml' (128 val images), ordata='coco.yaml'` (5000 immagini val).

Nota

Attualmente solo PyTorch, Torchscript e TensorRT funzionano con gli strumenti di benchmarking. In futuro lo aggiorneremo per supportare altre esportazioni.

Migliori pratiche per l'utilizzo di NVIDIA Jetson

Quando si utilizza NVIDIA Jetson, ci sono un paio di buone pratiche da seguire per ottenere le massime prestazioni su NVIDIA Jetson che esegue YOLOv8.

  1. Abilita la modalità MAX Power

    Abilitando la modalità MAX Power su Jetson, tutti i core della CPU e della GPU saranno attivi.

    sudo nvpmodel -m 0
    

  2. Abilita gli orologi Jetson

    Abilitando Jetson Clocks, tutti i core della CPU e della GPU saranno clockati alla loro frequenza massima.

    sudo jetson_clocks
    

  3. Installa l'applicazione Jetson Stats

    Possiamo utilizzare l'applicazione jetson stats per monitorare le temperature dei componenti del sistema e controllare altri dettagli del sistema, come ad esempio visualizzare l'utilizzo di CPU, GPU, RAM, modificare le modalità di alimentazione, impostare i clock massimi, controllare le informazioni di JetPack.

    sudo apt update
    sudo pip install jetson-stats
    sudo reboot
    jtop
    

Statistiche Jetson

I prossimi passi

Congratulazioni per aver configurato con successo YOLOv8 sul tuo NVIDIA Jetson! Per ulteriori informazioni e supporto, visita la guida Ultralytics YOLOv8 Docs!



Creato 2024-04-02, Aggiornato 2024-04-18
Autori: glenn-jocher (1), Burhan-Q (1), lakshanthad (1)

Commenti