Guida rapida: NVIDIA Jetson con Ultralytics YOLO11

Questa guida completa fornisce una procedura dettagliata per il deployment di Ultralytics YOLO11 su dispositivi NVIDIA Jetson. Inoltre, presenta benchmark delle prestazioni per dimostrare le capacità di YOLO11 su questi dispositivi piccoli e potenti.

Guarda: Come utilizzare Ultralytics YOLO11 su dispositivi NVIDIA JETSON

Cos'è NVIDIA Jetson?

NVIDIA Jetson è una serie di schede embedded progettate per portare l'elaborazione accelerata dell'AI (intelligenza artificiale) sui dispositivi edge. Questi dispositivi compatti e potenti sono costruiti attorno all'architettura GPU di NVIDIA e sono in grado di eseguire complessi algoritmi di AI e modelli di deep learning direttamente sul dispositivo, senza la necessità di fare affidamento sulle risorse di cloud computing. Le schede Jetson sono spesso utilizzate nella robotica, nei veicoli autonomi, nell'automazione industriale e in altre applicazioni in cui l'inferenza AI deve essere eseguita localmente con bassa latenza ed elevata efficienza. Inoltre, queste schede si basano sull'architettura ARM64 e funzionano con un consumo energetico inferiore rispetto ai tradizionali dispositivi di elaborazione GPU.

Confronto tra le serie NVIDIA Jetson

NVIDIA Jetson AGX Thor è l'ultima iterazione della famiglia NVIDIA Jetson basata sull'architettura NVIDIA Blackwell che offre prestazioni AI drasticamente migliorate rispetto alle generazioni precedenti. La tabella seguente mette a confronto alcuni dei dispositivi Jetson presenti nell'ecosistema.

Per una tabella di confronto più dettagliata, visitare la sezione Confronta le specifiche della pagina ufficiale di NVIDIA Jetson.

Cos'è NVIDIA JetPack?

NVIDIA JetPack SDK che alimenta i moduli Jetson è la soluzione più completa e fornisce un ambiente di sviluppo completo per la creazione di applicazioni AI accelerate end-to-end e riduce i tempi di commercializzazione. JetPack include Jetson Linux con bootloader, kernel Linux, ambiente desktop Ubuntu e un set completo di librerie per l'accelerazione del calcolo GPU, multimedia, grafica e computer vision. Include anche esempi, documentazione e strumenti per sviluppatori sia per computer host che per kit di sviluppo e supporta SDK di livello superiore come DeepStream per l'analisi di video in streaming, Isaac per la robotica e Riva per l'AI conversazionale.

Flash JetPack su NVIDIA Jetson

Il primo passo dopo aver messo le mani su un dispositivo NVIDIA Jetson è flashare NVIDIA JetPack sul dispositivo. Esistono diversi modi per flashare i dispositivi NVIDIA Jetson.

1. Se si possiede un kit di sviluppo ufficiale NVIDIA , come il Jetson AGX Thor Developer Kit, è possibile scaricare un'immagine e preparare una chiavetta USB avviabile per eseguire il flash di JetPack sull'unità SSD inclusa.
2. Se possiedi un kit di sviluppo NVIDIA ufficiale come il Jetson Orin Nano Developer Kit, puoi scaricare un'immagine e preparare una scheda SD con JetPack per l'avvio del dispositivo.
3. Se possiedi qualsiasi altro kit di sviluppo NVIDIA, puoi flashare JetPack sul dispositivo utilizzando SDK Manager.
4. Se possiedi un dispositivo Seeed Studio reComputer J4012, puoi flashare JetPack sull'SSD incluso e, se possiedi un dispositivo Seeed Studio reComputer J1020 v2, puoi flashare JetPack sull'eMMC/SSD.
5. Se possiedi qualsiasi altro dispositivo di terze parti alimentato dal modulo NVIDIA Jetson, si consiglia di seguire il flashing da riga di comando.

Supporto JetPack basato sul dispositivo Jetson

La tabella seguente evidenzia le versioni di NVIDIA JetPack supportate da diversi dispositivi NVIDIA Jetson.

Guida rapida con Docker

Il modo più rapido per iniziare con Ultralytics YOLO11 su NVIDIA Jetson è eseguire con immagini docker pre-compilate per Jetson. Fare riferimento alla tabella sopra e scegliere la versione di JetPack in base al dispositivo Jetson in proprio possesso.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Dopo aver fatto ciò, passa alla sezione Usa TensorRT su NVIDIA Jetson.

Inizia con l'installazione nativa

Per un'installazione nativa senza Docker, fare riferimento ai passaggi seguenti.

Eseguito su JetPack 7.0

Installa il pacchetto Ultralytics

Qui installeremo il pacchetto Ultralytics su Jetson con dipendenze opzionali in modo da poter esportare i modelli PyTorch in altri formati diversi. Ci concentreremo principalmente sulle esportazioni NVIDIA TensorRT perché TensorRT farà in modo di ottenere le massime prestazioni dai dispositivi Jetson.

1. Aggiorna l'elenco dei pacchetti, installa pip ed esegui l'aggiornamento all'ultima versione

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installa ultralytics pacchetto pip con dipendenze opzionali

   pip install ultralytics[export]
   

3. Riavvia il dispositivo

   sudo reboot
   

Installa PyTorch e Torchvision

L'installazione di ultralytics di cui sopra installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con l'esecuzione su Jetson AGX Thor, che è dotato di JetPack 7.0 e CUDA 13. Pertanto, è necessario installarli manualmente. Pertanto, è necessario installarli manualmente.

Installa torch e torchvision secondo JP7.0

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Installa onnxruntime-gpu

Il onnxruntime-gpu il pacchetto ospitato in PyPI non ha aarch64 binari per Jetson. Quindi dobbiamo installare manualmente questo pacchetto. Questo pacchetto è necessario per alcune delle esportazioni.

Qui scaricheremo e installeremo onnxruntime-gpu 1.24.0 con Python3.12 supporto.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Esegui su JetPack 6.1

Installa il pacchetto Ultralytics

Qui installeremo il pacchetto Ultralytics su Jetson con dipendenze opzionali in modo da poter esportare i modelli PyTorch in altri formati diversi. Ci concentreremo principalmente sulle esportazioni NVIDIA TensorRT perché TensorRT farà in modo di ottenere le massime prestazioni dai dispositivi Jetson.

1. Aggiorna l'elenco dei pacchetti, installa pip ed esegui l'aggiornamento all'ultima versione

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installa ultralytics pacchetto pip con dipendenze opzionali

   pip install ultralytics[export]
   

3. Riavvia il dispositivo

   sudo reboot
   

Installa PyTorch e Torchvision

L'installazione di ultralytics di cui sopra installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con la piattaforma Jetson, che è basata su architettura ARM64. Pertanto, è necessario installare manualmente un pacchetto PyTorch pre-costruito da pip e compilare o installare Torchvision dai sorgenti.

Installa torch 2.5.0 e torchvision 0.20 secondo JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Installa cuSPARSELt per risolvere un problema di dipendenza con torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Installa onnxruntime-gpu

Il onnxruntime-gpu il pacchetto ospitato in PyPI non ha aarch64 binari per Jetson. Quindi dobbiamo installare manualmente questo pacchetto. Questo pacchetto è necessario per alcune delle esportazioni.

Puoi trovare tutti i onnxruntime-gpu pacchetti, organizzati per versione di JetPack, versione di Python e altri dettagli di compatibilità, nel Matrice di compatibilità di Jetson Zoo ONNX Runtime. Qui scaricheremo e installeremo onnxruntime-gpu 1.20.0 con Python3.10 supporto.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Esegui su JetPack 5.1.2

Installa il pacchetto Ultralytics

Qui installeremo il pacchetto Ultralytics su Jetson con dipendenze opzionali in modo da poter esportare i modelli PyTorch in altri formati diversi. Ci concentreremo principalmente sulle esportazioni NVIDIA TensorRT perché TensorRT farà in modo di ottenere le massime prestazioni dai dispositivi Jetson.

1. Aggiorna l'elenco dei pacchetti, installa pip ed esegui l'aggiornamento all'ultima versione

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installa ultralytics pacchetto pip con dipendenze opzionali

   pip install ultralytics[export]
   

3. Riavvia il dispositivo

   sudo reboot
   

Installa PyTorch e Torchvision

L'installazione di ultralytics di cui sopra installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con la piattaforma Jetson, che è basata su architettura ARM64. Pertanto, è necessario installare manualmente un pacchetto PyTorch pre-costruito da pip e compilare o installare Torchvision dai sorgenti.

1. Disinstallare PyTorch e Torchvision attualmente installati

   pip uninstall torch torchvision
   

2. Installa torch 2.2.0 e torchvision 0.17.2 secondo JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

Installa onnxruntime-gpu

Il onnxruntime-gpu il pacchetto ospitato in PyPI non ha aarch64 binari per Jetson. Quindi dobbiamo installare manualmente questo pacchetto. Questo pacchetto è necessario per alcune delle esportazioni.

Puoi trovare tutti i onnxruntime-gpu pacchetti, organizzati per versione di JetPack, versione di Python e altri dettagli di compatibilità, nel Matrice di compatibilità di Jetson Zoo ONNX Runtime. Qui scaricheremo e installeremo onnxruntime-gpu 1.17.0 con Python3.8 supporto.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilizza TensorRT su NVIDIA Jetson

Tra tutti i formati di export dei modelli supportati da Ultralytics, TensorRT offre le massime prestazioni di inferenza sui dispositivi NVIDIA Jetson, rendendolo la nostra raccomandazione principale per i deployment su Jetson. Per istruzioni di configurazione e utilizzo avanzato, consulta la nostra guida dedicata all'integrazione di TensorRT.

Converti il modello in TensorRT ed esegui l'inferenza

Il modello YOLO11n in formato PyTorch viene convertito in TensorRT per eseguire l'inferenza con il modello esportato.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utilizza NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Deep Learning Accelerator (DLA) è un componente hardware specializzato integrato nei dispositivi NVIDIA Jetson che ottimizza l'inferenza di deep learning per l'efficienza energetica e le prestazioni. Scaricando i compiti dalla GPU (liberandola per processi più intensivi), DLA consente ai modelli di funzionare con un consumo energetico inferiore pur mantenendo un'elevata produttività, ideale per sistemi embedded e applicazioni di IA in tempo reale.

I seguenti dispositivi Jetson sono dotati di hardware DLA:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Benchmark di NVIDIA Jetson YOLO11

I benchmark di YOLO11 sono stati eseguiti dal team di Ultralytics su 11 diversi formati di modello, misurando velocità e precisione: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. I benchmark sono stati eseguiti su NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit e Seeed Studio reComputer J4012 alimentato da un dispositivo Jetson Orin NX da 16GB con precisione FP32 e un'immagine di input di dimensioni predefinite pari a 640.

Grafici di confronto

Anche se tutte le esportazioni del modello funzionano con NVIDIA Jetson, abbiamo incluso solo PyTorch, TorchScript, TensorRT per il grafico di confronto qui sotto perché utilizzano la GPU sul Jetson e garantiscono i migliori risultati. Tutte le altre esportazioni utilizzano solo la CPU e le prestazioni non sono buone come le tre precedenti. Puoi trovare i benchmark per tutte le esportazioni nella sezione successiva a questo grafico.

Kit per sviluppatori NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Tabelle di confronto dettagliate

La tabella seguente rappresenta i risultati del benchmark per cinque diversi modelli (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in 11 diversi formatiPyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), fornendo lo stato, la dimensione, la metrica mAP50-95(B) e il tempo di inferenza per ogni combinazione.

Kit per sviluppatori NVIDIA Jetson AGX Thor

NVIDIA Jetson AGX Orin Developer Kit (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Esplora ulteriori attività di benchmarking di Seeed Studio eseguite su diverse versioni di hardware NVIDIA Jetson.

Riproduci i nostri risultati

Per riprodurre i benchmark Ultralytics di cui sopra su tutti i formati di esportazione, esegui questo codice:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Best practice quando si utilizza NVIDIA Jetson

Quando si utilizza NVIDIA Jetson, ci sono alcune best practice da seguire per abilitare le massime prestazioni su NVIDIA Jetson che esegue YOLO11.

1. Abilita la modalità di massima potenza

   Abilitare la modalità MAX Power su Jetson assicurerà che tutti i core di CPU e GPU siano attivati.

   sudo nvpmodel -m 0
   

2. Abilita gli orologi Jetson

   Abilitare Jetson Clocks assicurerà che tutti i core di CPU e GPU siano impostati alla loro massima frequenza.

   sudo jetson_clocks
   

3. Installa l'applicazione Jetson Stats

   Possiamo utilizzare l'applicazione jetson stats per monitorare le temperature dei componenti del sistema e controllare altri dettagli del sistema come la visualizzazione dell'utilizzo di CPU, GPU, RAM, modificare le modalità di alimentazione, impostare al massimo gli orologi, controllare le informazioni di JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Prossimi passi

Congratulazioni per aver configurato con successo YOLO11 sul tuo NVIDIA Jetson! Per ulteriore apprendimento e supporto, visita altre guide su Ultralytics YOLO11 Docs!

FAQ

Come posso distribuire Ultralytics YOLO11 su dispositivi NVIDIA Jetson?

La distribuzione di Ultralytics YOLO11 sui dispositivi NVIDIA Jetson è un processo semplice. Innanzitutto, esegui il flashing del tuo dispositivo Jetson con l'SDK NVIDIA JetPack. Quindi, utilizza un'immagine Docker pre-compilata per una configurazione rapida oppure installa manualmente i pacchetti richiesti. Passaggi dettagliati per ciascun approccio sono disponibili nelle sezioni Avvio rapido con Docker e Inizia con l'installazione nativa.

Quali benchmark di performance posso aspettarmi dai modelli YOLO11 sui dispositivi NVIDIA Jetson?

I modelli YOLO11 sono stati sottoposti a benchmark su vari dispositivi NVIDIA Jetson, mostrando significativi miglioramenti delle prestazioni. Ad esempio, il formato TensorRT offre le migliori prestazioni di inferenza. La tabella nella sezione Tabelle di confronto dettagliate fornisce una visione completa delle metriche di performance come mAP50-95 e tempo di inferenza tra diversi formati di modello.

Perché dovrei usare TensorRT per il deployment di YOLO11 su NVIDIA Jetson?

TensorRT è vivamente consigliato per il deployment di modelli YOLO11 su NVIDIA Jetson grazie alle sue prestazioni ottimali. Accelera l'inferenza sfruttando le capacità della GPU Jetson, garantendo la massima efficienza e velocità. Scopri di più su come convertire in TensorRT ed eseguire l'inferenza nella sezione Use TensorRT on NVIDIA Jetson.

Come posso installare PyTorch e Torchvision su NVIDIA Jetson?

Per installare PyTorch e Torchvision su NVIDIA Jetson, disinstallare prima eventuali versioni esistenti installate tramite pip. Quindi, installare manualmente le versioni compatibili di PyTorch e Torchvision per l'architettura ARM64 di Jetson. Istruzioni dettagliate per questo processo sono fornite nella sezione Installazione di PyTorch e Torchvision.

Quali sono le migliori pratiche per massimizzare le prestazioni su NVIDIA Jetson quando si utilizza YOLO11?

Per massimizzare le prestazioni su NVIDIA Jetson con YOLO11, seguire queste best practice:

1. Abilita la modalità di massima potenza per utilizzare tutti i core della CPU e della GPU.
2. Abilita gli orologi Jetson per eseguire tutti i core alla loro massima frequenza.
3. Installa l'applicazione Jetson Stats per monitorare le metriche di sistema.

Per i comandi e ulteriori dettagli, consultare la sezione Best practice quando si utilizza NVIDIA Jetson.

📅C reato 1 anno fa ✏️ Aggiornato 2 giorni fa

Commenti