Guida rapida: NVIDIA Jetson con Ultralytics YOLO11

Questa guida completa fornisce una guida dettagliata per l'implementazione di Ultralytics YOLO11 sui dispositivi NVIDIA Jetson. Inoltre, mostra i benchmark delle prestazioni per dimostrare le capacità di YOLO11 su questi piccoli e potenti dispositivi.

Guarda: Come configurare NVIDIA Jetson con Ultralytics YOLO11

Che cos'è NVIDIA Jetson?

NVIDIA Jetson è una serie di schede di elaborazione embedded progettate per portare l'elaborazione accelerata dell'IA (intelligenza artificiale) sui dispositivi edge. Questi dispositivi compatti e potenti sono costruiti attorno all'architettura GPU di NVIDIA e sono in grado di eseguire complessi algoritmi di IA e modelli di deep learning direttamente sul dispositivo, senza dover ricorrere a risorse di cloud computing. Le schede Jetson sono spesso utilizzate nella robotica, nei veicoli autonomi, nell'automazione industriale e in altre applicazioni in cui l'inferenza dell'intelligenza artificiale deve essere eseguita localmente con bassa latenza ed elevata efficienza. Inoltre, queste schede sono basate sull'architettura ARM64 e consumano meno rispetto ai tradizionali dispositivi di calcolo GPU .

NVIDIA Serie Jetson a confronto

Jetson Orin è l'ultima iterazione della famiglia NVIDIA Jetson basata sull'architettura NVIDIA Ampere che offre prestazioni AI drasticamente migliorate rispetto alle generazioni precedenti. La tabella seguente mette a confronto alcuni dei dispositivi Jetson presenti nell'ecosistema.

Per una tabella comparativa più dettagliata, visitate la sezione Specifiche tecniche della pagina ufficiale di NVIDIA Jetson.

Che cos'è NVIDIA JetPack?

NVIDIA L'SDK JetPack che alimenta i moduli Jetson è la soluzione più completa e fornisce un ambiente di sviluppo completo per la creazione di applicazioni AI accelerate end-to-end e riduce il time to market. JetPack include Jetson Linux con bootloader, kernel Linux, ambiente desktop Ubuntu e un set completo di librerie per l'accelerazione di GPU computing, multimedia, grafica e computer vision. Include inoltre esempi, documentazione e strumenti per sviluppatori sia per il computer host che per il kit di sviluppo e supporta SDK di livello superiore come DeepStream per l'analisi video in streaming, Isaac per la robotica e Riva per l'IA conversazionale.

Flash JetPack a NVIDIA Jetson

Il primo passo da compiere dopo aver messo le mani su un dispositivo NVIDIA Jetson è quello di flashare NVIDIA JetPack sul dispositivo. Esistono diversi modi per flashare i dispositivi NVIDIA Jetson.

1. Se si possiede un kit di sviluppo ufficiale NVIDIA , come il Jetson Orin Nano Developer Kit, è possibile scaricare un'immagine e preparare una scheda SD con JetPack per avviare il dispositivo.
2. Se si possiede un altro kit di sviluppo NVIDIA , è possibile flashare JetPack sul dispositivo utilizzando SDK Manager.
3. Se si possiede un dispositivo Seeed Studio reComputer J4012, è possibile flashare JetPack sull'unità SSD inclusa e se si possiede un dispositivo Seeed Studio reComputer J1020 v2, è possibile flashare JetPack sull'unità eMMC/SSD.
4. Se si possiede un altro dispositivo di terze parti alimentato dal modulo NVIDIA Jetson, si consiglia di seguire il flashing da riga di comando.

Supporto di JetPack basato sul dispositivo Jetson

La tabella seguente evidenzia le versioni di NVIDIA JetPack supportate dai diversi dispositivi NVIDIA Jetson.

Avvio rapido con Docker

Il modo più veloce per iniziare a utilizzare Ultralytics YOLO11 su NVIDIA Jetson è quello di utilizzare le immagini docker precostituite per Jetson. Fate riferimento alla tabella precedente e scegliete la versione di JetPack in base al dispositivo Jetson che possedete.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Al termine di questa operazione, passare alla sezione Utilizzare TensorRT su NVIDIA Jetson.

Iniziare con l'installazione nativa

Per un'installazione nativa senza Docker, fare riferimento ai passaggi seguenti.

Run on JetPack 6.1

Installare il pacchetto Ultralytics

Qui installeremo il pacchetto Ultralytics su Jetson con le dipendenze opzionali in modo da poter esportare i modelli in altri formati. PyTorch modelli in altri formati diversi. Ci concentreremo principalmente sulle esportazioni diNVIDIA TensorRT perché TensorRT ci consentirà di ottenere le massime prestazioni dai dispositivi Jetson.

1. Aggiornare l'elenco dei pacchetti, installare pip e passare all'ultimo aggiornamento

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installare ultralytics pacchetto pip con dipendenze opzionali

   pip install ultralytics[export]
   

3. Riavviare il dispositivo

   sudo reboot
   

Installare PyTorch e Torchvision

La precedente installazione di ultralytics installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con la piattaforma Jetson, basata su architettura ARM64. Pertanto, è necessario installare manualmente PyTorch pip wheel e compilare/installare Torchvision dai sorgenti.

Installare torch 2.5.0 e torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Installare cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Installare onnxruntime-gpu

Il onnxruntime-gpu ospitato su PyPI non ha aarch64 per Jetson. È quindi necessario installare manualmente questo pacchetto. Questo pacchetto è necessario per alcune esportazioni.

Tutti diversi onnxruntime-gpu Sono elencati i pacchetti corrispondenti alle diverse versioni di JetPack e Python . qui. Tuttavia, qui scaricheremo e installeremo onnxruntime-gpu 1.20.0 con Python3.10 supporto.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Installare il pacchetto Ultralytics

Qui installeremo il pacchetto Ultralytics su Jetson con le dipendenze opzionali in modo da poter esportare i modelli PyTorch in altri formati diversi. Ci concentreremo principalmente sulle esportazioni diNVIDIA TensorRT perché TensorRT ci consentirà di ottenere le massime prestazioni dai dispositivi Jetson.

1. Aggiornare l'elenco dei pacchetti, installare pip e passare all'ultimo aggiornamento

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installare ultralytics pacchetto pip con dipendenze opzionali

   pip install ultralytics[export]
   

3. Riavviare il dispositivo

   sudo reboot
   

Installare PyTorch e Torchvision

La precedente installazione di ultralytics installerà Torch e Torchvision. Tuttavia, questi due pacchetti installati tramite pip non sono compatibili con la piattaforma Jetson, basata su architettura ARM64. Pertanto, è necessario installare manualmente PyTorch pip wheel e compilare/installare Torchvision dai sorgenti.

1. Disinstallare i siti PyTorch e Torchvision attualmente installati

   pip uninstall torch torchvision
   

2. Installare torch 2.1.0 e torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Installare onnxruntime-gpu

Il onnxruntime-gpu ospitato su PyPI non ha aarch64 per Jetson. È quindi necessario installare manualmente questo pacchetto. Questo pacchetto è necessario per alcune esportazioni.

Tutti diversi onnxruntime-gpu Sono elencati i pacchetti corrispondenti alle diverse versioni di JetPack e Python . qui. Tuttavia, qui scaricheremo e installeremo onnxruntime-gpu 1.17.0 con Python3.8 supporto.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilizzare TensorRT su NVIDIA Jetson

Tra tutti i formati di esportazione dei modelli supportati da Ultralytics, TensorRT offre le migliori prestazioni di inferenza quando si lavora con i dispositivi NVIDIA Jetson e si consiglia di utilizzare TensorRT con Jetson. Abbiamo anche un documento dettagliato su TensorRT qui.

Convertire il modello in TensorRT ed eseguire l'inferenza

Il modello YOLO11n in formato PyTorch viene convertito in TensorRT per eseguire l'inferenza con il modello esportato.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utilizzare NVIDIA Acceleratore di apprendimento profondo (DLA)

NVIDIA Deep Learning Accelerator (DLA) è un componente hardware specializzato integrato nei dispositivi NVIDIA Jetson che ottimizza l'inferenza dell'apprendimento profondo per ottenere efficienza energetica e prestazioni. Scaricando le attività dal sito GPU (liberandolo per processi più intensivi), il DLA consente di eseguire i modelli con un consumo energetico inferiore, pur mantenendo un elevato throughput, ideale per i sistemi embedded e le applicazioni di intelligenza artificiale in tempo reale.

I seguenti dispositivi Jetson sono dotati di hardware DLA:

• Jetson Orin NX 16GB
• Serie Jetson AGX Orin
• Serie Jetson AGX Xavier
• Serie Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Benchmark di Jetson Orin YOLO11

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Anche se tutti i modelli di esportazione funzionano con NVIDIA Jetson, abbiamo incluso solo PyTorch, TorchScript, TensorRT nella tabella di confronto qui sotto perché utilizzano GPU su Jetson e sono garantiti per produrre i risultati migliori. Tutte le altre esportazioni utilizzano solo CPU e le prestazioni non sono così buone come le tre precedenti. I benchmark per tutte le esportazioni sono disponibili nella sezione successiva a questo grafico.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

La tabella seguente rappresenta i risultati del benchmark per cinque diversi modelli (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) attraverso dieci diversi formati (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), fornendo lo stato, la dimensione, la metrica mAP50-95(B) e il tempo di inferenza per ogni combinazione.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Esplorate altri sforzi di benchmarking di Seeed Studio in esecuzione su diverse versioni dell'hardware NVIDIA Jetson.

Riprodurre i risultati

Per riprodurre i benchmark di Ultralytics su tutti i formati di esportazione, eseguite questo codice:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Migliori pratiche per l'utilizzo di NVIDIA Jetson

Quando si usa NVIDIA Jetson, ci sono un paio di buone pratiche da seguire per ottenere le massime prestazioni su NVIDIA Jetson che esegue YOLO11.

1. Abilita la modalità MAX Power

   Abilitando la modalità MAX Power su Jetson, tutti i core CPU, GPU saranno attivati.

   sudo nvpmodel -m 0
   

2. Abilitazione degli orologi Jetson

   Abilitando Jetson Clocks, tutti i core CPU, GPU saranno clockati alla loro frequenza massima.

   sudo jetson_clocks
   

3. Installare l'applicazione Jetson Stats

   Possiamo utilizzare l'applicazione jetson stats per monitorare le temperature dei componenti del sistema e controllare altri dettagli del sistema, come ad esempio visualizzare CPU, GPU, l'utilizzo della RAM, cambiare le modalità di alimentazione, impostare i clock massimi, controllare le informazioni di JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

I prossimi passi

Congratulazioni per aver configurato con successo YOLO11 sul vostro NVIDIA Jetson! Per ulteriori informazioni e supporto, visitate la guida Ultralytics YOLO11 Docs!

FAQ

Come si distribuisce Ultralytics YOLO11 sui dispositivi NVIDIA Jetson?

La distribuzione di Ultralytics YOLO11 sui dispositivi NVIDIA Jetson è un processo semplice. Per prima cosa, flashare il dispositivo Jetson con l'SDK NVIDIA JetPack. Quindi, utilizzare un'immagine Docker precostituita per una rapida configurazione o installare manualmente i pacchetti necessari. I passaggi dettagliati per ciascun approccio sono riportati nelle sezioni Avvio rapido con Docker e Avvio con installazione nativa.

Quali benchmark di prestazioni posso aspettarmi dai modelli YOLO11 sui dispositivi NVIDIA Jetson?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

Perché si dovrebbe usare TensorRT per distribuire YOLO11 su NVIDIA Jetson?

TensorRT è altamente raccomandato per l'implementazione di modelli YOLO11 su NVIDIA Jetson, grazie alle sue prestazioni ottimali. Accelera l'inferenza sfruttando le capacità di GPU Jetson, garantendo la massima efficienza e velocità. Per ulteriori informazioni su come convertire in TensorRT ed eseguire l'inferenza, consultare la sezione Utilizzare TensorRT su NVIDIA Jetson.

Come posso installare PyTorch e Torchvision su NVIDIA Jetson?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

Quali sono le migliori pratiche per massimizzare le prestazioni su NVIDIA Jetson quando si utilizza YOLO11?

Per massimizzare le prestazioni su NVIDIA Jetson con YOLO11, seguite queste best practice:

1. Abilitare la modalità MAX Power per utilizzare tutti i core CPU e GPU .
2. Abilitare Jetson Clocks per far funzionare tutti i core alla loro frequenza massima.
3. Installare l'applicazione Jetson Stats per monitorare le metriche del sistema.

Per i comandi e ulteriori dettagli, consultare la sezione Best Practices quando si utilizza NVIDIA Jetson.

📅C reato 9 mesi fa ✏️ Aggiornato 11 giorni fa

Commenti