Snelstartgids: NVIDIA Jetson met Ultralytics YOLOv8

Deze uitgebreide handleiding biedt een gedetailleerde handleiding voor het implementeren van Ultralytics YOLOv8 op NVIDIA Jetson apparaten. Daarnaast worden prestatiebenchmarks getoond om de mogelijkheden van YOLOv8 op deze kleine en krachtige apparaten te demonstreren.

Wat is NVIDIA Jetson?

NVIDIA Jetson is een serie embedded computing boards ontworpen om versnelde AI (artificial intelligence) computing naar randapparaten te brengen. Deze compacte en krachtige apparaten zijn gebouwd rond NVIDIA's GPU architectuur en zijn in staat om complexe AI algoritmes en deep learning modellen direct op het apparaat uit te voeren, zonder afhankelijk te zijn van cloud computing resources. Jetson kaarten worden vaak gebruikt in robotica, autonome voertuigen, industriële automatisering en andere toepassingen waarbij AI-inferentie lokaal moet worden uitgevoerd met een lage latentie en hoge efficiëntie. Bovendien zijn deze kaarten gebaseerd op de ARM64-architectuur en verbruiken ze minder stroom dan traditionele GPU-computers.

NVIDIA Jetson serie vergelijking

Jetson Orin is de nieuwste iteratie van de NVIDIA Jetson familie gebaseerd op de NVIDIA Ampere architectuur die drastisch verbeterde AI prestaties brengt in vergelijking met de vorige generaties. Onderstaande tabel vergelijkt enkele van de Jetson apparaten in het ecosysteem.

Ga voor een meer gedetailleerde vergelijkingstabel naar het gedeelte Technische specificaties op de officiële NVIDIA Jetson pagina.

Wat is NVIDIA JetPack?

NVIDIA JetPack SDK die de Jetson-modules aandrijft is de meest uitgebreide oplossing en biedt een volledige ontwikkelomgeving voor het bouwen van end-to-end versnelde AI-toepassingen en verkort de time-to-market. JetPack bevat Jetson Linux met bootloader, Linux kernel, Ubuntu desktop omgeving en een complete set bibliotheken voor versnelling van GPU computing, multimedia, graphics en computer vision. Het bevat ook voorbeelden, documentatie en ontwikkelaarstools voor zowel de hostcomputer als de ontwikkelaarskit, en ondersteunt SDK's op een hoger niveau zoals DeepStream voor streaming video analytics, Isaac voor robotica en Riva voor conversationele AI.

Flash JetPack naar NVIDIA Jetson

De eerste stap nadat je een NVIDIA Jetson apparaat in handen hebt gekregen, is het flashen van NVIDIA JetPack naar het apparaat. Er zijn verschillende manieren om NVIDIA Jetson apparaten te flashen.

1. Als je in het bezit bent van een officiële NVIDIA Development Kit zoals de Jetson Orin Nano Developer Kit, kun je via deze link een image downloaden en een SD-kaart met JetPack voorbereiden om het apparaat op te starten.
2. Als je een andere NVIDIA Development Kit bezit, kun je naar deze link gaan om JetPack naar het apparaat te flashen met behulp van SDK Manager.
3. Als je een Seeed Studio reComputer J4012 apparaat hebt, kun je via deze link JetPack flashen naar de bijgeleverde SSD.
4. Als je in het bezit bent van een ander apparaat van derden dat wordt aangedreven door de NVIDIA Jetson module, is het aan te raden om de opdrachtregel te volgen voor het flashen via deze link.

Opzetten Ultralytics

Er zijn twee manieren om Ultralytics pakket op NVIDIA Jetson in te stellen om je volgende Computer Vision project te bouwen. Je kunt een van beide gebruiken.

• Beginnen met Docker
• Starten zonder Docker

Beginnen met Docker

De snelste manier om aan de slag te gaan met Ultralytics YOLOv8 op NVIDIA Jetson is door te draaien met voorgebouwde docker image voor Jetson.

Voer het onderstaande commando uit om de Docker-container op te halen en op Jetson te draaien. Dit is gebaseerd op l4t-pytorch docker image dat PyTorch en Torchvision bevat in een Python3-omgeving.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Nadat dit is gedaan, ga je naar het gedeelte TensorRT gebruiken op NVIDIA Jetson.

Starten zonder Docker

Installeer Ultralytics pakket

Hier zullen we ultralyics pakket installeren op de Jetson met optionele afhankelijkheden zodat we de PyTorch modellen kunnen exporteren naar andere verschillende formaten. We zullen ons voornamelijk richten op de NVIDIA TensorRT export omdat TensoRT ervoor zorgt dat we de maximale prestaties uit de Jetson apparaten kunnen halen.

1. Pakketlijst bijwerken, pip installeren en upgraden naar de nieuwste

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installeer ultralytics pip-pakket met optionele afhankelijkheden

   pip install ultralytics[export]
   

3. Herstart het apparaat

   sudo reboot
   

Installeer PyTorch en Torchvision

De bovenstaande ultralytics installatie zal Torch en Torchvision installeren. Deze 2 pakketten geïnstalleerd via pip zijn echter niet compatibel om te draaien op het Jetson platform dat is gebaseerd op de ARM64 architectuur. Daarom moeten we handmatig PyTorch pip wheel installeren en Torchvision vanaf de broncode compileren en installeren.

1. Verwijder de momenteel geïnstalleerde PyTorch en Torchvision

   pip uninstall torch torchvision
   

2. Installeer PyTorch 2.1.0 volgens JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Installeer Torchvision v0.16.2 volgens PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Bezoek de paginaPyTorch voor Jetson om toegang te krijgen tot alle verschillende versies van PyTorch voor verschillende JetPack-versies. Ga voor een gedetailleerdere lijst van PyTorch, Torchvision compatibiliteit naar de PyTorch en Torchvision compatibiliteitspagina.

Installeer onnxruntime-gpu

De onnxruntime-gpu pakket gehost in PyPI heeft niet aarch64 binaries voor de Jetson. We moeten dit pakket dus handmatig installeren. Dit pakket is nodig voor sommige exports.

Allemaal verschillend onnxruntime-gpu pakketten die corresponderen met verschillende JetPack- en Python -versies zijn opgesomd hier. Hier gaan we echter het volgende downloaden en installeren onnxruntime-gpu 1.17.0 met Python3.8 ondersteuning voor het JetPack dat we voor deze handleiding gebruiken.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Gebruik TensorRT op NVIDIA Jetson

Van alle modelexportformaten die door Ultralytics worden ondersteund, levert TensorRT de beste inferentieprestaties bij het werken met NVIDIA Jetson apparaten en onze aanbeveling is dan ook om TensorRT te gebruiken met Jetson. We hebbenhier ook een gedetailleerd document over TensorRT .

Model omzetten naar TensorRT en conclusies trekken

Het YOLOv8n model in het formaat PyTorch wordt geconverteerd naar TensorRT om inferentie uit te voeren met het geëxporteerde model.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Benchmarks

YOLOv8 Benchmarks werden uitgevoerd door het Ultralytics team op 10 verschillende modelformaten waarbij snelheid en nauwkeurigheid werden gemeten: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN. Benchmarks werden uitgevoerd op de Seeed Studio reComputer J4012, aangedreven door een Jetson Orin NX 16GB apparaat met FP32 precisie en een standaard invoergrootte van 640.

Vergelijkingstabel

Hoewel alle modelexports werken met NVIDIA Jetson, hebben we alleen PyTorch, TorchScript, TensorRT opgenomen in de onderstaande vergelijkingstabel omdat deze gebruik maken van de GPU op de Jetson en gegarandeerd de beste resultaten opleveren. Alle andere exports maken alleen gebruik van de CPU en de prestaties zijn niet zo goed als de bovenstaande drie. Je kunt benchmarks voor alle exports vinden in het gedeelte na deze grafiek.

Gedetailleerde vergelijkingstabel

De onderstaande tabel toont de benchmarkresultaten voor vijf verschillende modellen (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) over tien verschillende indelingen (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN), met de status, grootte, mAP50-95(B) metric en inferentietijd voor elke combinatie.

Ga naar deze link voor meer benchmarks van Seeed Studio op verschillende versies van NVIDIA Jetson hardware.

Onze resultaten reproduceren

Voer deze code uit om de bovenstaande Ultralytics benchmarks op alle exportformaten te reproduceren:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Beste praktijken bij het gebruik van NVIDIA Jetson

Als je NVIDIA Jetson gebruikt, zijn er een paar best practices die je moet volgen om maximale prestaties mogelijk te maken op de NVIDIA Jetson die draait op YOLOv8.

1. MAX-modus inschakelen

   Het inschakelen van de MAX Power Mode op de Jetson zorgt ervoor dat alle CPU- en GPU-kernen zijn ingeschakeld.

   sudo nvpmodel -m 0
   

2. Jetson klokken inschakelen

   Het inschakelen van Jetson Clocks zorgt ervoor dat alle CPU- en GPU-kernen op hun maximale frequentie worden geklokt.

   sudo jetson_clocks
   

3. Installeer de Jetson Stats-toepassing

   We kunnen de applicatie jetson stats gebruiken om de temperaturen van de systeemonderdelen te controleren en andere systeemdetails te bekijken, zoals CPU, GPU, RAM-gebruik, energiemodi wijzigen, instellen op maximale klokken, JetPack-informatie controleren.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Volgende stappen

Gefeliciteerd met het succesvol instellen van YOLOv8 op je NVIDIA Jetson! Ga voor meer informatie en ondersteuning naar Ultralytics YOLOv8 Docs!

Reacties