Schnellstartanleitung: NVIDIA Jetson mit Ultralytics YOLOv8

Dieser umfassende Leitfaden bietet eine detaillierte Anleitung für den Einsatz von Ultralytics YOLOv8 auf NVIDIA Jetson-Geräten. Außerdem zeigt er anhand von Leistungsbenchmarks die Möglichkeiten von YOLOv8 auf diesen kleinen und leistungsstarken Geräten.

Was ist NVIDIA Jetson?

NVIDIA Jetson ist eine Reihe von Embedded Computing Boards, die beschleunigte KI (künstliche Intelligenz) auf Edge Devices bringen sollen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU-Architektur von NVIDIA und sind in der Lage, komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät auszuführen, ohne auf Cloud-Computing-Ressourcen angewiesen zu sein. Jetson Boards werden häufig in der Robotik, in autonomen Fahrzeugen, in der Industrieautomatisierung und in anderen Anwendungen eingesetzt, bei denen KI-Inferenzen lokal mit geringer Latenz und hoher Effizienz ausgeführt werden müssen. Außerdem basieren diese Boards auf der ARM64-Architektur und verbrauchen im Vergleich zu herkömmlichen GPU-Computing-Geräten weniger Strom.

NVIDIA Jetson Serie Vergleich

Jetson Orin ist die neueste Iteration der NVIDIA Jetson-Familie, die auf der NVIDIA Ampere-Architektur basiert und im Vergleich zu den vorherigen Generationen eine drastisch verbesserte KI-Leistung bietet. In der folgenden Tabelle werden einige der Jetson-Geräte im Ökosystem verglichen.

Eine detailliertere Vergleichstabelle findest du im Abschnitt Technische Daten auf der offiziellen NVIDIA Jetson Seite.

Was ist NVIDIA JetPack?

Das NVIDIA JetPack SDK, das die Jetson-Module antreibt, ist die umfassendste Lösung und bietet eine vollständige Entwicklungsumgebung für die Erstellung von durchgängig beschleunigten KI-Anwendungen und verkürzt die Markteinführungszeit. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktop-Umgebung und einem kompletten Satz von Bibliotheken für die Beschleunigung von GPU-Computing, Multimedia, Grafik und Computer Vision. Außerdem enthält es Beispiele, Dokumentationen und Entwickler-Tools für den Host-Computer und das Developer Kit und unterstützt SDKs auf höherer Ebene wie DeepStream für Streaming Video Analytics, Isaac für Robotik und Riva für Konversations-KI.

Flash JetPack für NVIDIA Jetson

Der erste Schritt, nachdem du ein NVIDIA Jetson Gerät in die Hände bekommen hast, ist das Flashen des NVIDIA JetPack auf das Gerät. Es gibt verschiedene Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.

1. Wenn du ein offizielles NVIDIA Development Kit wie das Jetson Orin Nano Developer Kit besitzt, kannst du diesen Link besuchen, um ein Image herunterzuladen und eine SD-Karte mit JetPack zum Booten des Geräts vorzubereiten.
2. Wenn du ein anderes NVIDIA Development Kit besitzt, kannst du diesen Link besuchen, um JetPack mit dem SDK Manager auf das Gerät zu flashen.
3. Wenn du ein Seeed Studio reComputer J4012 Gerät besitzt, kannst du diesen Link besuchen, um JetPack auf die mitgelieferte SSD zu flashen.
4. Wenn du ein anderes Gerät eines Drittanbieters besitzt, das mit dem NVIDIA Jetson Modul betrieben wird, empfehlen wir dir, das Flashen per Kommandozeile unter diesem Link durchzuführen.

Einrichten Ultralytics

Es gibt zwei Möglichkeiten, das Ultralytics Paket auf dem NVIDIA Jetson einzurichten, um dein nächstes Computer Vision Projekt zu erstellen. Du kannst eine von beiden nutzen.

• Mit Docker beginnen
• Start ohne Docker

Mit Docker beginnen

Der schnellste Weg, um mit Ultralytics YOLOv8 auf dem NVIDIA Jetson loszulegen, ist die Verwendung eines vorgefertigten Docker-Images für den Jetson.

Führe den unten stehenden Befehl aus, um den Docker-Container zu ziehen und auf dem Jetson auszuführen. Dies basiert auf dem l4t-pytorch Docker-Image, das PyTorch und Torchvision in einer Python3-Umgebung enthält.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Wenn du das getan hast, fahre mit dem Abschnitt TensorRT auf NVIDIA Jetson verwenden fort.

Start ohne Docker

Ultralytics Paket installieren

Hier werden wir das ultralyics-Paket auf dem Jetson mit optionalen Abhängigkeiten installieren, damit wir die PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf die Exporte von NVIDIA TensorRT konzentrieren, da TensoRT dafür sorgt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installiere ultralytics Pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]
   

3. Das Gerät neu starten

   sudo reboot
   

Installiere PyTorch und Torchvision

Die obige ultralytics Installation wird Torch und Torchvision installieren. Diese beiden über pip installierten Pakete sind jedoch nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Deshalb müssen wir PyTorch pip wheel manuell installieren und Torchvision aus dem Quellcode kompilieren und installieren.

1. Deinstalliere die aktuell installierte PyTorch und Torchvision

   pip uninstall torch torchvision
   

2. Installiere PyTorch 2.1.0 gemäß JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Installiere Torchvision v0.16.2 gemäß PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Auf der SeitePyTorch für Jetson findest du alle verschiedenen Versionen von PyTorch für verschiedene JetPack-Versionen. Eine detailliertere Liste der PyTorch, Torchvision-Kompatibilität findest du auf der SeitePyTorch und Torchvision-Kompatibilität.

Installiere onnxruntime-gpu

Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64 Binärdateien für den Jetson. Wir müssen dieses Paket also manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle unterschiedlich onnxruntime-gpu Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.17.0 mit Python3.8 Unterstützung für das JetPack, das wir für diesen Leitfaden verwenden.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

TensorRT auf NVIDIA Jetson verwenden

Von allen Modellexportformaten, die von Ultralytics unterstützt werden, liefert TensorRT die beste Inferenzleistung bei der Arbeit mit NVIDIA Jetson-Geräten und wir empfehlen, TensorRT mit Jetson zu verwenden. Wir haben auch ein ausführliches Dokument zu TensorRT hier.

Modell in TensorRT umwandeln und Inferenz durchführen

Das Modell YOLOv8n im Format PyTorch wird in TensorRT konvertiert, um die Inferenz mit dem exportierten Modell durchzuführen.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Benchmarks

YOLOv8 Benchmarks wurden vom Ultralytics Team auf 10 verschiedenen Modellformaten durchgeführt, um die Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN. Die Benchmarks wurden auf dem Seeed Studio reComputer J4012 mit einem Jetson Orin NX 16GB mit FP32-Genauigkeit und einer Standard-Eingangsgröße von 640 Bildern durchgeführt.

Vergleichstabelle

Obwohl alle Modellexporte mit dem NVIDIA Jetson funktionieren, haben wir nur PyTorch, TorchScript und TensorRT in die untenstehende Vergleichstabelle aufgenommen, weil sie die GPU des Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exporte nutzen nur die CPU und die Leistung ist nicht so gut wie die der drei oben genannten. Benchmarks für alle Exporte findest du im Abschnitt nach diesem Diagramm.

Detaillierte Vergleichstabelle

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) in zehn verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN) und gibt den Status, die Größe, die mAP50-95(B) Metrik und die Inferenzzeit für jede Kombination an.

Unter diesem Link findest du weitere Benchmarking-Tests von Seeed Studio mit verschiedenen Versionen der NVIDIA Jetson Hardware.

Reproduziere unsere Ergebnisse

Um die oben genannten Ultralytics Benchmarks für alle Exportformate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Best Practices bei der Verwendung von NVIDIA Jetson

Bei der Verwendung von NVIDIA Jetson gibt es einige Best Practices zu beachten, um die maximale Leistung auf dem NVIDIA Jetson mit YOLOv8 zu erreichen.

1. MAX Power Modus aktivieren

   Wenn du den MAX Power Mode auf dem Jetson aktivierst, werden alle CPU- und GPU-Kerne eingeschaltet.

   sudo nvpmodel -m 0
   

2. Jetson-Uhren einschalten

   Wenn du Jetson Clocks aktivierst, wird sichergestellt, dass alle CPU- und GPU-Kerne mit ihrer maximalen Frequenz getaktet sind.

   sudo jetson_clocks
   

3. Jetson Stats Anwendung installieren

   Mit der Anwendung jetson stats können wir die Temperaturen der Systemkomponenten überwachen und andere Systemdetails überprüfen, wie z. B. die CPU-, GPU- und RAM-Auslastung anzeigen, den Energiemodus ändern, die maximale Taktfrequenz einstellen und JetPack-Informationen überprüfen.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Nächste Schritte

Herzlichen Glückwunsch zur erfolgreichen Einrichtung von YOLOv8 auf deinem NVIDIA Jetson! Weitere Anleitungen und Unterstützung findest du unter Ultralytics YOLOv8 Docs!

Kommentare