Schnellstart-Anleitung: NVIDIA Jetson mit Ultralytics YOLO11

Dieser umfassende Leitfaden bietet eine detaillierte Anleitung für den Einsatz von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten. Darüber hinaus werden Leistungsbenchmarks vorgestellt, um die Fähigkeiten von YOLO11 auf diesen kleinen und leistungsstarken Geräten zu demonstrieren.

Beobachten: So richten Sie NVIDIA Jetson mit Ultralytics YOLO11

Was ist NVIDIA Jetson?

NVIDIA Jetson ist eine Reihe von eingebetteten Computerplatinen, die beschleunigte KI (künstliche Intelligenz) auf Edge-Geräte bringen sollen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU Architektur von NVIDIA und sind in der Lage, komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät auszuführen, ohne auf Cloud-Computing-Ressourcen zurückgreifen zu müssen. Jetson-Boards werden häufig in der Robotik, in autonomen Fahrzeugen, in der industriellen Automatisierung und in anderen Anwendungen eingesetzt, bei denen KI-Inferenzen lokal mit geringer Latenz und hoher Effizienz ausgeführt werden müssen. Außerdem basieren diese Boards auf der ARM64-Architektur und verbrauchen im Vergleich zu herkömmlichen GPU -Computing-Geräten weniger Strom.

NVIDIA Jetson-Serie im Vergleich

Jetson Orin ist die neueste Iteration der NVIDIA Jetson-Familie, die auf der NVIDIA Ampere-Architektur basiert und im Vergleich zu den vorherigen Generationen eine drastisch verbesserte KI-Leistung bietet. In der folgenden Tabelle werden einige der Jetson-Geräte im Ökosystem verglichen.

Eine detailliertere Vergleichstabelle finden Sie im Abschnitt Technische Daten auf der offiziellen NVIDIA Jetson-Seite.

Was ist NVIDIA JetPack?

NVIDIA Das JetPack SDK, das die Jetson-Module antreibt, ist die umfassendste Lösung und bietet eine vollständige Entwicklungsumgebung für die Erstellung von durchgängigen beschleunigten KI-Anwendungen und verkürzt die Markteinführungszeit. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktop-Umgebung und einem kompletten Satz von Bibliotheken zur Beschleunigung von GPU Computing, Multimedia, Grafik und Computer Vision. Außerdem enthält es Beispiele, Dokumentation und Entwickler-Tools für den Host-Computer und das Entwickler-Kit und unterstützt SDKs auf höherer Ebene wie DeepStream für Streaming-Videoanalyse, Isaac für Robotik und Riva für KI im Dialog.

Flash JetPack auf NVIDIA Jetson

Der erste Schritt, nachdem Sie ein NVIDIA Jetson-Gerät in die Hände bekommen haben, besteht darin, NVIDIA JetPack auf das Gerät zu flashen. Es gibt verschiedene Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.

1. Wenn Sie ein offizielles NVIDIA Development Kit wie das Jetson Orin Nano Developer Kit besitzen, können Sie ein Image herunterladen und eine SD-Karte mit JetPack zum Booten des Geräts vorbereiten.
2. Wenn Sie ein anderes NVIDIA Development Kit besitzen, können Sie JetPack mit dem SDK Manager auf das Gerät flashen.
3. Wenn Sie ein Seeed Studio reComputer J4012-Gerät besitzen, können Sie JetPack auf die mitgelieferte SSD flashen und wenn Sie ein Seeed Studio reComputer J1020 v2-Gerät besitzen, können Sie JetPack auf die eMMC/SSD flashen.
4. Wenn Sie ein anderes Gerät eines Drittanbieters besitzen, das mit dem NVIDIA Jetson-Modul betrieben wird, wird empfohlen, die Befehlszeile zum Flashen zu verwenden.

JetPack-Unterstützung basierend auf dem Jetson-Gerät

Die folgende Tabelle zeigt NVIDIA JetPack-Versionen, die von verschiedenen NVIDIA Jetson-Geräten unterstützt werden.

Schnellstart mit Docker

Der schnellste Weg, um mit Ultralytics YOLO11 auf NVIDIA Jetson zu starten, ist die Verwendung von vorgefertigten Docker-Images für Jetson. Schauen Sie in der obigen Tabelle nach und wählen Sie die JetPack-Version entsprechend dem Jetson-Gerät, das Sie besitzen.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Fahren Sie danach mit dem Abschnitt TensorRT auf NVIDIA Jetson verwenden fort.

Beginnen Sie mit der nativen Installation

Für eine native Installation ohne Docker führen Sie bitte die folgenden Schritte aus.

Run on JetPack 6.1

Ultralytics Paket installieren

Hier werden wir das Paket Ultralytics mit optionalen Abhängigkeiten auf dem Jetson installieren, damit wir die Modelle in andere Formate exportieren können. PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installieren Sie ultralytics pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]
   

3. Neustart des Geräts

   sudo reboot
   

PyTorch und Torchvision installieren

Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die über pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher müssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.

Installieren Sie torch 2.5.0 und torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Installieren Sie cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Installieren Sie onnxruntime-gpu

Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64 Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle unterschiedlich onnxruntime-gpu Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.20.0 mit Python3.10 Unterstützung.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Ultralytics Paket installieren

Hier werden wir das Ultralytics Paket auf dem Jetson mit optionalen Abhängigkeiten installieren, damit wir die PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT Exporte konzentrieren, da TensorRT dafür sorgen wird, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf den neuesten Stand bringen

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installieren Sie ultralytics pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]
   

3. Neustart des Geräts

   sudo reboot
   

PyTorch und Torchvision installieren

Die obige ultralytics Installation wird Torch und Torchvision installieren. Allerdings sind diese beiden Pakete, die über pip installiert werden, nicht kompatibel mit der Jetson-Plattform, die auf der ARM64-Architektur basiert. Daher müssen wir manuell PyTorch pip wheel installieren und Torchvision aus dem Quellcode kompilieren und installieren.

1. Deinstallieren Sie die derzeit installierten Programme PyTorch und Torchvision

   pip uninstall torch torchvision
   

2. Installieren Sie torch 2.1.0 und torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Installieren Sie onnxruntime-gpu

Die onnxruntime-gpu Paket, das in PyPI gehostet wird, hat keine aarch64 Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle unterschiedlich onnxruntime-gpu Pakete, die den verschiedenen JetPack- und Python -Versionen entsprechen, sind aufgelistet hier. Hier werden wir jedoch herunterladen und installieren onnxruntime-gpu 1.17.0 mit Python3.8 Unterstützung.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Verwenden Sie TensorRT auf NVIDIA Jetson

Von allen Modellexportformaten, die von Ultralytics unterstützt werden, liefert TensorRT die beste Inferenzleistung bei der Arbeit mit NVIDIA Jetson-Geräten, und unsere Empfehlung ist, TensorRT mit Jetson zu verwenden. Wir haben auch ein detailliertes Dokument über TensorRT hier.

Modell in TensorRT umwandeln und Inferenz durchführen

Das YOLO11n-Modell im Format PyTorch wird in TensorRT konvertiert, um Inferenzen mit dem exportierten Modell durchzuführen.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Verwenden Sie NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Der Deep Learning Accelerator (DLA) ist eine spezielle Hardwarekomponente, die in NVIDIA Jetson-Geräte integriert ist und Deep Learning-Inferenzen im Hinblick auf Energieeffizienz und Leistung optimiert. Durch die Auslagerung von Aufgaben von GPU (wodurch dieser für intensivere Prozesse frei wird) ermöglicht DLA die Ausführung von Modellen mit geringerem Stromverbrauch bei gleichbleibend hohem Durchsatz - ideal für eingebettete Systeme und Echtzeit-KI-Anwendungen.

Die folgenden Jetson-Geräte sind mit DLA-Hardware ausgestattet:

• Jetson Orin NX 16GB
• Jetson AGX Orin-Serie
• Jetson AGX Xavier Serie
• Jetson Xavier NX-Serie

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Benchmarks

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Obwohl alle Modellexporte mit NVIDIA Jetson arbeiten, haben wir nur PyTorch, TorchScript, TensorRT in die untenstehende Vergleichstabelle aufgenommen, da sie die GPU auf dem Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exporte nutzen nur den CPU und die Leistung ist nicht so gut wie die der drei oben genannten. Benchmarks für alle Exporte finden Sie im Abschnitt nach diesem Diagramm.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in zehn verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN) und gibt den Status, die Größe, die mAP50-95(B) Metrik und die Inferenzzeit für jede Kombination an.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Entdecken Sie weitere Benchmarking-Versuche von Seeed Studio auf verschiedenen Versionen der NVIDIA Jetson-Hardware.

Reproduzieren Sie unsere Ergebnisse

Um die oben genannten Ultralytics Benchmarks für alle Exportformate zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Bewährte Praktiken bei der Verwendung von NVIDIA Jetson

Bei der Verwendung von NVIDIA Jetson gibt es eine Reihe von Best Practices, die befolgt werden sollten, um eine maximale Leistung auf dem NVIDIA Jetson mit YOLO11 zu ermöglichen.

1. Aktivieren des MAX-Power-Modus

   Die Aktivierung des MAX Power Mode auf dem Jetson stellt sicher, dass alle CPU, GPU Kerne eingeschaltet sind.

   sudo nvpmodel -m 0
   

2. Jetson-Uhren einschalten

   Die Aktivierung von Jetson Clocks stellt sicher, dass alle CPU, GPU Kerne mit ihrer maximalen Frequenz getaktet sind.

   sudo jetson_clocks
   

3. Jetson Stats Anwendung installieren

   Mit der Anwendung jetson stats können wir die Temperaturen der Systemkomponenten überwachen und andere Systemdetails überprüfen, wie z. B. CPU, GPU, RAM-Auslastung, Stromsparmodi ändern, maximale Taktfrequenz einstellen, JetPack-Informationen überprüfen

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Nächste Schritte

Herzlichen Glückwunsch zur erfolgreichen Einrichtung von YOLO11 auf Ihrem NVIDIA Jetson! Für weitere Informationen und Unterstützung besuchen Sie bitte Ultralytics YOLO11 Docs!

FAQ

Wie kann ich Ultralytics YOLO11 auf NVIDIA Jetson-Geräten einsetzen?

Die Bereitstellung von Ultralytics YOLO11 auf NVIDIA Jetson-Geräten ist ein unkomplizierter Prozess. Flashen Sie zunächst Ihr Jetson-Gerät mit dem NVIDIA JetPack SDK. Anschließend können Sie entweder ein vorgefertigtes Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren. Detaillierte Schritte für jeden Ansatz finden Sie in den Abschnitten Quick Start with Docker und Start with Native Installation.

Welche Leistungsbenchmarks kann ich von YOLO11 Modellen auf NVIDIA Jetson-Geräten erwarten?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

Warum sollte ich TensorRT für die Bereitstellung von YOLO11 auf NVIDIA Jetson verwenden?

TensorRT wird aufgrund seiner optimalen Leistung für den Einsatz von YOLO11 Modellen auf NVIDIA Jetson dringend empfohlen. Es beschleunigt die Inferenz, indem es die GPU Fähigkeiten des Jetson nutzt und so maximale Effizienz und Geschwindigkeit gewährleistet. Weitere Informationen zur Konvertierung in TensorRT und zur Durchführung von Inferenzen finden Sie im Abschnitt Verwendung von TensorRT auf NVIDIA Jetson.

Wie kann ich PyTorch und Torchvision auf NVIDIA Jetson installieren?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

Was sind die besten Methoden zur Maximierung der Leistung auf NVIDIA Jetson, wenn Sie YOLO11 verwenden?

Um die Leistung auf NVIDIA Jetson mit YOLO11 zu maximieren, befolgen Sie diese Best Practices:

1. Aktivieren Sie den MAX Power Mode, um alle CPU und GPU Kerne zu nutzen.
2. Aktivieren Sie Jetson Clocks, um alle Kerne mit ihrer maximalen Frequenz zu betreiben.
3. Installieren Sie die Anwendung Jetson Stats zur Überwachung der Systemmetriken.

Befehle und weitere Einzelheiten finden Sie im Abschnitt Bewährte Praktiken bei der Verwendung von NVIDIA Jetson.

📅 Erstellt vor 9 Monaten ✏️ Aktualisiert vor 10 Tagen

Kommentare