Kurzanleitung: NVIDIA Jetson mit Ultralytics YOLO26#

Diese umfassende Anleitung bietet eine detaillierte Schritt-für-Schritt-Anleitung für die Bereitstellung von Ultralytics YOLO26 auf NVIDIA Jetson-Geräten. Darüber hinaus werden Leistungs-Benchmarks vorgestellt, um die Funktionen von YOLO26 auf diesen kleinen und leistungsstarken Geräten zu demonstrieren.

Was ist NVIDIA Jetson?#

NVIDIA Jetson ist eine Serie von eingebetteten Computerplatinen, die entwickelt wurden, um beschleunigte KI-Rechenleistung (künstliche Intelligenz) auf Edge-Geräte zu bringen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU-Architektur von NVIDIA und können komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät ausführen, ohne auf Cloud-Computing-Ressourcen angewiesen zu sein. Jetson-Platinen werden häufig in der Robotik, bei autonomen Fahrzeugen, in der industriellen Automatisierung und in anderen Anwendungen eingesetzt, bei denen die KI-Inferenz lokal mit geringer Latenz und hoher Effizienz durchgeführt werden muss. Darüber hinaus basieren diese Platinen auf der ARM64-Architektur und arbeiten im Vergleich zu herkömmlichen GPU-Computing-Geräten mit geringerem Stromverbrauch.

Vergleich der NVIDIA Jetson-Serie#

NVIDIA Jetson AGX Thor ist die neueste Iteration der NVIDIA Jetson-Familie basierend auf der NVIDIA Blackwell-Architektur, die im Vergleich zu den vorherigen Generationen eine drastisch verbesserte KI-Leistung bietet. Die folgende Tabelle vergleicht einige der Jetson-Geräte im Ökosystem.

Eine detailliertere Vergleichstabelle findest du im Abschnitt Compare Specifications auf der offiziellen NVIDIA Jetson-Seite.

Was ist NVIDIA JetPack?#

Das NVIDIA JetPack SDK, das die Jetson-Module antreibt, ist die umfassendste Lösung und bietet eine vollständige Entwicklungsumgebung für die Erstellung von durchgängig beschleunigten KI-Anwendungen und verkürzt die Time-to-Market. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu Desktop-Umgebung und einen vollständigen Satz von Bibliotheken zur Beschleunigung von GPU-Computing, Multimedia, Grafik und Computer Vision. Es enthält außerdem Beispiele, Dokumentationen und Entwicklertools sowohl für den Host-Computer als auch für das Developer Kit und unterstützt übergeordnete SDKs wie DeepStream für Streaming-Videoanalysen, Isaac für Robotik und Riva für konversatorische KI.

JetPack auf NVIDIA Jetson flashen#

Der erste Schritt, nachdem du ein NVIDIA Jetson-Gerät erhalten hast, ist das Flashen von NVIDIA JetPack auf das Gerät. Es gibt verschiedene Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.

1. Lade für JetPack 7.2 auf einem offiziellen Jetson AGX Thor-, AGX Orin- oder Orin Nano Developer Kit das einheitliche Jetson-ISO herunter, schreibe es auf ein USB-Flash-Laufwerk und folge der gerätespezifischen Schnellstartanleitung für AGX Thor, AGX Orin oder Orin Nano. Seit JetPack 7.2 verwendet der Orin Nano kein herunterladbares SD-Karten-Image mehr; die ISO-USB-Installation installiert Jetson Linux auf der microSD-Karte oder der NVMe-SSD des Geräts.
2. Wenn du absichtlich JetPack 6 auf einem Jetson Orin Nano Developer Kit verwendest, befolge die Aktualisierungs- und SD-Kartenanweisungen für JetPack 6.x von NVIDIA.
3. Wenn du ein anderes NVIDIA Development Kit besitzt, kannst du JetPack mit dem SDK Manager auf das Gerät flashen.
4. Wenn du ein Seeed Studio reComputer J4012-Gerät besitzt, kannst du JetPack auf die mitgelieferte SSD flashen, und wenn du ein Seeed Studio reComputer J1020 v2-Gerät besitzt, kannst du JetPack auf den eMMC/die SSD flashen.
5. Wenn du ein anderes Drittanbietergerät besitzt, das von dem NVIDIA Jetson-Modul angetrieben wird, wird empfohlen, dem Befehlszeilen-Flashen zu folgen.

JetPack-Unterstützung basierend auf Jetson-Gerät#

Die folgende Tabelle hebt die NVIDIA JetPack-Versionen hervor, die von verschiedenen NVIDIA Jetson-Geräten unterstützt werden.

Schnellstart mit Docker#

Der schnellste Weg, mit Ultralytics YOLO26 auf NVIDIA Jetson zu beginnen, ist die Nutzung vorgefertigter Docker-Images für Jetson. Siehe die obige Tabelle und wähle die JetPack-Version entsprechend dem Jetson-Gerät, das du besitzt.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Springe danach zum Abschnitt Use TensorRT on NVIDIA Jetson.

Start mit nativer Installation#

Für eine native Installation ohne Docker befolge bitte die folgenden Schritte.

Ausführen auf JetPack 7.2#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson mit optionalen Abhängigkeiten, damit wir die PyTorch-Modelle in andere verschiedene Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT-Exporte konzentrieren, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installiere das ultralytics-pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die oben genannte Ultralytics Installation installiert Torch und Torchvision. Diese beiden per pip installierten Pakete sind jedoch nicht mit Geräten kompatibel, die unter JetPack 7.2 mit CUDA 13 laufen. Daher müssen wir sie manuell installieren.

Installiere torch und torchvision entsprechend JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Installiere onnxruntime-gpu#

Das in PyPI gehostete onnxruntime-gpu-Paket enthält keine aarch64-Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Hier laden wir onnxruntime-gpu 1.24.0 herunter und installieren es mit Python3.12-Unterstützung.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Ausführen unter JetPack 6.1#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson mit optionalen Abhängigkeiten, damit wir die PyTorch-Modelle in andere verschiedene Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT-Exporte konzentrieren, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installiere das ultralytics-pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die obige Ultralytics-Installation installiert Torch und Torchvision. Da diese beiden Pakete jedoch über pip installiert werden, sind sie nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Daher müssen wir manuell ein vorkompiliertes PyTorch-Pip-Wheel installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

Installiere torch 2.10.0 und torchvision 0.25.0 entsprechend JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Installiere cuDSS, um ein Abhängigkeitsproblem mit torch 2.10.0 zu beheben

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Installiere onnxruntime-gpu#

Das in PyPI gehostete onnxruntime-gpu-Paket enthält keine aarch64-Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle verfügbaren onnxruntime-gpu-Pakete – organisiert nach JetPack-Version, Python-Version und anderen Kompatibilitätsdetails – findest du in der Kompatibilitätsmatrix für Jetson Zoo ONNX Runtime.

Für JetPack 6 mit Python 3.10-Unterstützung kannst du onnxruntime-gpu 1.23.0 installieren:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternativ für onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Ausführen unter JetPack 5.1.2#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson mit optionalen Abhängigkeiten, damit wir die PyTorch-Modelle in andere verschiedene Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT-Exporte konzentrieren, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installiere das ultralytics-pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die obige Ultralytics-Installation installiert Torch und Torchvision. Da diese beiden Pakete jedoch über pip installiert werden, sind sie nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Daher müssen wir manuell ein vorkompiliertes PyTorch-Pip-Wheel installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

1. Deinstalliere das aktuell installierte PyTorch und Torchvision

   pip uninstall torch torchvision

2. Installiere torch 2.1.0 und torchvision 0.16.2 entsprechend JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Installiere onnxruntime-gpu#

Das in PyPI gehostete onnxruntime-gpu-Paket enthält keine aarch64-Binärdateien für den Jetson. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Alle verfügbaren onnxruntime-gpu-Pakete – organisiert nach JetPack-Version, Python-Version und anderen Kompatibilitätsdetails – findest du in der Kompatibilitätsmatrix für Jetson Zoo ONNX Runtime. Hier laden wir onnxruntime-gpu 1.17.0 herunter und installieren es mit Python3.8-Unterstützung.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

TensorRT auf NVIDIA Jetson nutzen#

Unter allen von Ultralytics unterstützten Modellexportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA Jetson-Geräten, weshalb es unsere Top-Empfehlung für Jetson-Bereitstellungen ist. Installationsanweisungen und fortgeschrittene Nutzung findest du in unserem dedizierten TensorRT-Integrationsleitfaden.

Du kannst auch direkt vom Browser aus exportieren, ohne die Build-Umgebung lokal zu konfigurieren. Wähle im Modell-Export-Tab der Ultralytics Platform TensorRT und das gewünschte Jetson-Ziel aus. Thor-Auswahlmöglichkeiten werden auf physischer Thor-Hardware validiert. Die sechs Orin-Auswahlmöglichkeiten erzeugen derzeit auf AGX-Orin erstellte Kandidaten-Engines; validiere sie vor der Bereitstellung auf der vorgesehenen Orin-SKU.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um die Inferenz mit dem exportierten Modell auszuführen.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Deep Learning Accelerator (DLA) nutzen#

Der NVIDIA Deep Learning Accelerator (DLA) ist eine in NVIDIA Jetson-Geräte integrierte Spezialhardwarekomponente, die die Deep-Learning-Inferenz im Hinblick auf Energieeffizienz und Leistung optimiert. Durch das Entlasten der GPU (wodurch diese für intensivere Prozesse frei wird) ermöglicht DLA die Ausführung von Modellen bei geringerem Stromverbrauch und gleichbleibend hohem Durchsatz, was ideal für eingebettete Systeme und KI-Echtzeitanwendungen ist.

Die folgenden Jetson-Geräte sind mit DLA-Hardware ausgestattet:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO11/ YOLO26 Benchmarks#

YOLO11-/YOLO26-Benchmarks wurden vom Ultralytics-Team an 11 verschiedenen Modellformaten zur Messung von Geschwindigkeit und Genauigkeit durchgeführt: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Die Benchmarks wurden auf dem NVIDIA Jetson AGX Thor Developer Kit, dem NVIDIA Jetson AGX Orin Developer Kit (64GB), dem NVIDIA Jetson Orin Nano Super Developer Kit und dem Seeed Studio reComputer J4012 (betrieben mit einem Jetson Orin NX 16GB-Gerät) bei FP32-Präzision mit einer Standard-Eingabebildgröße von 640 ausgeführt.

Vergleichsdiagramme#

Obwohl alle Modellexporte auf NVIDIA Jetson funktionieren, haben wir für die untenstehende Vergleichstabelle nur PyTorch, TorchScript, TensorRT aufgenommen, da diese die GPU des Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exporte nutzen nur die CPU, und die Leistung ist nicht so gut wie bei den obigen drei. Du findest Benchmarks für alle Exporte im Abschnitt nach dieser Tabelle.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Detaillierte Vergleichstabellen#

Die folgende Tabelle stellt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) über 11 verschiedene Formate (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) dar und zeigt Status, Größe, mAP50-95(B)-Metrik und Inferenzzeit für jede Kombination.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Entdecke weitere Benchmarking-Aktivitäten von Seeed Studio, die auf verschiedenen Versionen der NVIDIA Jetson-Hardware ausgeführt werden.

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Exportformate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Best Practices bei der Verwendung von NVIDIA Jetson#

Wenn du NVIDIA Jetson verwendest, gibt es ein paar Best Practices, die du befolgen solltest, um die maximale Leistung auf dem NVIDIA Jetson mit YOLO26 zu erzielen.

1. MAX Power Mode aktivieren

   Die Aktivierung des MAX Power Mode auf dem Jetson stellt sicher, dass alle CPU- und GPU-Kerne eingeschaltet sind.

   sudo nvpmodel -m 0

2. Jetson Clocks aktivieren

   Die Aktivierung von Jetson Clocks stellt sicher, dass alle CPU- und GPU-Kerne mit ihrer maximalen Frequenz getaktet werden.

   sudo jetson_clocks

3. Jetson Stats-Anwendung installieren

   Wir können die jetson stats-Anwendung verwenden, um die Temperaturen der Systemkomponenten zu überwachen und andere Systemdetails zu prüfen, wie z. B. die CPU-, GPU- und RAM-Auslastung anzeigen, Leistungsmodi ändern, maximale Taktfrequenzen einstellen und JetPack-Informationen abrufen.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Tipps zur Speicheroptimierung für NVIDIA Jetson#

Der verfügbare Speicher ist auf Jetson-Geräten häufig der limitierende Faktor, insbesondere bei Varianten mit geringerem Speicher wie dem Jetson Orin Nano (8 GB) oder Orin NX 8 GB. Die folgenden Tipps sind praktische, risikoarme Änderungen, die gemeinsam mehrere Hundert Megabyte freigeben können, sodass du größere YOLO-Modelle ausführen oder zusätzliche parallele Arbeitslasten unterstützen kannst. Eine umfassende Behandlung findest du im NVIDIA-Blog zur Maximierung der Speichereffizienz auf Jetson.

Wechsel zum Headless-Boot (ohne GUI)#

Wenn dein Jetson über SSH verbunden ist oder als Produktionsgerät ohne angeschlossenes Display läuft, kann das Entfernen der Desktop-Umgebung und des Display-Servers bis zu 865 MB RAM einsparen:

sudo systemctl set-default multi-user.target
sudo reboot

Um den Desktop später wiederherzustellen:

sudo systemctl set-default graphical.target
sudo reboot

Ungenutzte Systemdienste deaktivieren#

Nicht unbedingt erforderliche Hintergrunddienste (Bluetooth, Konnektivitätsmanager, ungenutzte Hardware-Daemons) verbrauchen zusammen etwa 32 MB. Liste die aktiven Dienste auf und deaktiviere alles, was für deinen Einsatzbereich nicht erforderlich ist:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

Speichernutzung analysieren#

Ermittle vor der Optimierung, welche Prozesse tatsächlich Arbeitsspeicher verbrauchen. procrank sortiert Prozesse nach PSS (Proportional Set Size), was den tatsächlichen Speicherbedarf pro Prozess genauer widerspiegelt als RSS (Resident Set Size, die Gesamtmenge der physischen RAM-Seiten, die von einem Prozess abgebildet werden, einschließlich der mit anderen Prozessen gemeinsam genutzten Seiten):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Um GPU- und NvMap-Zuweisungen (CUDA/Video-Pipeline) pro Prozess zu sehen:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

Inferenz in der Produktion ohne Display ausführen#

Bei Inferenz-Pipelines ohne Live-Vorschau-Anforderung können durch das Deaktivieren von anzeigebezogenen Komponenten (Tiler, OSD, DisplaySink) allein 200+ MB eingespart werden. Unterdrücke bei Ultralytics YOLO die Anzeige und schreibe die Ergebnisse stattdessen auf die Festplatte:

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Kumulative Auswirkung#

Die Kombination dieser Änderungen ist besonders wertvoll, wenn du TensorRT INT8-Modelle auf speicherbegrenzten Geräten einsetzt – es kann den Unterschied ausmachen, ob eine größere Modellvariante in den Speicher passt oder nicht.

Nächste Schritte#

Für weiteres Lernen und Support siehe die Ultralytics YOLO26 Docs.

FAQ#