Schnellstartanleitung: NVIDIA Jetson mit Ultralytics YOLO26#

Diese umfassende Anleitung führt dich detailliert durch die Bereitstellung von Ultralytics YOLO26 auf NVIDIA Jetson-Geräten. Zusätzlich zeigt sie Leistungsbenchmarks, um die Fähigkeiten von YOLO26 auf diesen kleinen und leistungsstarken Geräten zu veranschaulichen.

Was ist NVIDIA Jetson?#

NVIDIA Jetson ist eine Reihe eingebetteter Rechnerplatinen, die beschleunigte AI (künstliche Intelligenz) auf Edge-Geräte bringen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU-Architektur von NVIDIA und können komplexe AI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät ausführen, ohne auf Ressourcen aus der Cloud angewiesen zu sein. Jetson-Platinen werden häufig in der Robotik, autonomen Fahrzeugen, industriellen Automatisierung und anderen Anwendungen eingesetzt, in denen die AI-Inferenz lokal mit geringer Latenz und hoher Effizienz ausgeführt werden muss. Außerdem basieren diese Platinen auf der ARM64-Architektur und arbeiten mit einer geringeren Leistungsaufnahme als herkömmliche GPU-Rechner.

Vergleich der NVIDIA Jetson-Serie#

NVIDIA Jetson AGX Thor ist die neueste Generation der NVIDIA Jetson-Familie und basiert auf der NVIDIA Blackwell-Architektur, die im Vergleich zu den vorherigen Generationen eine deutlich höhere AI-Leistung bietet. Die folgende Tabelle vergleicht einige Jetson-Geräte aus diesem Ökosystem.

Eine ausführlichere Vergleichstabelle findest du im Abschnitt Compare Specifications auf der offiziellen NVIDIA Jetson-Seite.

Was ist NVIDIA JetPack?#

Das NVIDIA JetPack SDK, das die Jetson-Module betreibt, ist eine umfassende Lösung und stellt eine vollständige Entwicklungsumgebung zum Erstellen durchgängig beschleunigter AI-Anwendungen bereit. Dadurch verkürzt sich die Markteinführungszeit. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktopumgebung und eine vollständige Bibliothekssammlung zur Beschleunigung von GPU-Berechnungen, Multimedia, Grafik und Computer Vision. Außerdem enthält es Beispiele, Dokumentation und Entwicklerwerkzeuge sowohl für den Hostcomputer als auch für das Entwicklerkit und unterstützt übergeordnete SDKs wie DeepStream für die Analyse von Videoströmen, Isaac für die Robotik und Riva für konversationelle AI.

JetPack auf NVIDIA Jetson flashen#

Der erste Schritt nach dem Erwerb eines NVIDIA Jetson-Geräts besteht darin, NVIDIA JetPack auf das Gerät zu flashen. Es gibt mehrere Möglichkeiten, NVIDIA Jetson-Geräte zu flashen.

1. Für JetPack 7.2 auf einem offiziellen Jetson AGX Thor, AGX Orin oder Orin Nano Developer Kit lädst du die einheitliche Jetson-ISO herunter, schreibst sie auf ein USB-Flashlaufwerk und folgst der gerätespezifischen Schnellstartanleitung für AGX Thor, AGX Orin oder Orin Nano. Ab JetPack 7.2 verwendet Orin Nano kein herunterladbares SD-Karten-Image mehr. Die ISO-Installation über USB installiert Jetson Linux auf der microSD-Karte oder NVMe-SSD des Geräts.
2. Wenn du JetPack 6 absichtlich auf einem Jetson Orin Nano Developer Kit verwendest, folge den Anweisungen von NVIDIA zur Aktualisierung und SD-Karte für JetPack 6.x.
3. Wenn du ein anderes NVIDIA Development Kit besitzt, kannst du JetPack mithilfe des SDK Managers auf das Gerät flashen.
4. Wenn du ein Seeed Studio reComputer J4012-Gerät besitzt, kannst du JetPack auf die enthaltene SSD flashen. Wenn du ein Seeed Studio reComputer J1020 v2-Gerät besitzt, kannst du JetPack auf den eMMC-/SSD-Speicher flashen.
5. Wenn du ein anderes Gerät eines Drittanbieters besitzt, das auf dem NVIDIA Jetson-Modul basiert, wird empfohlen, dem Flashen über die Befehlszeile zu folgen.

JetPack-Unterstützung nach Jetson-Gerät#

Die folgende Tabelle zeigt, welche NVIDIA JetPack-Versionen von den verschiedenen NVIDIA Jetson-Geräten unterstützt werden.

Schnellstart mit Docker#

Am schnellsten startest du mit Ultralytics YOLO26 auf NVIDIA Jetson, indem du vorgefertigte Docker-Images für Jetson ausführst. Sieh dir die obige Tabelle an und wähle die JetPack-Version entsprechend dem Jetson-Gerät aus, das du besitzt.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Für JetPack 4, 5 und 6 Images fahre fort mit TensorRT auf NVIDIA Jetson verwenden. Das JetPack 7.1 Image oben ist nur für PyTorch Workloads bestimmt.

Mit der nativen Installation beginnen#

Für eine native Installation ohne Docker folgst du den unten beschriebenen Schritten.

Auf JetPack 7.2 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson. Abhängigkeiten für den Export werden beim ersten Export eines Modells automatisch installiert, daher wird hier nur das Basispaket benötigt. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics-Paket mit pip installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die oben beschriebene Ultralytics-Installation installiert Torch und Torchvision. Diese beiden über pip installierten Pakete sind jedoch nicht mit JetPack-7.2-Geräten und CUDA 13 kompatibel. Daher müssen wir sie manuell installieren.

torch und torchvision entsprechend JP7.2 installieren

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpu installieren#

Verwende ein ONNX Runtime GPU Wheel, das zu deinen JetPack, Python und CUDA Versionen passt. Aktuelle PyPI Releases enthalten ARM64 Wheels, aber sie ersetzen nicht die gerätespezifischen Pakete für jede JetPack Version.

Hier laden wir onnxruntime-gpu 1.24.0 mit Unterstützung für Python3.12 herunter und installieren es.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Auf JetPack 6.1 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson. Abhängigkeiten für den Export werden beim ersten Export eines Modells automatisch installiert, daher wird hier nur das Basispaket benötigt. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics-Paket mit pip installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die oben beschriebene Ultralytics-Installation installiert Torch und Torchvision. Diese beiden über pip installierten Pakete sind jedoch nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Daher müssen wir ein vorgefertigtes PyTorch-pip-Wheel manuell installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

torch 2.10.0 und torchvision 0.25.0 entsprechend JP6.1 installieren

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

cuDSS installieren, um ein Abhängigkeitsproblem mit torch 2.10.0 zu beheben

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpu installieren#

Verwende ein ONNX Runtime GPU Wheel, das zu deinen JetPack, Python und CUDA Versionen passt. Aktuelle PyPI Releases enthalten ARM64 Wheels, aber sie ersetzen nicht die gerätespezifischen Pakete für jede JetPack Version.

Alle verfügbaren onnxruntime-gpu-Pakete findest du nach JetPack-Version, Python-Version und weiteren Kompatibilitätsdetails geordnet in der Kompatibilitätsmatrix für ONNX Runtime im Jetson Zoo.

Für JetPack 6 mit Unterstützung für Python 3.10 kannst du onnxruntime-gpu 1.23.0 installieren:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternativ für onnxruntime-gpu 1.20.0:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Auf JetPack 5.1.2 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf dem Jetson. Abhängigkeiten für den Export werden beim ersten Export eines Modells automatisch installiert, daher wird hier nur das Basispaket benötigt. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT sicherstellt, dass wir die maximale Leistung aus den Jetson-Geräten herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics-Paket mit pip installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Die oben beschriebene Ultralytics-Installation installiert Torch und Torchvision. Diese beiden über pip installierten Pakete sind jedoch nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Daher müssen wir ein vorgefertigtes PyTorch-pip-Wheel manuell installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

1. Derzeit installierte Versionen von PyTorch und Torchvision deinstallieren

   pip uninstall torch torchvision

2. torch 2.1.0 und torchvision 0.16.2 entsprechend JP5.1.2 installieren

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpu installieren#

Verwende ein ONNX Runtime GPU Wheel, das zu deinen JetPack, Python und CUDA Versionen passt. Aktuelle PyPI Releases enthalten ARM64 Wheels, aber sie ersetzen nicht die gerätespezifischen Pakete für jede JetPack Version.

Alle verfügbaren onnxruntime-gpu-Pakete findest du nach JetPack-Version, Python-Version und weiteren Kompatibilitätsdetails geordnet in der Kompatibilitätsmatrix für ONNX Runtime im Jetson Zoo. Hier laden wir onnxruntime-gpu 1.17.0 mit Unterstützung für Python3.8 herunter und installieren es.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

TensorRT auf NVIDIA Jetson verwenden#

Unter allen von Ultralytics unterstützten Modellexportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA Jetson Geräten, was es zu unserer Top Empfehlung für Jetson Deployments macht. Installiere vor dem Export die für deine JetPack Version bereitgestellten TensorRT Python Bindings und verifiziere sie mit python3 -c "import tensorrt; print(tensorrt.__version__)". Behalte die unterstützte TensorRT 10.x Laufzeit auf JetPack 6/7 bei; ersetze sie nicht durch TensorRT 11.2.1. Siehe für Setup Anleitungen und erweiterte Nutzung unseren speziellen TensorRT Integrationsleitfaden.

Du kannst auch über den Browser exportieren, ohne die Build-Umgebung lokal zu konfigurieren. Wähle im Modell-Export-Tab der Ultralytics Platform TensorRT und das gewünschte Jetson-Ziel aus. Thor-Auswahlen werden auf echter Thor-Hardware validiert. Die sechs Orin-Auswahlen erzeugen derzeit Kandidaten-Engines, die auf AGX Orin erstellt wurden. Validiere sie daher vor der Bereitstellung auf dem vorgesehenen Orin-SKU.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um die Inferenz mit dem exportierten Modell auszuführen.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Deep Learning Accelerator (DLA) verwenden#

Der NVIDIA Deep Learning Accelerator (DLA) ist eine spezialisierte Hardwarekomponente in NVIDIA Jetson-Geräten, die die Inferenz beim Deep Learning im Hinblick auf Energieeffizienz und Leistung optimiert. Durch die Auslagerung von Aufgaben von der GPU, wodurch diese für anspruchsvollere Prozesse frei bleibt, ermöglicht DLA die Ausführung von Modellen mit geringerem Energieverbrauch bei gleichzeitig hohem Durchsatz – ideal für eingebettete Systeme und KI-Anwendungen in Echtzeit.

Die folgenden Jetson-Geräte verfügen über DLA-Hardware:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO26 Benchmarks#

YOLO26 benchmarks were run by the Ultralytics team on 11 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Benchmarks were run on NVIDIA Jetson AGX Thor Developer Kit, NVIDIA Jetson AGX Orin Developer Kit (64GB), NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Vergleichsdiagramme#

Obwohl alle Modelleexporte auf NVIDIA Jetson funktionieren, haben wir für das folgende Vergleichsdiagramm nur PyTorch, TorchScript, TensorRT aufgenommen, da sie die GPU des Jetson nutzen und nachweislich die besten Ergebnisse liefern. Alle anderen Exporte verwenden ausschließlich die CPU und erreichen nicht die Leistung der drei genannten Formate. Benchmarks für alle Exporte findest du im Abschnitt nach diesem Diagramm.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Detaillierte Vergleichstabellen#

The below table represents the benchmark results for five different models (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) across 11 different formats (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), giving us the status, size, mAP50-95(B) metric, and inference time for each combination.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Weitere Benchmarking-Aktivitäten von Seeed Studio entdecken, die auf verschiedenen Versionen der NVIDIA-Jetson-Hardware ausgeführt wurden.

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Bewährte Vorgehensweisen bei der Verwendung von NVIDIA Jetson#

Bei der Verwendung von NVIDIA Jetson solltest du einige bewährte Vorgehensweisen beachten, um eine maximale Leistung auf dem NVIDIA Jetson bei der Ausführung von YOLO26 zu ermöglichen.

1. MAX Power Mode aktivieren

   Durch die Aktivierung des MAX Power Mode auf dem Jetson stellst du sicher, dass alle CPU- und GPU-Kerne eingeschaltet sind.

   sudo nvpmodel -m 0

2. Jetson Clocks aktivieren

   Durch die Aktivierung von Jetson Clocks stellst du sicher, dass alle CPU- und GPU-Kerne mit ihrer maximalen Frequenz getaktet werden.

   sudo jetson_clocks

3. Jetson Stats installieren

   Mit der Anwendung Jetson Stats kannst du die Temperaturen der Systemkomponenten überwachen und weitere Systemdetails prüfen, etwa die Auslastung von CPU, GPU und RAM anzeigen, Energiemodi ändern, maximale Taktfrequenzen festlegen und JetPack-Informationen prüfen.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Tipps zur Speicheroptimierung für NVIDIA Jetson#

Der verfügbare Speicher ist auf Jetson-Geräten oft der begrenzende Faktor, insbesondere bei Varianten mit weniger Speicher wie dem Jetson Orin Nano (8 GB) oder dem Orin NX 8 GB. Die folgenden Tipps sind praktische, risikoarme Änderungen, die zusammen mehrere hundert Megabyte freigeben und dir die Ausführung größerer YOLO-Modelle oder zusätzlicher paralleler Arbeitslasten ermöglichen können. Eine umfassende Behandlung findest du im NVIDIA-Blog zur Maximierung der Speichereffizienz auf Jetson.

1. Auf einen Headless-Start (ohne GUI) umstellen#

Wenn dein Jetson über SSH verbunden ist oder als Produktionsgerät ohne angeschlossenes Display ausgeführt wird, kannst du durch das Entfernen der Desktop-Umgebung und des Display-Servers bis zu 865 MB RAM freigeben:

sudo systemctl set-default multi-user.target
sudo reboot

So stellst du die Desktop-Umgebung später wieder her:

sudo systemctl set-default graphical.target
sudo reboot

2. Nicht verwendete Systemdienste deaktivieren#

Nicht unbedingt erforderliche Hintergrunddienste (Bluetooth, Verbindungsmanager, nicht verwendete Hardware-Daemons) belegen zusammen etwa 32 MB. Liste die aktiven Dienste auf und deaktiviere alles, was deine Bereitstellung nicht benötigt:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Speichernutzung analysieren#

Bevor du optimierst, ermittle, welche Prozesse tatsächlich RAM verbrauchen. procrank sortiert Prozesse nach PSS (anteilige Speichermenge), wodurch der tatsächliche Speicherbedarf pro Prozess genauer als bei RSS (residenter Speicherbereich, die Gesamtzahl der physischen RAM-Seiten, die von einem Prozess eingebunden werden, einschließlich der mit anderen Prozessen gemeinsam genutzten Seiten) dargestellt wird:

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

So kannst du GPU- und NvMap-Zuweisungen (CUDA-/Videopipeline) pro Prozess anzeigen:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Inferenz in der Produktion ohne Display ausführen#

Bei Inferenzpipelines ohne Anforderung einer Live-Vorschau können durch die Deaktivierung von Display-Komponenten (Tiler, OSD, DisplaySink) allein in der Pipeline 200+ MB eingespart werden. Unter Ultralytics YOLO kannst du die Anzeige unterdrücken und die Ergebnisse stattdessen auf dem Datenträger speichern:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Kumulative Auswirkung#

Die Kombination dieser Änderungen ist besonders wertvoll, wenn du TensorRT-INT8-Modelle auf Geräten mit begrenztem Speicher einsetzen möchtest – sie kann den Unterschied ausmachen, ob eine größere Modellvariante in den Speicher passt oder nicht.

Nächste Schritte#

Weitere Informationen und Support findest du in der Ultralytics YOLO26-Dokumentation.

FAQ#