Schnellstartanleitung: NVIDIA Jetson mit Ultralytics YOLO26#

Diese umfassende Anleitung führt dich ausführlich durch die Bereitstellung von Ultralytics YOLO26 auf NVIDIA Jetson-Geräten. Außerdem enthält sie Leistungsbenchmarks, die die Möglichkeiten von YOLO26 auf diesen kleinen und leistungsstarken Geräten veranschaulichen.

Was ist NVIDIA Jetson?#

NVIDIA Jetson ist eine Reihe eingebetteter Computerplatinen, die beschleunigte KI (künstliche Intelligenz) auf Edge-Geräten ermöglichen. Diese kompakten und leistungsstarken Geräte basieren auf der GPU-Architektur von NVIDIA und können komplexe KI-Algorithmen und Deep-Learning-Modelle direkt auf dem Gerät ausführen, ohne auf Ressourcen aus der Cloud angewiesen zu sein. Jetson-Platinen kommen häufig in der Robotik, in autonomen Fahrzeugen, in der industriellen Automatisierung und in anderen Anwendungsbereichen zum Einsatz, in denen KI-Inferenz lokal mit geringer Latenz und hoher Effizienz ausgeführt werden muss. Außerdem basieren diese Platinen auf der ARM64-Architektur und verbrauchen weniger Strom als herkömmliche GPU-Computersysteme.

Vergleich der NVIDIA Jetson-Serie#

NVIDIA Jetson AGX Thor ist die neueste Generation der NVIDIA Jetson-Familie. Sie basiert auf der NVIDIA-Blackwell-Architektur und bietet im Vergleich zu den vorherigen Generationen eine deutlich höhere KI-Leistung. Die folgende Tabelle vergleicht einige Jetson-Geräte aus diesem Ökosystem.

Eine ausführlichere Vergleichstabelle findest du im Abschnitt Technische Daten vergleichen auf der offiziellen NVIDIA Jetson-Seite.

Was ist NVIDIA JetPack?#

Das NVIDIA JetPack SDK, auf dem die Jetson-Module basieren, ist die umfassendste Lösung. Es bietet eine vollständige Entwicklungsumgebung zum Erstellen durchgängig beschleunigter KI-Anwendungen und verkürzt die Zeit bis zur Markteinführung. JetPack umfasst Jetson Linux mit Bootloader, Linux-Kernel, Ubuntu-Desktopumgebung und eine vollständige Bibliothekssammlung zur Beschleunigung von GPU-Berechnungen, Multimedia, Grafik und Computer Vision. Darüber hinaus enthält JetPack Beispiele, Dokumentation und Entwicklertools für den Hostcomputer und das Entwicklerkit und unterstützt übergeordnete SDKs wie DeepStream für Streaming-Videoanalysen, Isaac für Robotik und Riva für dialogbasierte KI.

JetPack auf NVIDIA Jetson flashen#

Der erste Schritt nach dem Erhalt eines NVIDIA Jetson-Geräts ist, NVIDIA JetPack auf das Gerät zu flashen. Dafür gibt es mehrere Möglichkeiten.

1. Lade für JetPack 7.2 auf einem offiziellen Jetson AGX Thor, AGX Orin oder Orin Nano Developer Kit die vereinheitlichte Jetson-ISO herunter, schreibe sie auf einen USB-Stick und folge der gerätespezifischen Schnellstartanleitung für AGX Thor, AGX Orin oder Orin Nano. Ab JetPack 7.2 gibt es für Orin Nano kein herunterladbares SD-Kartenabbild mehr. Die Installation über die ISO auf dem USB-Stick installiert Jetson Linux auf der microSD-Karte oder NVMe-SSD des Geräts.
2. Wenn du absichtlich JetPack 6 auf einem Jetson Orin Nano Developer Kit verwendest, folge den Anweisungen von NVIDIA zu JetPack 6.x-Updates und SD-Karten.
3. Wenn du ein anderes NVIDIA Developer Kit besitzt, kannst du JetPack mit dem SDK Manager auf das Gerät flashen.
4. Wenn du ein Seeed Studio reComputer J4012 besitzt, kannst du JetPack auf die mitgelieferte SSD flashen. Wenn du ein Seeed Studio reComputer J1020 v2 besitzt, kannst du JetPack auf den eMMC-/SSD-Speicher flashen.
5. Wenn du ein anderes Gerät eines Drittanbieters besitzt, das mit dem NVIDIA Jetson-Modul ausgestattet ist, empfehlen wir, über die Befehlszeile zu flashen.

JetPack-Unterstützung nach Jetson-Gerät#

Die folgende Tabelle zeigt, welche JetPack-Versionen von den verschiedenen NVIDIA Jetson-Geräten unterstützt werden.

Schnellstart mit Docker#

Am schnellsten startest du mit Ultralytics YOLO26 auf NVIDIA Jetson, indem du die vorgefertigten Docker-Images für Jetson verwendest. Sieh dir die obige Tabelle an und wähle die JetPack-Version für dein Jetson-Gerät aus.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Für Images mit JetPack 4, 5 und 6 lies weiter unter TensorRT auf NVIDIA Jetson verwenden. Das obige Image für JetPack 7.1 ist ausschließlich für PyTorch-Workloads vorgesehen.

Mit der nativen Installation beginnen#

Eine native Installation ohne Docker wird in den folgenden Schritten beschrieben.

Unter JetPack 7.2 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf Jetson. Abhängigkeiten für den Export werden automatisch beim ersten Export eines Modells installiert. Daher benötigen wir hier nur das Basispaket. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT dafür sorgt, dass wir die maximale Leistung der Jetson-Geräte erzielen.

1. Paketlisten aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Das pip-Paket ultralytics installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der oben beschriebenen Ultralytics-Installation werden Torch und Torchvision installiert. Diese beiden über pip installierten Pakete sind jedoch nicht mit JetPack-7.2-Geräten mit CUDA 13 kompatibel. Deshalb müssen wir sie manuell installieren.

torch und torchvision entsprechend JP7.2 installieren

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

onnxruntime-gpu installieren#

Verwende ein ONNX-Runtime-GPU-Wheel, das zu deinen JetPack-, Python- und CUDA-Versionen passt. Aktuelle PyPI-Versionen enthalten ARM64-Wheels, diese ersetzen jedoch nicht die gerätespezifischen Pakete für jede JetPack-Version.

Hier laden wir onnxruntime-gpu 1.24.0 mit Unterstützung für Python3.12 herunter und installieren es.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Unter JetPack 6.1 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf Jetson. Abhängigkeiten für den Export werden automatisch beim ersten Export eines Modells installiert. Daher benötigen wir hier nur das Basispaket. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT dafür sorgt, dass wir die maximale Leistung der Jetson-Geräte erzielen.

1. Paketlisten aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Das pip-Paket ultralytics installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der oben beschriebenen Ultralytics-Installation werden Torch und Torchvision installiert. Diese beiden über pip installierten Pakete sind jedoch nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Deshalb müssen wir manuell ein vorgefertigtes PyTorch-pip-Wheel installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

torch 2.10.0 und torchvision 0.25.0 entsprechend JP6.1 installieren

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Installiere cuDSS, um ein Abhängigkeitsproblem mit torch 2.10.0 zu beheben

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

onnxruntime-gpu installieren#

Verwende ein ONNX-Runtime-GPU-Wheel, das zu deinen JetPack-, Python- und CUDA-Versionen passt. Aktuelle PyPI-Versionen enthalten ARM64-Wheels, diese ersetzen jedoch nicht die gerätespezifischen Pakete für jede JetPack-Version.

Alle verfügbaren onnxruntime-gpu-Pakete findest du – geordnet nach JetPack-Version, Python-Version und weiteren Kompatibilitätsdetails – in der Jetson-Zoo-Kompatibilitätsmatrix für ONNX Runtime.

Für JetPack 6 mit Unterstützung für Python 3.10 kannst du onnxruntime-gpu 1.23.0 installieren:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternativ kannst du für onnxruntime-gpu 1.20.0 Folgendes installieren:

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Unter JetPack 5.1.2 ausführen#

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf Jetson. Abhängigkeiten für den Export werden automatisch beim ersten Export eines Modells installiert. Daher benötigen wir hier nur das Basispaket. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT dafür sorgt, dass wir die maximale Leistung der Jetson-Geräte erzielen.

1. Paketlisten aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Das pip-Paket ultralytics installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der oben beschriebenen Ultralytics-Installation werden Torch und Torchvision installiert. Diese beiden über pip installierten Pakete sind jedoch nicht mit der Jetson-Plattform kompatibel, die auf der ARM64-Architektur basiert. Deshalb müssen wir manuell ein vorgefertigtes PyTorch-pip-Wheel installieren und Torchvision aus dem Quellcode kompilieren oder installieren.

1. Derzeit installierte PyTorch- und Torchvision-Versionen deinstallieren

   pip uninstall torch torchvision

2. torch 2.1.0 und torchvision 0.16.2 entsprechend JP5.1.2 installieren

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

onnxruntime-gpu installieren#

Verwende ein ONNX-Runtime-GPU-Wheel, das zu deinen JetPack-, Python- und CUDA-Versionen passt. Aktuelle PyPI-Versionen enthalten ARM64-Wheels, diese ersetzen jedoch nicht die gerätespezifischen Pakete für jede JetPack-Version.

Alle verfügbaren onnxruntime-gpu-Pakete findest du – geordnet nach JetPack-Version, Python-Version und weiteren Kompatibilitätsdetails – in der Jetson-Zoo-Kompatibilitätsmatrix für ONNX Runtime. Hier laden wir onnxruntime-gpu 1.17.0 mit Unterstützung für Python3.8 herunter und installieren es.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

TensorRT auf NVIDIA Jetson verwenden#

Von allen von Ultralytics unterstützten Exportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA Jetson-Geräten und ist daher unsere erste Empfehlung für Jetson-Bereitstellungen. Installiere vor dem Export die für deine JetPack-Version bereitgestellten TensorRT-Python-Bindings und überprüfe sie mit python3 -c "import tensorrt; print(tensorrt.__version__)". Verwende die unterstützte TensorRT-10.x-Laufzeitumgebung unter JetPack 6/7 und ersetze sie nicht durch TensorRT 11.2.1. Eine Anleitung zur Einrichtung und erweiterte Nutzung findest du in unserem eigenen Leitfaden zur TensorRT-Integration.

Du kannst Modelle auch im Browser exportieren, ohne die Build-Umgebung lokal einzurichten. Wähle im Export-Tab für Modelle auf der Ultralytics Platform TensorRT und das gewünschte Jetson-Ziel aus. Thor-Auswahlen werden auf echter Thor-Hardware validiert. Die sechs Orin-Auswahlen erzeugen derzeit mögliche Engines, die für AGX Orin erstellt wurden. Validiere diese vor der Bereitstellung auf dem vorgesehenen Orin-Modell.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um mit dem exportierten Modell Inferenz auszuführen.

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Modell nach TensorRT exportieren
model.export(format="engine")  # erstellt 'yolo26n.engine'

# Das exportierte TensorRT-Modell laden
trt_model = YOLO("yolo26n.engine")

# Inferenz ausführen
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Deep Learning Accelerator (DLA) verwenden#

Der NVIDIA Deep-Learning-Beschleuniger (DLA) ist eine spezielle Hardwarekomponente in NVIDIA Jetson-Geräten, die die Inferenz mit Deep Learning im Hinblick auf Energieeffizienz und Leistung optimiert. Indem DLA Aufgaben von der GPU übernimmt und diese so für rechenintensivere Prozesse freigibt, ermöglicht DLA den Modellen einen Betrieb mit geringerem Stromverbrauch und hohem Durchsatz. Das ist ideal für eingebettete Systeme und KI-Anwendungen in Echtzeit.

Die folgenden Jetson-Geräte sind mit DLA-Hardware ausgestattet:

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Modell mit aktiviertem DLA nach TensorRT exportieren (funktioniert nur mit FP16 oder INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 oder dla:1 entspricht den DLA-Kernen

# Das exportierte TensorRT-Modell laden
trt_model = YOLO("yolo26n.engine")

# Inferenz ausführen
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA Jetson YOLO26-Benchmarks#

Das Ultralytics-Team hat YOLO26-Benchmarks mit 11 verschiedenen Modellformaten durchgeführt und dabei Geschwindigkeit und Genauigkeit gemessen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Die Benchmarks wurden mit FP32-Genauigkeit und einer standardmäßigen Eingabebildgröße von 640 auf dem NVIDIA Jetson AGX Thor Developer Kit, dem NVIDIA Jetson AGX Orin Developer Kit (64 GB), dem NVIDIA Jetson Orin Nano Super Developer Kit und einem Seeed Studio reComputer J4012 mit Jetson Orin NX 16 GB durchgeführt.

Vergleichsdiagramme#

Obwohl alle Modelle der Exportformate auf NVIDIA Jetson funktionieren, enthält das folgende Vergleichsdiagramm nur PyTorch, TorchScript und TensorRT, da diese die GPU des Jetson nutzen und garantiert die besten Ergebnisse liefern. Alle anderen Exportformate verwenden ausschließlich die CPU und erreichen nicht die Leistung der drei genannten Formate. Benchmarks für alle Exportformate findest du im Abschnitt nach diesem Diagramm.

NVIDIA Jetson AGX Thor Entwicklerkit#

NVIDIA Jetson AGX Orin Entwicklerkit (64GB)#

NVIDIA Jetson Orin Nano Super Entwicklerkit#

NVIDIA Jetson Orin NX 16GB#

Detaillierte Vergleichstabellen#

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO26n, YOLO26s, YOLO26m, YOLO26l, YOLO26x) in 11 verschiedenen Formaten (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch) und gibt für jede Kombination den Status, die Größe, die Kennzahl mAP50-95(B) und die Inferenzzeit an.

NVIDIA Jetson AGX Thor Entwicklerkit#

NVIDIA Jetson AGX Orin Entwicklerkit (64GB)#

NVIDIA Jetson Orin Nano Super Entwicklerkit#

NVIDIA Jetson Orin NX 16GB#

Entdecke weitere Benchmark-Tests von Seeed Studio, die auf verschiedenen Versionen der NVIDIA Jetson-Hardware ausgeführt wurden.

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Benchmark für Geschwindigkeit und Genauigkeit von YOLO26n auf dem COCO128-Datensatz für alle Exportformate
results = model.benchmark(data="coco128.yaml", imgsz=640)

Bewährte Vorgehensweisen für die Verwendung von NVIDIA Jetson#

Beachte bei der Verwendung von NVIDIA Jetson einige bewährte Vorgehensweisen, um die Leistung von YOLO26 auf NVIDIA Jetson zu maximieren.

1. MAX Power Mode aktivieren

   Wenn du MAX Power Mode auf Jetson aktivierst, werden alle CPU- und GPU-Kerne eingeschaltet.

   sudo nvpmodel -m 0

2. Jetson Clocks aktivieren

   Wenn du Jetson Clocks aktivierst, werden alle CPU- und GPU-Kerne mit ihrer maximalen Frequenz betrieben.

   sudo jetson_clocks

3. Jetson Stats-Anwendung installieren

   Mit der Anwendung jetson stats kannst du die Temperaturen der Systemkomponenten überwachen und weitere Systemdetails prüfen, etwa die Auslastung von CPU, GPU und RAM anzeigen, Energiemodi ändern, die maximalen Taktfrequenzen einstellen und Informationen zu JetPack abrufen.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Tipps zur Speicheroptimierung für NVIDIA Jetson#

Der verfügbare Speicher ist auf Jetson-Geräten oft der begrenzende Faktor, insbesondere bei Varianten mit weniger Speicher wie Jetson Orin Nano (8 GB) oder Orin NX 8 GB. Die folgenden Tipps sind praktische, risikoarme Anpassungen, die zusammen mehrere hundert Megabyte freigeben und den Betrieb größerer YOLO-Modelle oder zusätzlicher paralleler Arbeitslasten ermöglichen können. Eine umfassende Beschreibung findest du im NVIDIA-Blog zur Maximierung der Speichereffizienz auf Jetson.

1. Ohne grafische Oberfläche starten#

Wenn dein Jetson über SSH verbunden ist oder als Produktionsgerät ohne angeschlossenen Bildschirm läuft, kannst du durch Entfernen der Desktop-Umgebung und des Anzeigeservers bis zu 865 MB RAM freigeben:

sudo systemctl set-default multi-user.target
sudo reboot

So stellst du die Desktop-Umgebung später wieder her:

sudo systemctl set-default graphical.target
sudo reboot

2. Nicht benötigte Systemdienste deaktivieren#

Nicht benötigte Hintergrunddienste (Bluetooth, Verbindungsmanager, ungenutzte Hardware-Daemons) verbrauchen zusammen etwa 32 MB. Zeige die aktiven Dienste an und deaktiviere alles, was deine Bereitstellung nicht benötigt:

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

3. Speichernutzung analysieren#

Ermittle vor der Optimierung, welche Prozesse tatsächlich RAM verbrauchen. procrank sortiert Prozesse nach PSS (proportionale Speichergröße), wodurch der tatsächliche Speicherbedarf pro Prozess genauer dargestellt wird als mit RSS (Größe des residenten Arbeitssatzes: alle physischen RAM-Seiten, die einem Prozess zugeordnet sind, einschließlich der mit anderen Prozessen gemeinsam genutzten Seiten):

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

So zeigst du die GPU- und NvMap-Zuweisungen (CUDA-/Videopipeline) pro Prozess an:

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

4. Inferenz in der Produktion ohne Bildschirm ausführen#

Bei Inferenzpipelines ohne Live-Vorschau kannst du durch Deaktivieren bildschirmbezogener Komponenten (Tiler, OSD, DisplaySink) allein in der Pipeline 200+ MB einsparen. Unterdrücke mit Ultralytics YOLO die Anzeige und speichere die Ergebnisse stattdessen auf dem Datenträger:

from ultralytics import YOLO

model = YOLO("yolo26n.engine")

# show=False verhindert jedes Anzeigefenster; save=True speichert die annotierte Ausgabe auf dem Datenträger
results = model.predict(source="video.mp4", show=False, save=True)

Gesamtauswirkung#

Diese Änderungen zusammen sind besonders wertvoll, wenn du TensorRT-INT8-Modelle auf Geräten mit knappem Speicher einsetzt – sie können darüber entscheiden, ob eine größere Modellvariante in den Speicher passt oder nicht.

Nächste Schritte#

Weitere Informationen und Unterstützung findest du in der Ultralytics YOLO26-Dokumentation.

Häufig gestellte Fragen#