Schnellstartanleitung: NVIDIA DGX Spark mit Ultralytics YOLO26#

Diese Anleitung führt dich durch die Bereitstellung von Ultralytics YOLO26 auf NVIDIA DGX Spark, dem kompakten KI-Supercomputer für den Schreibtisch von NVIDIA, und enthält YOLO11-Benchmarks für verschiedene Exportformate auf diesem System.

Was ist NVIDIA DGX Spark?#

NVIDIA DGX Spark ist ein kompakter KI-Supercomputer für den Schreibtisch, der vom NVIDIA GB10 Grace Blackwell Superchip angetrieben wird. Er bietet bis zu 1 PetaFLOP KI-Rechenleistung mit FP4-Präzision und wurde für Entwickler, Forschende und Datenwissenschaftler entwickelt, die leistungsstarke KI-Funktionen in einem Desktop-Format benötigen.

Ansehen: So erreichst du bis zu 1000 FPS mit Ultralytics YOLO26 auf NVIDIA DGX Spark | TensorRT und Batch-Inferenz

Wichtige technische Daten#

DGX OS#

NVIDIA DGX OS ist eine angepasste Linux-Distribution, die eine stabile, getestete und unterstützte Betriebssystembasis für KI-, Machine-Learning- und Analyseanwendungen auf DGX-Systemen bietet. Sie umfasst:

• Eine robuste Linux-Basis, optimiert für KI-Workloads
• Vorkonfigurierte Treiber und Systemeinstellungen für NVIDIA-Hardware
• Sicherheitsupdates und Funktionen zur Systemwartung
• Kompatibilität mit dem umfassenderen NVIDIA-Softwareökosystem

DGX OS folgt einem regelmäßigen Veröffentlichungsplan. Updates werden in der Regel zweimal jährlich (etwa im Februar und August) bereitgestellt; zwischen den Hauptversionen gibt es zusätzliche Sicherheitspatches.

DGX Dashboard#

DGX Spark wird mit einem integrierten DGX Dashboard geliefert, das Folgendes bietet:

• Systemüberwachung in Echtzeit: Übersicht über die aktuellen Betriebskennzahlen des Systems
• Systemupdates: Möglichkeit, Updates direkt über das Dashboard einzuspielen
• Systemeinstellungen: Gerätename und andere Konfigurationen ändern
• Integriertes JupyterLab: Zugriff auf lokale Jupyter Notebooks für die Entwicklung

Zugriff auf das Dashboard#

Schnellstart mit Docker#

Am schnellsten startest du mit Ultralytics YOLO26 auf NVIDIA DGX Spark, indem du die vorgefertigten Docker-Images ausführst. Das NVIDIA-ARM64-Image unterstützt DGX Spark mit DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Die obige CDI-Geräteanforderung gilt für DGX Spark mit DGX OS. Informationen zu den Hostanforderungen und der TensorRT-Einschränkung für PyTorch-Workloads auf Jetson AGX Thor findest du in der separaten NVIDIA Jetson-Anleitung.

Dieses Image verwendet NVIDIA PyTorch 26.08, CUDA 13.4 und TensorRT 11.2. Aktualisiere den DGX OS-Hosttreiber auf eine Version, die von NVIDIA PyTorch 26.08 unterstützt wird, und erstelle TensorRT-Engines neu, wenn du das Image oder die Ziel-GPU änderst.

Wenn das erledigt ist, fahre mit TensorRT auf NVIDIA DGX Spark verwenden fort.

Mit der nativen Installation beginnen#

Führe für eine native Installation ohne Docker die folgenden Schritte aus.

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf DGX Spark. Exportabhängigkeiten werden beim ersten Export eines Modells automatisch installiert, daher benötigst du hier nur das Basispaket. Diese Anleitung konzentriert sich auf NVIDIA-TensorRT-Exporte, da TensorRT die höchste Leistung auf DGX Spark bietet.

1. Aktualisiere die Paketliste, installiere pip und aktualisiere pip auf die neueste Version.

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Das pip-Paket ultralytics installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der oben beschriebenen Installation von ultralytics werden PyTorch und Torchvision installiert. Diese über pip installierten Pakete sind jedoch möglicherweise nicht vollständig für die ARM64-Architektur und CUDA 13 von DGX Spark optimiert. Deshalb empfehlen wir, die mit CUDA 13 kompatiblen Versionen zu installieren:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

onnxruntime-gpu installieren#

Aktuelle ONNX Runtime GPU-Versionen bieten Linux-ARM64-Wheels, auch für Python 3.12. Das NVIDIA ARM64-Docker-Image installiert das offizielle Paket. Für native CUDA-13-Installationen verwende:

pip install onnxruntime-gpu

TensorRT auf NVIDIA DGX Spark verwenden#

Von allen von Ultralytics unterstützten Modell-Exportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA DGX Spark und ist daher unsere erste Empfehlung für Bereitstellungen.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das PyTorch-Modell YOLO26n wird in TensorRT umgewandelt. Anschließend wird das exportierte Modell für die Inferenz verwendet.

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Modell nach TensorRT FP16 exportieren
model.export(format="engine", quantize=16)  # erstellt 'yolo26n.engine'

# Das exportierte TensorRT-Modell laden
trt_model = YOLO("yolo26n.engine")

# Inferenz ausführen
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA DGX Spark: YOLO11-Benchmarks#

Das Ultralytics-Team hat YOLO11-Benchmarks für mehrere Modellformate durchgeführt und Geschwindigkeit sowie Genauigkeit gemessen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN und ExecuTorch. Die Benchmarks wurden auf NVIDIA DGX Spark mit FP32-Präzision und der standardmäßigen Eingabebildgröße von 640 durchgeführt.

Detaillierte Vergleichstabelle#

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in mehreren Formaten. Für jede Kombination sind Status, Größe, die Kennzahl mAP50-95(B) und die Inferenzzeit angegeben.

Unsere Ergebnisse reproduzieren#

Führe diesen Code aus, um die oben genannten Ultralytics-Benchmarks für alle Export-Formate nachzustellen:

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Benchmark für Geschwindigkeit und Genauigkeit von YOLO26n auf dem COCO128-Datensatz für alle Exportformate
results = model.benchmark(data="coco128.yaml", imgsz=640)

TensorRT-Präzision von YOLO26 auf DGX Spark#

Bei einer Chargengröße von 1 ist TensorRT INT8 auf DGX Spark für YOLO26n und YOLO26s langsamer als FP16 und für YOLO26m ungefähr gleich schnell (in Validierung und trtexec-GPU-Berechnungszeit jeweils innerhalb von 2 %). INT8 erzielt außerdem einen um 1,1 bis 1,8 mAP niedrigeren Wert, daher ist FP16 für diese Modelle die bessere Wahl. Die YOLO11-Tabelle oben zeigt dasselbe Muster: TensorRT (INT8) ist bei allen fünf Modellen langsamer als TensorRT (FP16).

Genauigkeit und Geschwindigkeit basieren auf der Validierung mit COCO val2017 (5000 Bildern) bei einer Bildgröße von 640 und einer Chargengröße von 1. INT8-Engines werden mit COCO128 kalibriert. Benchmarktests wurden mit Ultralytics 8.4.192 in ultralytics/ultralytics:latest-nvidia-arm64 durchgeführt (NVIDIA PyTorch 26.08, TensorRT 11.2.1.2, ModelOpt 0.45.0).

Bewährte Vorgehensweisen für NVIDIA DGX Spark#

Befolge bei der Verwendung von NVIDIA DGX Spark diese bewährten Vorgehensweisen, um YOLO26 mit maximaler Leistung auszuführen.

1. Systemleistung überwachen

   Verwende die Überwachungstools von NVIDIA, um die Auslastung von GPU und CPU zu verfolgen:

   nvidia-smi

2. Speichernutzung optimieren

   Mit 128 GB gemeinsam genutztem Speicher kann DGX Spark große Batch-Größen und Modelle verarbeiten. Erhöhe die Batch-Größe, um den Durchsatz zu steigern:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. Verwende TensorRT FP16

   Bei einer Chargengröße von 1 ist INT8 auf DGX Spark für YOLO26n und YOLO26s langsamer als FP16, für YOLO26m nicht schneller und weniger genau (siehe TensorRT-Präzision von YOLO26 auf DGX Spark):

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16

Systemupdates (Founders Edition)#

Es ist wichtig, deine DGX Spark Founders Edition aktuell zu halten, damit Leistung und Sicherheit gewährleistet sind. NVIDIA bietet zwei Hauptmethoden, um das Betriebssystem, die Treiber und die Firmware des Systems zu aktualisieren.

DGX Dashboard verwenden (empfohlen)#

Das DGX Dashboard ist die empfohlene Methode für Systemupdates und gewährleistet die Kompatibilität. Damit kannst du:

• Verfügbare Systemupdates anzeigen
• Sicherheitspatches und Systemupdates installieren
• NVIDIA-Treiber- und Firmwareupdates verwalten

Manuelle Systemupdates#

Fortgeschrittene Benutzer können Updates manuell über das Terminal durchführen:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Nächste Schritte#

Weitere Informationen und Unterstützung findest du in der Ultralytics YOLO26-Dokumentation.

Häufig gestellte Fragen#