Schnellstartanleitung: NVIDIA DGX Spark mit Ultralytics YOLO26#

Diese umfassende Anleitung führt dich detailliert durch die Bereitstellung von Ultralytics YOLO26 auf NVIDIA DGX Spark, NVIDIA kompakt gebautem Desktop-KI-Supercomputer. Zusätzlich stellt sie Leistungsbenchmarks vor, um die Fähigkeiten von YOLO26 auf diesem leistungsstarken System zu veranschaulichen.

Was ist NVIDIA DGX Spark?#

NVIDIA DGX Spark ist ein kompakter Desktop-KI-Supercomputer, der vom NVIDIA GB10 Grace Blackwell Superchip angetrieben wird. Er liefert bis zu 1 PetaFLOP KI-Rechenleistung mit FP4-Genauigkeit und ist damit ideal für Entwickler, Forschende und Datenwissenschaftler, die leistungsstarke KI-Funktionen in einem Desktop-Format benötigen.

Wichtige technische Daten#

DGX OS#

NVIDIA DGX OS ist eine angepasste Linux-Distribution, die eine stabile, getestete und unterstützte Betriebssystemgrundlage für die Ausführung von KI-, maschinellen Lern- und Analyseanwendungen auf DGX-Systemen bereitstellt. Sie umfasst:

• Eine robuste, für KI-Workloads optimierte Linux-Grundlage
• Vorkonfigurierte Treiber und Systemeinstellungen für NVIDIA-Hardware
• Sicherheitsupdates und Funktionen zur Systemwartung
• Kompatibilität mit dem umfassenderen NVIDIA-Softwareökosystem

DGX OS folgt einem regelmäßigen Veröffentlichungsplan. Updates werden in der Regel zweimal jährlich (etwa im Februar und August) bereitgestellt, zusätzliche Sicherheitspatches zwischen den Hauptversionen.

DGX Dashboard#

DGX Spark enthält ein integriertes DGX Dashboard, das Folgendes bereitstellt:

• Systemüberwachung in Echtzeit: Übersicht über die aktuellen Betriebsmetriken des Systems
• Systemupdates: Möglichkeit, Updates direkt über das Dashboard anzuwenden
• Systemeinstellungen: Gerätenamen und andere Konfigurationen ändern
• Integriertes JupyterLab: Zugriff auf lokale Jupyter Notebooks für die Entwicklung

Auf das Dashboard zugreifen#

Schnellstart mit Docker#

Der schnellste Weg, um mit Ultralytics YOLO26 auf NVIDIA DGX Spark zu starten, ist die Verwendung vorgefertigter Docker-Images. Das NVIDIA-ARM64-Image unterstützt DGX Spark mit DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Die obige CDI-Geräteanforderung gilt für DGX Spark mit DGX OS. Für PyTorch-Workloads auf Jetson AGX Thor findest du die separaten Host-Anforderungen und TensorRT-Beschränkungen im NVIDIA Jetson guide.

Dieses Image verwendet NVIDIA PyTorch 26.08, CUDA 13.4 und TensorRT 11. Aktualisiere den DGX-OS-Host-Treiber auf eine von NVIDIA PyTorch 26.08 unterstützte Version und baue TensorRT-Engines nach dem Ändern des Images oder der Ziel-GPU neu auf.

Springe anschließend zum Abschnitt TensorRT auf NVIDIA DGX Spark verwenden.

Mit der nativen Installation beginnen#

Führe für eine native Installation ohne Docker die folgenden Schritte aus.

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf DGX Spark. Abhängigkeiten für den Export werden beim ersten Export eines Modells automatisch installiert, daher wird hier nur das Basispaket benötigt. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT sicherstellt, dass wir die maximale Leistung aus DGX Spark herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. ultralytics-Paket mit pip installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der oben beschriebenen Installation von ultralytics werden Torch und Torchvision installiert. Diese über pip installierten Pakete sind jedoch möglicherweise nicht vollständig für die ARM64-Architektur von DGX Spark mit CUDA 13 optimiert. Daher empfehlen wir, die kompatiblen Versionen für CUDA 13 zu installieren:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

onnxruntime-gpu installieren#

Aktuelle ONNX Runtime GPU releases bieten Linux-ARM64-Wheels einschließlich Python 3.12. Das NVIDIA-ARM64-Docker-Image installiert das offizielle Paket; verwende für native CUDA-13-Installation:

pip install onnxruntime-gpu

TensorRT auf NVIDIA DGX Spark verwenden#

Von allen von Ultralytics unterstützten Modell-Exportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA DGX Spark und ist daher unsere wichtigste Empfehlung für Bereitstellungen. Anleitungen zur Einrichtung und zur erweiterten Nutzung findest du in unserem speziellen TensorRT-Integrationsleitfaden.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um die Inferenz mit dem exportierten Modell auszuführen.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

YOLO11-Benchmarks auf NVIDIA DGX Spark#

Das Ultralytics-Team hat YOLO11-Benchmarks in mehreren Modellformaten durchgeführt und dabei Geschwindigkeit und Genauigkeit gemessen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Die Benchmarks wurden auf NVIDIA DGX Spark mit FP32-Genauigkeit und einer standardmäßigen Eingabebildgröße von 640 durchgeführt.

Detaillierte Vergleichstabelle#

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) über mehrere Formate hinweg und enthält für jede Kombination den Status, die Größe, die Metrik mAP50-95(B) und die Inferenzzeit.

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Bewährte Vorgehensweisen für NVIDIA DGX Spark#

Bei der Verwendung von NVIDIA DGX Spark solltest du einige bewährte Vorgehensweisen beachten, um beim Ausführen von YOLO26 maximale Leistung zu erzielen.

1. Systemleistung überwachen

   Verwende die Überwachungstools von NVIDIA, um die Auslastung von GPU und CPU zu verfolgen:

   nvidia-smi

2. Speichernutzung optimieren

   Mit 128 GB gemeinsamem Speicher kann DGX Spark große Batchgrößen und Modelle verarbeiten. Ziehe eine Erhöhung der Batchgröße in Betracht, um den Durchsatz zu verbessern:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. TensorRT mit FP16 oder INT8 verwenden

   Für die beste Leistung exportierst du Modelle mit FP16- oder INT8-Genauigkeit:

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16
   yolo export model=yolo26n.pt format=engine quantize=8  # INT8

Systemupdates (Founders Edition)#

Es ist entscheidend für Leistung und Sicherheit, deine DGX Spark Founders Edition auf dem neuesten Stand zu halten. NVIDIA bietet zwei primäre Methoden zur Aktualisierung des Betriebssystems, der Treiber und der Firmware.

DGX Dashboard verwenden (empfohlen)#

Das DGX Dashboard ist die empfohlene Methode für kompatible Systemupdates. Es ermöglicht dir:

• Verfügbare Systemupdates anzeigen
• Sicherheitspatches und Systemupdates installieren
• NVIDIA-Treiber- und Firmwareupdates verwalten

Manuelle Systemupdates#

Fortgeschrittene Benutzer können Updates manuell über das Terminal durchführen:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Nächste Schritte#

Weitere Informationen und Support findest du in der Ultralytics YOLO26-Dokumentation.

FAQ#