Schnellstartanleitung: NVIDIA DGX Spark mit Ultralytics YOLO26#

Diese ausführliche Anleitung führt dich Schritt für Schritt durch die Bereitstellung von Ultralytics YOLO26 auf dem NVIDIA DGX Spark, dem kompakten KI-Supercomputer von NVIDIA für den Schreibtisch. Außerdem werden Leistungsbenchmarks vorgestellt, die die Möglichkeiten von YOLO26 auf diesem leistungsstarken System zeigen.

Was ist NVIDIA DGX Spark?#

NVIDIA DGX Spark ist ein kompakter KI-Supercomputer für den Schreibtisch, der vom NVIDIA GB10 Grace Blackwell Superchip angetrieben wird. Er bietet eine KI-Rechenleistung von bis zu 1 PetaFLOP mit FP4-Genauigkeit und eignet sich damit ideal für Entwickler, Forschende und Data Scientists, die leistungsstarke KI-Funktionen in einem Desktop-Formfaktor benötigen.

Wichtige technische Daten#

DGX OS#

NVIDIA DGX OS ist eine angepasste Linux-Distribution, die eine stabile, getestete und unterstützte Betriebssystembasis für KI-, Machine-Learning- und Analyseanwendungen auf DGX-Systemen bietet. Sie umfasst:

• Eine robuste Linux-Basis, optimiert für KI-Workloads
• Vorkonfigurierte Treiber und Systemeinstellungen für NVIDIA-Hardware
• Sicherheitsupdates und Funktionen zur Systemwartung
• Kompatibilität mit dem umfassenderen NVIDIA-Softwareökosystem

DGX OS folgt einem regelmäßigen Veröffentlichungsplan. Updates werden in der Regel zweimal jährlich (etwa im Februar und August) bereitgestellt; zwischen den Hauptversionen gibt es zusätzliche Sicherheitspatches.

DGX Dashboard#

DGX Spark wird mit einem integrierten DGX Dashboard geliefert, das Folgendes bietet:

• Systemüberwachung in Echtzeit: Übersicht über die aktuellen Betriebskennzahlen des Systems
• Systemupdates: Möglichkeit, Updates direkt über das Dashboard einzuspielen
• Systemeinstellungen: Gerätename und andere Konfigurationen ändern
• Integriertes JupyterLab: Zugriff auf lokale Jupyter Notebooks für die Entwicklung

Zugriff auf das Dashboard#

Schnellstart mit Docker#

Am schnellsten kannst du mit Ultralytics YOLO26 auf NVIDIA DGX Spark loslegen, indem du vorgefertigte Docker-Images verwendest. Das NVIDIA ARM64-Image unterstützt DGX Spark mit DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

Die obige CDI-Geräteanforderung gilt für DGX Spark mit DGX OS. Informationen zu den Hostanforderungen und der TensorRT-Einschränkung für PyTorch-Workloads auf Jetson AGX Thor findest du in der separaten NVIDIA Jetson-Anleitung.

Dieses Image verwendet NVIDIA PyTorch 26.08, CUDA 13.4 und TensorRT 11.2. Aktualisiere den DGX OS-Hosttreiber auf eine Version, die von NVIDIA PyTorch 26.08 unterstützt wird, und erstelle TensorRT-Engines neu, wenn du das Image oder die Ziel-GPU änderst.

Überspringe nach Abschluss diesen Schritt und gehe zum Abschnitt TensorRT auf NVIDIA DGX Spark verwenden.

Mit der nativen Installation beginnen#

Führe für eine native Installation ohne Docker die folgenden Schritte aus.

Ultralytics-Paket installieren#

Hier installieren wir das Ultralytics-Paket auf DGX Spark. Exportabhängigkeiten werden beim ersten Export eines Modells automatisch installiert, daher benötigen wir hier nur das Basispaket. Wir konzentrieren uns hauptsächlich auf NVIDIA TensorRT-Exporte, da TensorRT die maximale Leistung aus DGX Spark herausholt.

1. Paketlisten aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Das pip-Paket ultralytics installieren

   pip install ultralytics

3. Gerät neu starten

   sudo reboot

PyTorch und Torchvision installieren#

Bei der obigen Ultralytics-Installation werden Torch und Torchvision installiert. Diese über pip installierten Pakete sind jedoch möglicherweise nicht vollständig für die ARM64-Architektur von DGX Spark mit CUDA 13 optimiert. Daher empfehlen wir, die mit CUDA 13 kompatiblen Versionen zu installieren:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

onnxruntime-gpu installieren#

Aktuelle ONNX Runtime GPU-Versionen bieten Linux-ARM64-Wheels, auch für Python 3.12. Das NVIDIA ARM64-Docker-Image installiert das offizielle Paket. Für native CUDA-13-Installationen verwende:

pip install onnxruntime-gpu

TensorRT auf NVIDIA DGX Spark verwenden#

Von allen von Ultralytics unterstützten Exportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA DGX Spark und ist daher unsere erste Empfehlung für Bereitstellungen. Anleitungen zur Einrichtung und zur erweiterten Verwendung findest du in unserem speziellen TensorRT-Integrationsleitfaden.

Modell in TensorRT konvertieren und Inferenz ausführen#

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um mit dem exportierten Modell Inferenz auszuführen.

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Modell nach TensorRT exportieren
model.export(format="engine")  # erstellt 'yolo26n.engine'

# Das exportierte TensorRT-Modell laden
trt_model = YOLO("yolo26n.engine")

# Inferenz ausführen
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA DGX Spark: YOLO11-Benchmarks#

Das Ultralytics-Team hat YOLO11-Benchmarks mit verschiedenen Modellformaten durchgeführt und dabei Geschwindigkeit und Genauigkeit gemessen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Die Benchmarks wurden auf NVIDIA DGX Spark mit FP32-Genauigkeit und einer standardmäßigen Eingabebildgröße von 640 durchgeführt.

Detaillierte Vergleichstabelle#

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in mehreren Formaten. Für jede Kombination werden Status, Größe, die Metrik mAP50-95(B) und die Inferenzzeit angegeben.

Unsere Ergebnisse reproduzieren#

Um die obigen Ultralytics-Benchmarks für alle Export-Formate zu reproduzieren, führe diesen Code aus:

from ultralytics import YOLO

# Ein YOLO26n-PyTorch-Modell laden
model = YOLO("yolo26n.pt")

# Benchmark für Geschwindigkeit und Genauigkeit von YOLO26n auf dem COCO128-Datensatz für alle Exportformate
results = model.benchmark(data="coco128.yaml", imgsz=640)

Bewährte Vorgehensweisen für NVIDIA DGX Spark#

Beachte bei der Verwendung von NVIDIA DGX Spark einige bewährte Vorgehensweisen, um beim Ausführen von YOLO26 die maximale Leistung zu erzielen.

1. Systemleistung überwachen

   Verwende die Überwachungstools von NVIDIA, um die Auslastung von GPU und CPU zu verfolgen:

   nvidia-smi

2. Speichernutzung optimieren

   Mit 128 GB gemeinsamem Speicher kann DGX Spark große Batch-Größen und Modelle verarbeiten. Eine größere Batch-Größe kann den Durchsatz erhöhen:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. TensorRT mit FP16 oder INT8 verwenden

   Exportiere Modelle für eine optimale Leistung mit FP16- oder INT8-Genauigkeit:

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16
   yolo export model=yolo26n.pt format=engine quantize=8  # INT8

Systemupdates (Founders Edition)#

Es ist wichtig, deine DGX Spark Founders Edition aktuell zu halten, damit Leistung und Sicherheit gewährleistet sind. NVIDIA bietet zwei Hauptmethoden, um das Betriebssystem, die Treiber und die Firmware des Systems zu aktualisieren.

DGX Dashboard verwenden (empfohlen)#

Das DGX Dashboard ist die empfohlene Methode für Systemupdates und gewährleistet die Kompatibilität. Damit kannst du:

• Verfügbare Systemupdates anzeigen
• Sicherheitspatches und Systemupdates installieren
• NVIDIA-Treiber- und Firmwareupdates verwalten

Manuelle Systemupdates#

Fortgeschrittene Benutzer können Updates manuell über das Terminal durchführen:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Nächste Schritte#

Weitere Informationen und Unterstützung findest du in der Ultralytics YOLO26-Dokumentation.

Häufig gestellte Fragen#