Schnellstartanleitung: NVIDIA DGX Spark mit Ultralytics YOLO26

Dieser umfassende Leitfaden bietet eine detaillierte Anleitung zur Bereitstellung von Ultralytics YOLO26 auf NVIDIA DGX Spark, NVIDIAs kompaktem Desktop-KI-Supercomputer. Zusätzlich werden Leistungs-Benchmarks vorgestellt, um die Fähigkeiten von YOLO26 auf diesem leistungsstarken System zu demonstrieren.

Was ist NVIDIA DGX Spark?

NVIDIA DGX Spark ist ein kompakter Desktop-KI-Supercomputer, der vom NVIDIA GB10 Grace Blackwell Superchip angetrieben wird. Er liefert bis zu 1 PetaFLOP KI-Rechenleistung mit FP4-Präzision, was ihn ideal für Entwickler, Forscher und Datenwissenschaftler macht, die leistungsstarke KI-Funktionen in einem Desktop-Formfaktor benötigen.

Wichtige Spezifikationen

DGX OS

NVIDIA DGX OS ist eine angepasste Linux-Distribution, die eine stabile, getestete und unterstützte Betriebssystemgrundlage zum Ausführen von KI-, Machine-Learning- und Analyseanwendungen auf DGX-Systemen bietet. Es umfasst:

• Eine robuste Linux-Grundlage, optimiert für KI-Workloads
• Vorkonfigurierte Treiber und Systemeinstellungen für NVIDIA-Hardware
• Sicherheitsupdates und Systemwartungsfunktionen
• Kompatibilität mit dem breiteren NVIDIA-Software-Ökosystem

DGX OS folgt einem regelmäßigen Release-Zeitplan, wobei Updates typischerweise zweimal pro Jahr (etwa im Februar und August) bereitgestellt werden und zusätzliche Sicherheitspatches zwischen den Haupt-Releases zur Verfügung gestellt werden.

DGX Dashboard

DGX Spark verfügt über ein integriertes DGX Dashboard, das Folgendes bietet:

• Echtzeit-Systemüberwachung: Übersicht über die aktuellen Betriebsmetriken des Systems
• System-Updates: Möglichkeit, Updates direkt über das Dashboard anzuwenden
• Systemeinstellungen: Gerätenamen und andere Konfigurationen ändern
• Integriertes JupyterLab: Zugriff auf lokale Jupyter Notebooks für die Entwicklung

Zugriff auf das Dashboard

# Open an SSH tunnel
ssh -L 11000:localhost:11000 username@spark-abcd.local

# Then open in browser
# http://localhost:11000

Schnellstart mit Docker

Der schnellste Weg, um mit Ultralytics YOLO26 auf NVIDIA DGX Spark zu beginnen, ist die Verwendung vorgefertigter Docker-Images. Das gleiche Docker-Image, das Jetson AGX Thor (JetPack 7.0) unterstützt, funktioniert auf DGX Spark mit DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Danach fahren Sie fort mit dem Abschnitt „TensorRT auf NVIDIA DGX Spark verwenden“.

Starten Sie mit der nativen Installation

Für eine native Installation ohne Docker befolgen Sie diese Schritte.

Ultralytics-Paket installieren

Hier installieren wir das Ultralytics-Paket auf DGX Spark mit optionalen Abhängigkeiten, damit wir die PyTorch-Modelle in verschiedene andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT-Exporte konzentrieren, da TensorRT sicherstellt, dass wir die maximale Leistung aus dem DGX Spark herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installieren ultralytics pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]
   

3. Gerät neu starten

   sudo reboot
   

PyTorch und Torchvision installieren

Die oben genannte Ultralytics-Installation wird Torch und Torchvision installieren. Diese über pip installierten Pakete sind jedoch möglicherweise nicht vollständig für die ARM64-Architektur des DGX Spark mit CUDA 13 optimiert. Daher empfehlen wir die Installation der CUDA 13-kompatiblen Versionen:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Installieren onnxruntime-gpu

Die onnxruntime-gpu Das in PyPI gehostete Paket hat keine aarch64 Binärdateien für ARM64-Systeme. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Hier werden wir herunterladen und installieren onnxruntime-gpu 1.24.0 mit Python3.12 Unterstützung.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

TensorRT auf NVIDIA DGX Spark verwenden

Unter allen von Ultralytics unterstützten Modell-Exportformaten bietet TensorRT die höchste Inferenzleistung auf NVIDIA DGX Spark, was es zu unserer Top-Empfehlung für Bereitstellungen macht. Installationsanweisungen und fortgeschrittene Nutzung finden Sie in unserem dedizierten TensorRT-Integrationsleitfaden.

Modell in TensorRT konvertieren und Inferenz ausführen

Das YOLO26n-Modell im PyTorch-Format wird in TensorRT konvertiert, um die Inferenz mit dem exportierten Modell auszuführen.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA DGX Spark YOLO11 Benchmarks

YOLO11-Benchmarks wurden vom Ultralytics-Team für mehrere Modellformate durchgeführt, um Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Die Benchmarks wurden auf NVIDIA DGX Spark mit FP32-Präzision und einer Standardeingabebildgröße von 640 durchgeführt.

Detaillierte Vergleichstabelle

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) über mehrere Formate hinweg, einschließlich Status, Größe, mAP50-95(B)-Metrik und Inferenzzeit für jede Kombination.

Unsere Ergebnisse reproduzieren

Um die oben genannten Ultralytics-Benchmarks auf allen Export-Formaten zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo26n.pt data=coco128.yaml imgsz=640

Best Practices für NVIDIA DGX Spark

Bei der Verwendung von NVIDIA DGX Spark gibt es einige Best Practices, die befolgt werden sollten, um die maximale Leistung beim Ausführen von YOLO26 zu erzielen.

1. Systemleistung überwachen

   Verwenden Sie die Überwachungstools von NVIDIA, um die GPU- und CPU-Auslastung zu tracken:

   nvidia-smi
   

2. Speichernutzung optimieren

   Mit 128 GB Unified Memory kann DGX Spark große Batch-Größen und Modelle verarbeiten. Erwägen Sie eine Erhöhung der Batch-Größe für einen verbesserten Durchsatz:

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. TensorRT mit FP16 oder INT8 verwenden

   Für beste Leistung exportieren Sie Modelle mit FP16- oder INT8-Präzision:

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8
   

System-Updates (Founders Edition)

Die Aktualisierung Ihrer DGX Spark Founders Edition ist entscheidend für Leistung und Sicherheit. NVIDIA bietet zwei primäre Methoden zur Aktualisierung des System-Betriebssystems, der Treiber und der Firmware.

Verwendung des DGX Dashboards (Empfohlen)

Das DGX Dashboard ist der empfohlene Weg, Systemaktualisierungen durchzuführen und die Kompatibilität sicherzustellen. Es ermöglicht Ihnen:

• Verfügbare Systemaktualisierungen anzeigen
• Sicherheitspatches und Systemaktualisierungen installieren
• NVIDIA-Treiber- und Firmware-Updates verwalten

Manuelle System-Updates

Für fortgeschrittene Benutzer können Updates manuell über das Terminal durchgeführt werden:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Nächste Schritte

Für weitere Informationen und Unterstützung siehe die Ultralytics YOLO26 Docs.

FAQ

Wie stelle ich Ultralytics YOLO26 auf NVIDIA DGX Spark bereit?

Die Bereitstellung von Ultralytics YOLO26 auf NVIDIA DGX Spark ist unkompliziert. Sie können das vorgefertigte Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren. Detaillierte Schritte für jeden Ansatz finden Sie in den Abschnitten Quick Start with Docker und Start with Native Installation.

Welche Leistung kann ich von YOLO26 auf NVIDIA DGX Spark erwarten?

YOLO26-Modelle liefern dank des GB10 Grace Blackwell Superchips eine hervorragende Leistung auf DGX Spark. Das TensorRT-Format bietet die beste Inferenzleistung. Spezifische Benchmark-Ergebnisse für verschiedene Modellgrößen und -formate finden Sie im Abschnitt Detailed Comparison Table.

Warum sollte ich TensorRT für YOLO26 auf DGX Spark verwenden?

TensorRT wird für die Bereitstellung von YOLO26-Modellen auf DGX Spark aufgrund seiner optimalen Leistung dringend empfohlen. Es beschleunigt die Inferenz, indem es die Blackwell GPU-Fähigkeiten nutzt und so maximale Effizienz und Geschwindigkeit gewährleistet. Erfahren Sie mehr im Abschnitt Use TensorRT on NVIDIA DGX Spark.

Wie schneidet DGX Spark im Vergleich zu Jetson-Geräten für YOLO26 ab?

DGX Spark bietet deutlich mehr Rechenleistung als Jetson-Geräte mit bis zu 1 PFLOP KI-Leistung und 128 GB vereinheitlichtem Speicher, im Vergleich zu Jetson AGX Thors 2070 TFLOPS und 128 GB Speicher. DGX Spark ist als Desktop-KI-Supercomputer konzipiert, während Jetson-Geräte eingebettete Systeme sind, die für Edge-Deployments optimiert sind.

Kann ich dasselbe Docker-Image für DGX Spark und Jetson AGX Thor verwenden?

Ja! Das ultralytics/ultralytics:latest-nvidia-arm64 Docker-Image unterstützt sowohl NVIDIA DGX Spark (mit DGX OS) als auch Jetson AGX Thor (mit JetPack 7.0), da beide die ARM64-Architektur mit CUDA 13 und ähnlichen Software-Stacks verwenden.

📅 Erstellt vor 21 Tagen ✏️ Aktualisiert vor 9 Tagen

Kommentare