Schnellstartanleitung: NVIDIA Spark mit Ultralytics YOLO11

Dieser umfassende Leitfaden enthält eine detaillierte Anleitung für die Bereitstellung von Ultralytics YOLO11 NVIDIA Spark, dem kompakten Desktop-KI-Supercomputer NVIDIA. Darüber hinaus werden Leistungsbenchmarks vorgestellt, um die Fähigkeiten von YOLO11 diesem leistungsstarken System zu demonstrieren.

Was ist NVIDIA Spark?

NVIDIA Spark ist ein kompakter Desktop-KI-Supercomputer, der mit dem NVIDIA Grace Blackwell Superchip betrieben wird. Er liefert eine KI-Rechenleistung von bis zu 1 PetaFLOP mit FP4-Genauigkeit und ist damit ideal für Entwickler, Forscher und Datenwissenschaftler, die leistungsstarke KI-Funktionen in einem Desktop-Formfaktor benötigen.

Wichtige Spezifikationen

DGX-Betriebssystem

NVIDIA OS ist eine angepasste Linux-Distribution, die eine stabile, getestete und unterstützte Betriebssystemgrundlage für die Ausführung von KI-, Machine-Learning- und Analyseanwendungen auf DGX-Systemen bietet. Sie umfasst:

• Eine robuste Linux-Grundlage, optimiert für KI-Workloads
• Vorkonfigurierte Treiber und Systemeinstellungen für NVIDIA
• Sicherheitsupdates und Systemwartungsfunktionen
• Kompatibilität mit dem umfassenden NVIDIA -Ökosystem

DGX OS folgt einem regelmäßigen Release-Zeitplan mit Updates, die in der Regel zweimal pro Jahr (etwa im Februar und August) bereitgestellt werden, wobei zwischen den Hauptreleases zusätzliche Sicherheitspatches bereitgestellt werden.

DGX-Dashboard

DGX Spark verfügt über ein integriertes DGX-Dashboard, das Folgendes bietet:

• Echtzeit-Systemüberwachung: Übersicht über die aktuellen Betriebskennzahlen des Systems
• Systemaktualisierungen: Möglichkeit, Aktualisierungen direkt über das Dashboard anzuwenden
• Systemeinstellungen: Ändern Sie den Gerätenamen und andere Konfigurationen.
• Integriertes JupyterLab: Zugriff auf lokale Jupyter-Notebooks für die Entwicklung

Zugriff auf das Dashboard

# Open an SSH tunnel
ssh -L 11000:localhost:11000 <username>@<IP or spark-abcd.local>

# Then open in browser
# http://localhost:11000

Schnellstart mit Docker

Der schnellste Weg, um mit Ultralytics YOLO11 NVIDIA Spark zu beginnen, ist die Verwendung vorgefertigter Docker-Images. Das gleiche Docker-Image, das Jetson AGX Thor (JetPack 7.0) unterstützt, funktioniert auch auf DGX Spark mit DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Nachdem dies erledigt ist, fahren Sie mit dem Abschnitt TensorRT NVIDIA Spark verwenden“ fort.

Starten Sie mit der nativen Installation

Für eine native Installation ohne Docker führen Sie die folgenden Schritte aus.

Ultralytics-Paket installieren

Hier installieren wir Ultralytics auf DGX Spark mit optionalen Abhängigkeiten, damit wir das PyTorch Modelle in andere Formate exportieren können. Wir werden uns hauptsächlich auf NVIDIA TensorRT konzentrieren, da TensorRT wir die maximale Leistung aus DGX Spark herausholen können.

1. Paketliste aktualisieren, pip installieren und auf die neueste Version aktualisieren

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installieren ultralytics pip-Paket mit optionalen Abhängigkeiten

   pip install ultralytics[export]
   

3. Gerät neu starten

   sudo reboot
   

PyTorch und Torchvision installieren

Die oben genannte ultralytics installiert Torch Torchvision. Diese über pip installierten Pakete sind jedoch möglicherweise nicht vollständig für die ARM64-Architektur des DGX Spark mit CUDA optimiert. Daher empfehlen wir die Installation der CUDA -kompatiblen Versionen:

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Installieren onnxruntime-gpu

Die onnxruntime-gpu Das in PyPI gehostete Paket hat keine aarch64 Binärdateien für ARM64-Systeme. Daher müssen wir dieses Paket manuell installieren. Dieses Paket wird für einige der Exporte benötigt.

Hier werden wir herunterladen und installieren onnxruntime-gpu 1.24.0 mit Python3.12 Unterstützung.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Verwenden Sie TensorRT NVIDIA Spark

Unter allen von Ultralytics unterstützten Modell-Exportformaten TensorRT die höchste Inferenzleistung auf NVIDIA Spark und ist daher unsere erste Empfehlung für Implementierungen. Anweisungen zur Einrichtung und zur erweiterten Nutzung finden Sie in unserem speziellen TensorRT .

Modell in TensorRT konvertieren und Inferenz ausführen

Das YOLO11n-Modell im PyTorch-Format wird in TensorRT konvertiert, um Inferenz mit dem exportierten Modell auszuführen.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Spark YOLO11

Das Ultralytics führte YOLO11 für mehrere Modellformate durch, um Geschwindigkeit und Genauigkeit zu messen: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF , MNN, NCNN, ExecuTorch. Die Benchmarks wurden auf NVIDIA Spark mit FP32-Genauigkeit und einer Standard-Eingabebildgröße von 640 durchgeführt.

Detaillierte Vergleichstabelle

Die folgende Tabelle zeigt die Benchmark-Ergebnisse für fünf verschiedene Modelle (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) in verschiedenen Formaten und gibt Auskunft über den Status, die Größe, die Metrik mAP50(B) und die Inferenzzeit für jede Kombination.

Unsere Ergebnisse reproduzieren

Um die oben genannten Ultralytics-Benchmarks auf allen Export-Formaten zu reproduzieren, führen Sie diesen Code aus:

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Bewährte Verfahren für NVIDIA Spark

Bei der Verwendung von NVIDIA Spark gibt es einige bewährte Verfahren, die befolgt werden sollten, um die maximale Leistung bei der Ausführung von YOLO11 zu erzielen.

1. Überwachen Sie die Systemleistung

   Verwenden Sie die Überwachungstools NVIDIA, um CPU GPU CPU track :

   nvidia-smi
   

2. Speichernutzung optimieren

   Mit 128 GB einheitlichem Speicher kann DGX Spark große Batch-Größen und Modelle verarbeiten. Erwägen Sie eine Erhöhung der Batch-Größe, um den Durchsatz zu verbessern:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. Verwenden Sie TensorRT FP16 oder INT8.

   Für beste Leistung exportieren Sie Modelle mit FP16- oder INT8-Genauigkeit:

   yolo export model=yolo11n.pt format=engine half=True # FP16
   yolo export model=yolo11n.pt format=engine int8=True # INT8
   

Systemaktualisierungen (Founders Edition)

Es ist für die Leistung und Sicherheit von entscheidender Bedeutung, dass Sie Ihre DGX Spark Founders Edition auf dem neuesten Stand halten. NVIDIA zwei primäre Methoden zum Aktualisieren des Betriebssystems, der Treiber und der Firmware des Systems.

Verwendung des DGX-Dashboards (empfohlen)

Das DGX-Dashboard ist die empfohlene Methode, um Systemaktualisierungen durchzuführen und die Kompatibilität sicherzustellen. Damit können Sie:

• Verfügbare Systemaktualisierungen anzeigen
• Installieren Sie Sicherheitspatches und System-Updates.
• Verwalten Sie NVIDIA und Firmware-Updates

Manuelle Systemaktualisierungen

Fortgeschrittene Benutzer können Updates manuell über das Terminal durchführen:

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Nächste Schritte

Für weitere Lerninhalte und Unterstützung konsultieren Sie die Ultralytics YOLO11-Dokumentation.

FAQ

Wie stelle ich Ultralytics YOLO11 NVIDIA Spark bereit?

Die Bereitstellung Ultralytics YOLO11 NVIDIA Spark ist ganz einfach. Sie können das vorgefertigte Docker-Image für eine schnelle Einrichtung verwenden oder die erforderlichen Pakete manuell installieren. Detaillierte Schritte für jeden Ansatz finden Sie in den Abschnitten „Schnellstart mit Docker “ und „Start mit nativer Installation“.

Welche Leistung kann ich von YOLO11 NVIDIA Spark erwarten?

YOLO11 bieten dank des GB10 Grace Blackwell Superchips eine hervorragende Leistung auf DGX Spark. Das TensorRT bietet die beste Inferenzleistung. In der detaillierten Vergleichstabelle finden Sie spezifische Benchmark-Ergebnisse für verschiedene Modellgrößen und -formate.

Warum sollte ich TensorRT YOLO11 DGX Spark verwenden?

TensorRT aufgrund seiner optimalen Leistung für die Bereitstellung YOLO11 auf DGX Spark dringend empfohlen. Es beschleunigt die Inferenz durch Nutzung der Blackwell GPU und gewährleistet so maximale Effizienz und Geschwindigkeit. Weitere Informationen finden Sie im Abschnitt „Verwenden TensorRT NVIDIA Spark “.

Wie schneidet DGX Spark im Vergleich zu Jetson-Geräten für YOLO11 ab?

DGX Spark bietet mit bis zu 1 PFLOP KI-Leistung und 128 GB einheitlichem Speicher deutlich mehr Rechenleistung als Jetson-Geräte, die auf 2070 TFLOPS und 128 GB Speicher kommen. DGX Spark ist als Desktop-KI-Supercomputer konzipiert, während Jetson-Geräte eingebettete Systeme sind, die für den Einsatz am Netzwerkrand optimiert sind.

Kann ich dasselbe Docker-Image für DGX Spark und Jetson AGX Thor verwenden?

Ja! Das ultralytics/ultralytics:latest-nvidia-arm64 Das Docker-Image unterstützt sowohl NVIDIA Spark (mit DGX OS) als auch Jetson AGX Thor (mit JetPack 7.0), da beide die ARM64-Architektur mit CUDA und ähnlichen Software-Stacks verwenden.

📅 Erstellt vor 0 Tagen ✏️ Aktualisiert vor 0 Tagen

Kommentare