Guide de démarrage rapide : NVIDIA Spark avec Ultralytics YOLO11

Ce guide complet fournit des instructions détaillées pour déployer Ultralytics YOLO11 NVIDIA Spark, le supercalculateur IA compact de bureau NVIDIA. Il présente également des benchmarks de performances afin de démontrer les capacités de YOLO11 ce système puissant.

Qu'est-ce que NVIDIA Spark ?

NVIDIA Spark est un supercalculateur IA compact pour ordinateur de bureau équipé de la superpuce NVIDIA Grace Blackwell. Il offre jusqu'à 1 pétaFLOP de puissance de calcul IA avec une précision FP4, ce qui le rend idéal pour les développeurs, les chercheurs et les scientifiques des données qui ont besoin de puissantes capacités IA dans un format de bureau.

Caractéristiques techniques principales

DGX OS

NVIDIA OS est une distribution Linux personnalisée qui fournit une base système d'exploitation stable, testée et prise en charge pour exécuter des applications d'IA, d'apprentissage automatique et d'analyse sur les systèmes DGX. Elle comprend :

• Une base Linux robuste optimisée pour les charges de travail liées à l'IA
• Pilotes et paramètres système préconfigurés pour NVIDIA
• Mises à jour de sécurité et capacités de maintenance du système
• Compatibilité avec l'écosystème NVIDIA au sens large

DGX OS suit un calendrier de publication régulier, avec des mises à jour généralement fournies deux fois par an (vers février et août), et des correctifs de sécurité supplémentaires fournis entre les versions majeures.

Tableau de bord DGX

DGX Spark est équipé d'un tableau de bord DGX intégré qui offre :

• Surveillance du système en temps réel: aperçu des indicateurs opérationnels actuels du système
• Mises à jour du système: possibilité d'appliquer les mises à jour directement depuis le tableau de bord
• Paramètres système: modifier le nom de l'appareil et d'autres configurations
• JupyterLab intégré: accédez aux notebooks Jupyter locaux pour le développement

Accéder au tableau de bord

# Open an SSH tunnel
ssh -L 11000:localhost:11000 <username>@<IP or spark-abcd.local>

# Then open in browser
# http://localhost:11000

Démarrage rapide avec Docker

La manière la plus rapide de démarrer avec Ultralytics YOLO11 NVIDIA Spark consiste à utiliser des images Docker pré-construites. La même image Docker qui prend en charge Jetson AGX Thor (JetPack 7.0) fonctionne sur DGX Spark avec DGX OS.

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

Une fois cette opération terminée, passez à la section Utilisation TensorRT NVIDIA Spark.

Commencer avec l'installation native

Pour une installation native sans Docker, procédez comme suit.

Installer le paquet Ultralytics

Nous allons ici installer Ultralytics sur DGX Spark avec les dépendances optionnelles afin de pouvoir exporter le PyTorch vers d'autres formats différents. Nous nous concentrerons principalement sur TensorRT NVIDIA TensorRT , car TensorRT nous TensorRT de tirer le meilleur parti des performances de DGX Spark.

1. Mettre à jour la liste des paquets, installer pip et mettre à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics Paquet pip avec des dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarrez l'appareil

   sudo reboot
   

Installer PyTorch et Torchvision

ultralytics ci-dessus installera Torch Torchvision. Cependant, ces paquets installés via pip peuvent ne pas être entièrement optimisés pour l'architecture ARM64 du DGX Spark avec CUDA . Nous vous recommandons donc d'installer les versions compatibles CUDA :

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

Installer onnxruntime-gpu

L'argument onnxruntime-gpu package hébergé dans PyPI n'a pas aarch64 binaires pour les systèmes ARM64. Nous devons donc installer ce paquet manuellement. Ce paquet est nécessaire pour certaines exportations.

Ici, nous allons télécharger et installer onnxruntime-gpu 1.24.0 avec Python3.12 support.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Utilisez TensorRT NVIDIA Spark

Parmi tous les formats d'exportation de modèles pris en charge par Ultralytics, TensorRT les meilleures performances d'inférence sur NVIDIA Spark, ce qui en fait notre recommandation numéro un pour les déploiements. Pour obtenir des instructions de configuration et des informations sur l'utilisation avancée, consultez notre guide dédié TensorRT .

Convertir le modèle en TensorRT et exécuter l'inférence

Le modèle YOLO11n au format PyTorch est converti en TensorRT pour exécuter l'inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

YOLO11 NVIDIA Spark YOLO11

YOLO11 ont été exécutés par Ultralytics sur plusieurs formats de modèles afin de mesurer la vitesse et la précision: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF , MNN, NCNN, ExecuTorch. Les benchmarks ont été exécutés sur NVIDIA Spark avec une précision FP32 et une taille d'image d'entrée par défaut de 640.

Tableau comparatif détaillé

Le tableau ci-dessous présente les résultats de référence pour cinq modèles différents (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) dans plusieurs formats, en indiquant le statut, la taille, la métrique mAP50(B) et le temps d'inférence pour chaque combinaison.

Reproduire nos résultats

Pour reproduire les benchmarks Ultralytics ci-dessus sur tous les formats d’exportation, exécutez ce code :

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

Meilleures pratiques pour NVIDIA Spark

Lorsque vous utilisez NVIDIA Spark, il existe plusieurs bonnes pratiques à suivre afin d'optimiser les performances de YOLO11.

1. Surveiller les performances du système

   Utilisez les outils de surveillance NVIDIA pour track CPU GPU CPU :

   nvidia-smi
   

2. Optimiser l'utilisation de la mémoire

   Avec 128 Go de mémoire unifiée, DGX Spark peut traiter des lots et des modèles de grande taille. Envisagez d'augmenter la taille des lots pour améliorer le débit :

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. Utilisez TensorRT FP16 ou INT8

   Pour obtenir les meilleures performances, exportez les modèles avec une précision FP16 ou INT8 :

   yolo export model=yolo11n.pt format=engine half=True # FP16
   yolo export model=yolo11n.pt format=engine int8=True # INT8
   

Mises à jour du système (édition Founders)

Il est essentiel de maintenir votre DGX Spark Founders Edition à jour pour garantir ses performances et sa sécurité. NVIDIA deux méthodes principales pour mettre à jour le système d'exploitation, les pilotes et le micrologiciel du système.

Utilisation du tableau de bord DGX (recommandé)

Le tableau de bord DGX est le moyen recommandé pour effectuer les mises à jour du système et garantir la compatibilité. Il vous permet de :

• Afficher les mises à jour système disponibles
• Installez les correctifs de sécurité et les mises à jour du système.
• Gérer les mises à jour NVIDIA et micrologiciels NVIDIA

Mises à jour manuelles du système

Pour les utilisateurs avancés, les mises à jour peuvent être effectuées manuellement via le terminal :

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

Prochaines étapes

Pour plus d'informations et d'assistance, consultez la YOLO11 Ultralytics YOLO11 .

FAQ

Comment déployer Ultralytics YOLO11 NVIDIA Spark ?

Le déploiement Ultralytics YOLO11 NVIDIA Spark est très simple. Vous pouvez utiliser l'image Docker pré-construite pour une configuration rapide ou installer manuellement les paquets requis. Vous trouverez les étapes détaillées pour chaque approche dans les sections Démarrage rapide avec Docker et Démarrer avec l'installation native.

Quelles performances puis-je attendre de YOLO11 NVIDIA Spark ?

YOLO11 offrent d'excellentes performances sur DGX Spark grâce à la superpuce GB10 Grace Blackwell. Le TensorRT offre les meilleures performances d'inférence. Consultez la section Tableau comparatif détaillé pour connaître les résultats spécifiques des tests de performance pour différentes tailles et différents formats de modèles.

Pourquoi devrais-je utiliser TensorRT YOLO11 DGX Spark ?

TensorRT fortement recommandé pour le déploiement YOLO11 sur DGX Spark en raison de ses performances optimales. Il accélère l'inférence en tirant parti des GPU Blackwell, garantissant une efficacité et une vitesse maximales. Pour en savoir plus, consultez la section Utilisation TensorRT NVIDIA Spark.

Comment DGX Spark se compare-t-il aux appareils Jetson pour YOLO11?

DGX Spark offre une puissance de calcul nettement supérieure à celle des appareils Jetson, avec jusqu'à 1 PFLOP de performances IA et 128 Go de mémoire unifiée, contre 2070 TFLOPS et 128 Go de mémoire pour Jetson AGX Thor. DGX Spark est conçu comme un supercalculateur IA de bureau, tandis que les appareils Jetson sont des systèmes embarqués optimisés pour un déploiement en périphérie.

Puis-je utiliser la même image Docker pour DGX Spark et Jetson AGX Thor ?

Oui ! Le ultralytics/ultralytics:latest-nvidia-arm64 L'image Docker prend en charge à la fois NVIDIA Spark (avec DGX OS) et Jetson AGX Thor (avec JetPack 7.0), car les deux utilisent l'architecture ARM64 avec CUDA et des piles logicielles similaires.

📅 Créé il y a 0 jour ✏️ Mis à jour il y a 0 jour

Commentaires