Guide de démarrage rapide : NVIDIA Jetson avec Ultralytics YOLO11

Ce guide complet fournit une marche à suivre détaillée pour déployer Ultralytics YOLO11 sur NVIDIA Jetson devices. En outre, il présente des repères de performance pour démontrer les capacités de YOLO11 sur ces appareils petits et puissants.

Regarder : Comment configurer NVIDIA Jetson avec Ultralytics YOLO11

Qu'est-ce que NVIDIA Jetson ?

NVIDIA Jetson est une série de cartes informatiques embarquées conçues pour apporter l'accélération de l'informatique de l'IA (intelligence artificielle) aux appareils périphériques. Ces appareils compacts et puissants sont construits autour de l'architecture GPU de NVIDIA et sont capables d'exécuter des algorithmes d'IA complexes et des modèles d'apprentissage profond directement sur l'appareil, sans avoir besoin de s'appuyer sur des ressources informatiques en nuage. Les cartes Jetson sont souvent utilisées dans la robotique, les véhicules autonomes, l'automatisation industrielle et d'autres applications où l'inférence de l'IA doit être effectuée localement avec une faible latence et une grande efficacité. En outre, ces cartes sont basées sur l'architecture ARM64 et fonctionnent à faible consommation par rapport aux dispositifs informatiques traditionnels GPU .

NVIDIA Comparaison des séries Jetson

Jetson Orin est la dernière itération de la famille Jetson NVIDIA basée sur l'architecture Ampere NVIDIA qui améliore considérablement les performances de l'intelligence artificielle par rapport aux générations précédentes. Le tableau ci-dessous compare quelques-uns des appareils Jetson présents dans l'écosystème.

Pour un tableau comparatif plus détaillé, veuillez consulter la section Spécifications techniques de la page officielle NVIDIA Jetson.

Qu'est-ce que NVIDIA JetPack ?

NVIDIA Le SDK JetPack qui équipe les modules Jetson est la solution la plus complète et fournit un environnement de développement complet pour créer des applications d'IA accélérées de bout en bout et raccourcir le délai de mise sur le marché. JetPack comprend Jetson Linux avec chargeur de démarrage, noyau Linux, environnement de bureau Ubuntu et un ensemble complet de bibliothèques pour l'accélération du calcul GPU , du multimédia, du graphisme et de la vision par ordinateur. Il comprend également des échantillons, de la documentation et des outils de développement pour l'ordinateur hôte et le kit de développement, et prend en charge des SDK de niveau supérieur tels que DeepStream pour l'analyse vidéo en continu, Isaac pour la robotique et Riva pour l'IA conversationnelle.

Flash JetPack pour NVIDIA Jetson

La première étape après avoir mis la main sur un appareil NVIDIA Jetson est de flasher NVIDIA JetPack sur l'appareil. Il existe plusieurs façons de flasher les appareils NVIDIA Jetson.

1. Si vous possédez un kit de développement officiel NVIDIA tel que le kit de développement Jetson Orin Nano, vous pouvez télécharger une image et préparer une carte SD avec JetPack pour démarrer l'appareil.
2. Si vous possédez un autre kit de développement NVIDIA , vous pouvez flasher JetPack sur l'appareil à l'aide du SDK Manager.
3. Si vous possédez un appareil Seeed Studio reComputer J4012, vous pouvez flasher JetPack sur le SSD inclus et si vous possédez un appareil Seeed Studio reComputer J1020 v2, vous pouvez flasher JetPack sur l'eMMC/ SSD.
4. Si vous possédez un autre appareil tiers alimenté par le module Jetson de NVIDIA , il est recommandé de suivre le flashage en ligne de commande.

Support de JetPack basé sur le dispositif Jetson

Le tableau ci-dessous présente les versions de NVIDIA JetPack prises en charge par les différents appareils NVIDIA Jetson.

Démarrage rapide avec Docker

Le moyen le plus rapide de démarrer avec Ultralytics YOLO11 sur NVIDIA Jetson est d'utiliser des images docker préconstruites pour Jetson. Reportez-vous au tableau ci-dessus et choisissez la version de JetPack en fonction de l'appareil Jetson que vous possédez.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Après cela, passez à la section Utiliser TensorRT sur NVIDIA Jetson.

Commencer par l'installation native

Pour une installation native sans Docker, veuillez vous référer aux étapes ci-dessous.

Run on JetPack 6.1

Installer le paquet Ultralytics

Ici, nous allons installer le paquet Ultralytics sur le Jetson avec les dépendances optionnelles afin que nous puissions exporter les modèles dans d'autres formats. PyTorch vers d'autres formats différents. Nous nous concentrerons principalement sur les exportationsNVIDIA TensorRT car TensorRT nous permettra d'obtenir des performances maximales sur les appareils Jetson.

1. Mise à jour de la liste des paquets, installation de pip et mise à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics paquetage pip avec dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarrer l'appareil

   sudo reboot
   

Installer PyTorch et Torchvision

L'installation de ultralytics ci-dessus permet d'installer Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles pour fonctionner sur la plateforme Jetson qui est basée sur l'architecture ARM64. Par conséquent, nous devons installer manuellement PyTorch pip wheel et compiler/installer Torchvision à partir des sources.

Installer torch 2.5.0 et torchvision 0.20 according to JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

Installer cuSPARSELt to fix a dependency issue with torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

Installer onnxruntime-gpu

Le onnxruntime-gpu hébergé dans PyPI n'a pas de aarch64 pour la Jetson. Nous devons donc installer manuellement ce paquet. Ce paquet est nécessaire pour certaines exportations.

Tous différents onnxruntime-gpu Les paquets correspondant aux différentes versions de JetPack et de Python sont listés ici. Cependant, nous allons ici télécharger et installer onnxruntime-gpu 1.20.0 avec Python3.10 le soutien.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Run on JetPack 5.1.2

Installer le paquet Ultralytics

Ici, nous allons installer le paquet Ultralytics sur le Jetson avec des dépendances optionnelles afin que nous puissions exporter les modèles PyTorch vers d'autres formats différents. Nous nous concentrerons principalement sur les exportationsNVIDIA TensorRT car TensorRT nous permettra d'obtenir les performances maximales des appareils Jetson.

1. Mise à jour de la liste des paquets, installation de pip et mise à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics paquetage pip avec dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarrer l'appareil

   sudo reboot
   

Installer PyTorch et Torchvision

L'installation de ultralytics ci-dessus permet d'installer Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles pour fonctionner sur la plateforme Jetson qui est basée sur l'architecture ARM64. Par conséquent, nous devons installer manuellement PyTorch pip wheel et compiler/installer Torchvision à partir des sources.

1. Désinstaller les versions actuellement installées de PyTorch et Torchvision

   pip uninstall torch torchvision
   

2. Installer torch 2.1.0 et torchvision 0.16.2 according to JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl
   

Installer onnxruntime-gpu

Le onnxruntime-gpu hébergé dans PyPI n'a pas de aarch64 pour la Jetson. Nous devons donc installer manuellement ce paquet. Ce paquet est nécessaire pour certaines exportations.

Tous différents onnxruntime-gpu Les paquets correspondant aux différentes versions de JetPack et de Python sont listés ici. Cependant, nous allons ici télécharger et installer onnxruntime-gpu 1.17.0 avec Python3.8 le soutien.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilisez TensorRT sur NVIDIA Jetson

Parmi tous les formats d'exportation de modèles pris en charge par Ultralytics, TensorRT offre les meilleures performances d'inférence lorsque l'on travaille avec NVIDIA Jetson devices et nous recommandons d'utiliser TensorRT avec Jetson. Nous avons également un document détaillé sur TensorRT ici.

Convertir le modèle en TensorRT et lancer l'inférence

Le modèle YOLO11n au format PyTorch est converti en TensorRT pour exécuter l'inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

Utiliser NVIDIA Deep Learning Accelerator (DLA)

NVIDIA Deep Learning Accelerator (DLA) est un composant matériel spécialisé intégré dans les appareils Jetson de NVIDIA qui optimise l'inférence de l'apprentissage profond en termes d'efficacité énergétique et de performance. En déchargeant le site GPU de certaines tâches (en le libérant pour des processus plus intensifs), le DLA permet aux modèles de fonctionner avec une consommation d'énergie plus faible tout en maintenant un débit élevé, ce qui est idéal pour les systèmes embarqués et les applications d'IA en temps réel.

Les appareils Jetson suivants sont équipés de matériel DLA :

• Jetson Orin NX 16GB
• Série Jetson AGX Orin
• Jetson AGX Série Xavier
• Série Jetson Xavier NX

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
yolo export model=yolo11n.pt format=engine device="dla:0" half=True  # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 Benchmarks

YOLO11 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on both NVIDIA Jetson Orin Nano Super Developer Kit and Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Comparison Charts

Même si tous les modèles d'exportation fonctionnent avec NVIDIA Jetson, nous n'avons inclus que PyTorch, TorchScript, TensorRT dans le tableau comparatif ci-dessous parce qu'ils utilisent GPU sur le Jetson et qu'ils sont garantis de produire les meilleurs résultats. Toutes les autres exportations n'utilisent que CPU et leurs performances ne sont pas aussi bonnes que celles des trois exportations ci-dessus. Vous trouverez des points de référence pour toutes les exportations dans la section qui suit ce tableau.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Detailed Comparison Tables

Le tableau ci-dessous représente les résultats du benchmark pour cinq modèles différents (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) sur dix formats différents (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF GraphDef , TF Lite, PaddlePaddle, NCNN), nous donnant le statut, la taille, la métrique mAP50-95(B), et le temps d'inférence pour chaque combinaison.

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

Découvrez d'autres analyses comparatives réalisées par Seeed Studio sur différentes versions du matériel NVIDIA Jetson.

Reproduire nos résultats

Pour reproduire les résultats de Ultralytics sur tous les formats d' exportation, exécutez ce code :

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmark(data="coco8.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml imgsz=640

Meilleures pratiques lors de l'utilisation de NVIDIA Jetson

Lors de l'utilisation de NVIDIA Jetson, il y a quelques bonnes pratiques à suivre afin d'obtenir des performances maximales sur NVIDIA Jetson exécutant YOLO11.

1. Activer le mode d'alimentation MAX

   L'activation du mode MAX Power sur la Jetson permet de s'assurer que tous les cœurs CPU, GPU sont activés.

   sudo nvpmodel -m 0
   

2. Activer les horloges Jetson

   L'activation des horloges Jetson permet de s'assurer que tous les cœurs CPU, GPU sont cadencés à leur fréquence maximale.

   sudo jetson_clocks
   

3. Installer l'application Jetson Stats

   Nous pouvons utiliser l'application jetson stats pour surveiller les températures des composants du système et vérifier d'autres détails du système tels que CPU, GPU, l'utilisation de la RAM, changer les modes d'alimentation, régler les horloges au maximum, vérifier les informations JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Prochaines étapes

Félicitations pour avoir réussi à configurer YOLO11 sur votre NVIDIA Jetson ! Pour plus d'informations et d'assistance, visitez le guide Ultralytics YOLO11 Docs!

FAQ

Comment déployer Ultralytics YOLO11 sur les appareils NVIDIA Jetson ?

Le déploiement de Ultralytics YOLO11 sur NVIDIA Jetson est un processus simple. Tout d'abord, flashez votre appareil Jetson avec le SDK JetPack de NVIDIA . Ensuite, utilisez une image Docker préconstruite pour une installation rapide ou installez manuellement les paquets requis. Les étapes détaillées de chaque approche peuvent être trouvées dans les sections Démarrage rapide avec Docker et Démarrage avec l'installation native.

Quels sont les critères de performance auxquels je peux m'attendre avec les modèles YOLO11 sur les appareils NVIDIA Jetson ?

YOLO11 models have been benchmarked on various NVIDIA Jetson devices showing significant performance improvements. For example, the TensorRT format delivers the best inference performance. The table in the Detailed Comparison Tables section provides a comprehensive view of performance metrics like mAP50-95 and inference time across different model formats.

Pourquoi devrais-je utiliser TensorRT pour déployer YOLO11 sur NVIDIA Jetson ?

TensorRT est fortement recommandé pour le déploiement des modèles YOLO11 sur NVIDIA Jetson en raison de ses performances optimales. Il accélère l'inférence en exploitant les capacités de GPU de Jetson, ce qui garantit une efficacité et une vitesse maximales. Pour en savoir plus sur la conversion en TensorRT et l'exécution de l'inférence, consultez la section Utilisation de TensorRT sur NVIDIA Jetson.

Comment installer PyTorch et Torchvision sur NVIDIA Jetson ?

To install PyTorch and Torchvision on NVIDIA Jetson, first uninstall any existing versions that may have been installed via pip. Then, manually install the compatible PyTorch and Torchvision versions for the Jetson's ARM64 architecture. Detailed instructions for this process are provided in the Installation of PyTorch and Torchvision section.

Quelles sont les meilleures pratiques pour maximiser les performances sur NVIDIA Jetson lors de l'utilisation de YOLO11?

Pour optimiser les performances sur NVIDIA Jetson avec YOLO11, suivez ces bonnes pratiques :

1. Activez le mode MAX Power pour utiliser tous les cœurs CPU et GPU .
2. Activez les horloges Jetson pour faire fonctionner tous les cœurs à leur fréquence maximale.
3. Installez l'application Jetson Stats pour surveiller les paramètres du système.

Pour les commandes et des détails supplémentaires, reportez-vous à la section Meilleures pratiques lors de l'utilisation de NVIDIA Jetson.

📅C réé il y a 9 mois ✏️ Mis à jour il y a 11 jours

Commentaires