Guide de démarrage rapide : NVIDIA Jetson avec Ultralytics YOLOv8

Ce guide complet fournit une marche à suivre détaillée pour déployer Ultralytics YOLOv8 sur les appareils NVIDIA Jetson. En outre, il présente des repères de performance pour démontrer les capacités de YOLOv8 sur ces petits et puissants appareils.

Qu'est-ce que NVIDIA Jetson ?

NVIDIA Jetson est une série de cartes informatiques embarquées conçues pour apporter l'informatique accélérée de l'IA (intelligence artificielle) aux appareils périphériques. Ces appareils compacts et puissants sont construits autour de l'architecture GPU de NVIDIA et sont capables d'exécuter des algorithmes d'IA complexes et des modèles d'apprentissage profond directement sur l'appareil, sans avoir besoin de s'appuyer sur les ressources informatiques du cloud. Les cartes Jetson sont souvent utilisées dans la robotique, les véhicules autonomes, l'automatisation industrielle et d'autres applications où l'inférence de l'IA doit être effectuée localement avec une faible latence et une grande efficacité. De plus, ces cartes sont basées sur l'architecture ARM64 et fonctionnent avec une puissance moindre par rapport aux appareils traditionnels de calcul par le GPU.

Comparaison des séries NVIDIA Jetson

Jetson Orin est la dernière itération de la famille NVIDIA Jetson basée sur l'architecture NVIDIA Ampere qui apporte des performances d'IA drastiquement améliorées par rapport aux générations précédentes. Le tableau ci-dessous a comparé quelques appareils Jetson dans l'écosystème.

Pour un tableau comparatif plus détaillé, visite la section Spécifications techniques de la page officielle de NVIDIA Jetson.

Qu'est-ce que NVIDIA JetPack ?

Le SDK NVIDIA JetPack qui alimente les modules Jetson est la solution la plus complète et fournit un environnement de développement complet pour créer des applications d'IA accélérées de bout en bout et raccourcir le temps de mise sur le marché. JetPack comprend Jetson Linux avec le chargeur de démarrage, le noyau Linux, l'environnement de bureau Ubuntu et un ensemble complet de bibliothèques pour l'accélération du calcul par le GPU, le multimédia, le graphisme et la vision par ordinateur. Il comprend également des échantillons, de la documentation et des outils de développement pour l'ordinateur hôte et le kit de développement, et prend en charge des SDK de niveau supérieur tels que DeepStream pour l'analyse vidéo en continu, Isaac pour la robotique et Riva pour l'IA conversationnelle.

Flash JetPack pour NVIDIA Jetson

La première étape après avoir mis la main sur un appareil NVIDIA Jetson est de flasher le NVIDIA JetPack sur l'appareil. Il existe plusieurs façons de flasher les appareils NVIDIA Jetson.

1. Si tu possèdes un kit de développement NVIDIA officiel tel que le kit de développement Jetson Orin Nano, tu peux visiter ce lien pour télécharger une image et préparer une carte SD avec JetPack pour démarrer l'appareil.
2. Si tu possèdes un autre kit de développement NVIDIA, tu peux visiter ce lien pour flasher JetPack sur l'appareil à l'aide du SDK Manager.
3. Si tu possèdes un appareil Seeed Studio reComputer J4012, tu peux visiter ce lien pour flasher JetPack sur le SSD inclus.
4. Si tu possèdes un autre appareil tiers alimenté par le module NVIDIA Jetson, il est recommandé de suivre le flashage en ligne de commande en visitant ce lien.

Mise en place Ultralytics

Il y a deux façons de configurer le paquet Ultralytics sur NVIDIA Jetson pour construire ton prochain projet de vision par ordinateur. Tu peux utiliser l'une ou l'autre.

• Commence avec Docker
• Démarrer sans Docker

Commence avec Docker

La façon la plus rapide de commencer avec Ultralytics YOLOv8 sur NVIDIA Jetson est de fonctionner avec une image docker préconstruite pour Jetson.

Exécute la commande ci-dessous pour tirer le conteneur Docker et l'exécuter sur Jetson. Ceci est basé sur l'image docker l4t-pytorch qui contient PyTorch et Torchvision dans un environnement Python3.

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Une fois que c'est fait, passe à la section Utiliser TensorRT sur NVIDIA Jetson.

Démarrer sans Docker

Installer le paquet Ultralytics

Ici, nous allons installer le paquet ultralyics sur le Jetson avec les dépendances optionnelles afin de pouvoir exporter les modèles PyTorch vers d'autres formats différents. Nous nous concentrerons principalement sur les exportations NVIDIA TensorRT car TensoRT nous permettra d'obtenir les performances maximales des appareils Jetson.

1. Mettre à jour la liste des paquets, installer pip et mettre à niveau vers la dernière version.

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics paquet pip avec dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarre l'appareil

   sudo reboot
   

Installe PyTorch et Torchvision

L'installation de ultralytics ci-dessus permet d'installer Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles pour fonctionner sur la plateforme Jetson qui est basée sur l'architecture ARM64. Par conséquent, nous devons installer manuellement PyTorch pip wheel et compiler/installer Torchvision à partir des sources.

1. Désinstalle les versions actuellement installées de PyTorch et Torchvision.

   pip uninstall torch torchvision
   

2. Installe PyTorch 2.1.0 conformément à JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Installe Torchvision v0.16.2 selon PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Visite la pagePyTorch pour Jetson pour accéder à toutes les différentes versions de PyTorch pour les différentes versions de JetPack. Pour une liste plus détaillée des compatibilités PyTorch et Torchvision, visite la pagePyTorch et Torchvision compatibility.

Installer onnxruntime-gpu

Le onnxruntime-gpu hébergé dans PyPI n'a pas de aarch64 pour la Jetson. Nous devons donc installer manuellement ce paquet. Ce paquet est nécessaire pour certaines exportations.

Tous différents onnxruntime-gpu Les paquets correspondant aux différentes versions de JetPack et de Python sont listés ici. Cependant, nous allons ici télécharger et installer onnxruntime-gpu 1.17.0 avec Python3.8 pour le JetPack que nous utilisons dans ce guide.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilise TensorRT sur NVIDIA Jetson

Parmi tous les formats d'exportation de modèles pris en charge par Ultralytics, TensorRT offre les meilleures performances d'inférence lorsque l'on travaille avec des appareils NVIDIA Jetson et nous recommandons d'utiliser TensorRT avec Jetson. Nous avons également un document détaillé sur TensorRT ici.

Convertir le modèle en TensorRT et lancer l'inférence

Le modèle YOLOv8n au format PyTorch est converti en TensorRT pour effectuer une inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Benchmarks

YOLOv8 Des tests ont été effectués par l'équipe de Ultralytics sur 10 modèles de formats différents pour mesurer la vitesse et la précision : PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN. Les tests ont été effectués sur le Seeed Studio reComputer J4012 équipé d'un appareil Jetson Orin NX de 16 Go avec une précision FP32 et une taille d'image d'entrée par défaut de 640.

Tableau de comparaison

Bien que tous les modèles exportés fonctionnent avec la NVIDIA Jetson, nous n'avons inclus que PyTorch, TorchScript, TensorRT dans le tableau comparatif ci-dessous parce qu'ils utilisent le GPU de la Jetson et qu'ils sont garantis de produire les meilleurs résultats. Toutes les autres exportations n'utilisent que le processeur et les performances ne sont pas aussi bonnes que celles des trois exportations ci-dessus. Tu trouveras des repères pour toutes les exportations dans la section qui suit ce tableau.

Tableau comparatif détaillé

Le tableau ci-dessous représente les résultats du benchmark pour cinq modèles différents (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) sur dix formats différents (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel , TF Graphdef , TF Lite, PaddlePaddle, NCNN), nous donnant le statut, la taille, la métrique mAP50-95(B), et le temps d'inférence pour chaque combinaison.

Consulte ce lien pour découvrir d'autres analyses comparatives réalisées par Seeed Studio sur différentes versions du matériel NVIDIA Jetson.

Reproduis nos résultats

Pour reproduire les repères ci-dessus Ultralytics sur tous les formats d' exportation, exécute ce code :

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Meilleures pratiques lors de l'utilisation de NVIDIA Jetson

Lorsque tu utilises la NVIDIA Jetson, il y a quelques bonnes pratiques à suivre afin d'obtenir des performances maximales sur la NVIDIA Jetson fonctionnant sur YOLOv8.

1. Activer le mode d'alimentation MAX

   L'activation du mode d'alimentation MAX sur la Jetson permet de s'assurer que tous les cœurs du processeur et du GPU sont activés.

   sudo nvpmodel -m 0
   

2. Activer les horloges Jetson

   L'activation des horloges Jetson permettra de s'assurer que tous les cœurs du CPU et du GPU sont cadencés à leur fréquence maximale.

   sudo jetson_clocks
   

3. Installe l'application Jetson Stats

   Nous pouvons utiliser l'application jetson stats pour surveiller les températures des composants du système et vérifier d'autres détails du système tels que l'affichage de l'utilisation du CPU, du GPU, de la RAM, le changement des modes d'alimentation, le réglage des horloges maximales, la vérification des informations JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Prochaines étapes

Félicitations pour avoir réussi à installer YOLOv8 sur ta NVIDIA Jetson ! Pour en savoir plus et obtenir de l'aide, consulte le guide suivant : Ultralytics YOLOv8 Docs!

Commentaires