Guide de démarrage rapide : NVIDIA Jetson avec Ultralytics YOLOv8

Ce guide complet fournit une marche à suivre détaillée pour déployer Ultralytics YOLOv8 sur NVIDIA Jetson devices. En outre, il présente des repères de performance pour démontrer les capacités de YOLOv8 sur ces appareils petits et puissants.

Regarde : Comment configurer NVIDIA Jetson avec Ultralytics YOLOv8

Qu'est-ce que NVIDIA Jetson ?

NVIDIA Jetson is a series of embedded computing boards designed to bring accelerated AI (artificial intelligence) computing to edge devices. These compact and powerful devices are built around NVIDIA's GPU architecture and are capable of running complex AI algorithms and deep learning models directly on the device, without needing to rely on cloud computing resources. Jetson boards are often used in robotics, autonomous vehicles, industrial automation, and other applications where AI inference needs to be performed locally with low latency and high efficiency. Additionally, these boards are based on the ARM64 architecture and runs on lower power compared to traditional GPU computing devices.

NVIDIA Comparaison des séries Jetson

Jetson Orin est la dernière itération de la famille Jetson NVIDIA basée sur l'architecture Ampere NVIDIA qui améliore considérablement les performances de l'intelligence artificielle par rapport aux générations précédentes. Le tableau ci-dessous compare quelques-uns des appareils Jetson de l'écosystème.

Pour un tableau comparatif plus détaillé, visite la section Spécifications techniques de la page officielle NVIDIA Jetson.

Qu'est-ce que NVIDIA JetPack ?

NVIDIA JetPack SDK powering the Jetson modules is the most comprehensive solution and provides full development environment for building end-to-end accelerated AI applications and shortens time to market. JetPack includes Jetson Linux with bootloader, Linux kernel, Ubuntu desktop environment, and a complete set of libraries for acceleration of GPU computing, multimedia, graphics, and computer vision. It also includes samples, documentation, and developer tools for both host computer and developer kit, and supports higher level SDKs such as DeepStream for streaming video analytics, Isaac for robotics, and Riva for conversational AI.

Flash JetPack pour NVIDIA Jetson

La première étape après avoir mis la main sur un appareil NVIDIA Jetson est de flasher NVIDIA JetPack sur l'appareil. Il existe plusieurs façons de flasher les appareils NVIDIA Jetson.

1. Si tu possèdes un kit de développement officiel NVIDIA tel que le kit de développement Jetson Orin Nano, tu peux télécharger une image et préparer une carte SD avec JetPack pour démarrer l'appareil.
2. Si tu possèdes un autre kit de développement NVIDIA , tu peux flasher JetPack sur l'appareil à l'aide du SDK Manager.
3. Si tu possèdes un appareil Seeed Studio reComputer J4012, tu peux flasher JetPack sur le SSD inclus et si tu possèdes un appareil Seeed Studio reComputer J1020 v2, tu peux flasher JetPack sur l'eMMC/ SSD.
4. Si tu possèdes un autre appareil tiers alimenté par le module Jetson de NVIDIA , il est recommandé de suivre le flashage en ligne de commande.

Prise en charge de JetPack basée sur l'appareil Jetson

Le tableau ci-dessous présente les versions de NVIDIA JetPack prises en charge par les différents appareils NVIDIA Jetson.

Démarrage rapide avec Docker

Le moyen le plus rapide de démarrer avec Ultralytics YOLOv8 sur NVIDIA Jetson est de fonctionner avec des images docker préconstruites pour Jetson. Reporte-toi au tableau ci-dessus et choisis la version de JetPack en fonction de l'appareil Jetson que tu possèdes.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Une fois que c'est fait, passe à la section Utiliser TensorRT sur NVIDIA Jetson.

Commence par l'installation native

Pour une installation native sans Docker, tu peux te référer aux étapes ci-dessous.

Fonctionne avec JetPack 6.x

Installer le paquet Ultralytics

Here we will install Ultralytics package on the Jetson with optional dependencies so that we can export the PyTorch models to other different formats. We will mainly focus on NVIDIA TensorRT exports because TensorRT will make sure we can get the maximum performance out of the Jetson devices.

1. Mettre à jour la liste des paquets, installer pip et mettre à niveau vers la dernière version.

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics paquet pip avec dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarre l'appareil

   sudo reboot
   

Installe PyTorch et Torchvision

L'installation de ultralytics ci-dessus permet d'installer Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles pour fonctionner sur la plateforme Jetson qui est basée sur l'architecture ARM64. Par conséquent, nous devons installer manuellement PyTorch pip wheel et compiler/installer Torchvision à partir des sources.

Installer torch 2.3.0 et torchvision 0.18 selon JP6.0

sudo apt-get install libopenmpi-dev libopenblas-base libomp-dev -y
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.3.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.18.0a0+6043bc2-cp310-cp310-linux_aarch64.whl

Visite la pagePyTorch pour Jetson pour accéder à toutes les différentes versions de PyTorch pour les différentes versions de JetPack. Pour une liste plus détaillée des compatibilités PyTorch et Torchvision, visite la pagePyTorch et Torchvision compatibility.

Installer onnxruntime-gpu

Le onnxruntime-gpu hébergé dans PyPI n'a pas de aarch64 pour la Jetson. Nous devons donc installer manuellement ce paquet. Ce paquet est nécessaire pour certaines exportations.

Tous différents onnxruntime-gpu Les paquets correspondant aux différentes versions de JetPack et de Python sont listés ici. Cependant, nous allons ici télécharger et installer onnxruntime-gpu 1.18.0 avec Python3.10 soutien.

wget https://nvidia.box.com/shared/static/48dtuob7meiw6ebgfsfqakc9vse62sg4.whl -O onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl
pip install onnxruntime_gpu-1.18.0-cp310-cp310-linux_aarch64.whl

Exécuter sur JetPack 5.x

Installer le paquet Ultralytics

Ici, nous allons installer le paquet Ultralytics sur le Jetson avec des dépendances optionnelles afin que nous puissions exporter les modèles PyTorch vers d'autres formats différents. Nous nous concentrerons principalement sur les exportationsNVIDIA TensorRT car TensorRT nous permettra de tirer le maximum de performances des appareils Jetson.

1. Mettre à jour la liste des paquets, installer pip et mettre à niveau vers la dernière version.

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. Installer ultralytics paquet pip avec dépendances optionnelles

   pip install ultralytics[export]
   

3. Redémarre l'appareil

   sudo reboot
   

Installe PyTorch et Torchvision

L'installation de ultralytics ci-dessus permet d'installer Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles pour fonctionner sur la plateforme Jetson qui est basée sur l'architecture ARM64. Par conséquent, nous devons installer manuellement PyTorch pip wheel et compiler/installer Torchvision à partir des sources.

1. Désinstalle les versions actuellement installées de PyTorch et Torchvision.

   pip uninstall torch torchvision
   

2. Installe PyTorch 2.1.0 conformément à JP5.1.3

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. Installe Torchvision v0.16.2 selon PyTorch v2.1.0

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

Visite la pagePyTorch pour Jetson pour accéder à toutes les différentes versions de PyTorch pour les différentes versions de JetPack. Pour une liste plus détaillée des compatibilités PyTorch et Torchvision, visite la pagePyTorch et Torchvision compatibility.

Installer onnxruntime-gpu

Le onnxruntime-gpu hébergé dans PyPI n'a pas de aarch64 pour la Jetson. Nous devons donc installer manuellement ce paquet. Ce paquet est nécessaire pour certaines exportations.

Tous différents onnxruntime-gpu Les paquets correspondant aux différentes versions de JetPack et de Python sont listés ici. Cependant, nous allons ici télécharger et installer onnxruntime-gpu 1.17.0 avec Python3.8 soutien.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilise TensorRT sur NVIDIA Jetson

Parmi tous les formats d'exportation de modèles pris en charge par Ultralytics, TensorRT offre les meilleures performances d'inférence lorsque l'on travaille avec NVIDIA Jetson devices et notre recommandation est d'utiliser TensorRT avec Jetson. Nous avons également un document détaillé sur TensorRT ici.

Convertir le modèle en TensorRT et lancer l'inférence

Le modèle YOLOv8n au format PyTorch est converti en TensorRT pour effectuer une inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLOv8 Benchmarks

YOLOv8 benchmarks were run by the Ultralytics team on 10 different model formats measuring speed and accuracy: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, PaddlePaddle, NCNN. Benchmarks were run on Seeed Studio reComputer J4012 powered by Jetson Orin NX 16GB device at FP32 precision with default input image size of 640.

Tableau de comparaison

Même si tous les modèles d'exportation fonctionnent avec NVIDIA Jetson, nous n'avons inclus que PyTorch, TorchScript, TensorRT dans le tableau comparatif ci-dessous parce qu'ils utilisent GPU sur la Jetson et qu'ils sont garantis de produire les meilleurs résultats. Toutes les autres exportations n'utilisent que le site CPU et les performances ne sont pas aussi bonnes que celles des trois exportations ci-dessus. Tu trouveras des repères pour toutes les exportations dans la section qui suit ce tableau.

Tableau comparatif détaillé

Le tableau ci-dessous présente les résultats de référence pour cinq modèles différents (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) dans dix formats différents (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite PaddlePaddle, NCNN), nous donnant l’état, la taille, la métrique mAP50-95(B) et le temps d’inférence pour chaque combinaison.

Explore d'autres efforts d'analyse comparative de Seeed Studio fonctionnant sur différentes versions du matériel NVIDIA Jetson.

Reproduis nos résultats

Pour reproduire les repères ci-dessus Ultralytics sur tous les formats d' exportation, exécute ce code :

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

Meilleures pratiques lors de l'utilisation de NVIDIA Jetson

Lorsque tu utilises NVIDIA Jetson, il y a quelques bonnes pratiques à suivre afin d'obtenir des performances maximales sur NVIDIA Jetson exécutant YOLOv8.

1. Activer le mode d'alimentation MAX

   L'activation du mode MAX Power sur la Jetson permet de s'assurer que tous les cœurs CPU, GPU sont activés.

   sudo nvpmodel -m 0
   

2. Activer les horloges Jetson

   L'activation des horloges Jetson permet de s'assurer que tous les cœurs CPU, GPU sont cadencés à leur fréquence maximale.

   sudo jetson_clocks
   

3. Installe l'application Jetson Stats

   Nous pouvons utiliser l'application jetson stats pour surveiller les températures des composants du système et vérifier d'autres détails du système tels que CPU, GPU, l'utilisation de la RAM, changer les modes d'alimentation, régler les horloges au maximum, vérifier les informations JetPack.

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

Prochaines étapes

Félicitations pour avoir réussi à installer YOLOv8 sur ton NVIDIA Jetson ! Pour en savoir plus et obtenir de l'aide, consulte le guide Ultralytics YOLOv8 Docs!

FAQ

Comment déployer Ultralytics YOLOv8 sur les appareils NVIDIA Jetson ?

Le déploiement de Ultralytics YOLOv8 sur NVIDIA Jetson est un processus simple. Tout d'abord, flashe ton appareil Jetson avec le SDK JetPack de NVIDIA . Ensuite, tu peux soit utiliser une image Docker préconstruite pour une configuration rapide, soit installer manuellement les paquets requis. Les étapes détaillées de chaque approche se trouvent dans les sections Démarrage rapide avec Docker et Démarrage avec l'installation native.

Quels repères de performance puis-je attendre des modèles YOLOv8 sur les appareils NVIDIA Jetson ?

YOLOv8 ont fait l'objet d'une analyse comparative sur divers appareils NVIDIA Jetson, ce qui a permis de constater des améliorations significatives en termes de performances. Par exemple, le format TensorRT offre les meilleures performances en matière d'inférence. Le tableau de la section Tableau comparatif détaillé offre une vue d'ensemble des mesures de performance telles que mAP50-95 et le temps d'inférence entre les différents formats de modèles.

Pourquoi devrais-je utiliser TensorRT pour déployer YOLOv8 sur NVIDIA Jetson ?

TensorRT est fortement recommandé pour le déploiement des modèles YOLOv8 sur NVIDIA Jetson en raison de ses performances optimales. Il accélère l'inférence en tirant parti des capacités de GPU de Jetson, ce qui garantit une efficacité et une vitesse maximales. Pour en savoir plus sur la façon de convertir en TensorRT et d'exécuter l'inférence, consulte la section Utiliser TensorRT sur NVIDIA Jetson.

Comment puis-je installer PyTorch et Torchvision sur NVIDIA Jetson ?

Pour installer PyTorch et Torchvision sur NVIDIA Jetson, désinstalle d'abord toutes les versions existantes qui ont pu être installées via pip. Ensuite, installe manuellement les versions PyTorch et Torchvision compatibles avec l'architecture ARM64 de la Jetson. Des instructions détaillées pour ce processus sont fournies dans la section Installer PyTorch et Torchvision.

Quelles sont les meilleures pratiques pour maximiser les performances sur NVIDIA Jetson lorsque tu utilises YOLOv8?

Pour maximiser les performances sur NVIDIA Jetson avec YOLOv8, suis ces bonnes pratiques :

1. Active le mode MAX Power pour utiliser tous les cœurs CPU et GPU .
2. Active les horloges Jetson pour faire fonctionner tous les cœurs à leur fréquence maximale.
3. Installe l'application Jetson Stats pour surveiller les métriques du système.

Pour les commandes et les détails supplémentaires, reporte-toi à la section Meilleures pratiques lors de l'utilisation de NVIDIA Jetson.

📅C réé il y a 6 mois ✏️ Mis à jour il y a 15 jours

Commentaires