Guide de démarrage rapide : NVIDIA Jetson avec Ultralytics YOLO26#

Ce guide complet fournit une description détaillée pour déployer Ultralytics YOLO26 sur les appareils NVIDIA Jetson. De plus, il présente des benchmarks de performances pour démontrer les capacités de YOLO26 sur ces appareils petits et puissants.

Qu'est-ce que NVIDIA Jetson ?#

NVIDIA Jetson est une série de cartes de calcul embarquées conçues pour apporter le calcul d'IA (intelligence artificielle) accéléré aux appareils en périphérie (edge). Ces appareils compacts et puissants sont construits autour de l'architecture GPU de NVIDIA et peuvent exécuter des algorithmes d'IA complexes et des modèles de deep learning directement sur l'appareil, sans dépendre des ressources de cloud computing. Les cartes Jetson sont souvent utilisées dans la robotique, les véhicules autonomes, l'automatisation industrielle et d'autres applications où l'inférence d'IA doit être effectuée localement avec une faible latence et une haute efficacité. De plus, ces cartes reposent sur l'architecture ARM64 et fonctionnent à plus faible puissance par rapport aux appareils de calcul GPU traditionnels.

Comparaison de la série NVIDIA Jetson#

NVIDIA Jetson AGX Thor est la dernière itération de la famille NVIDIA Jetson basée sur l'architecture NVIDIA Blackwell, qui apporte des performances d'IA considérablement améliorées par rapport aux générations précédentes. Le tableau ci-dessous compare quelques-uns des appareils Jetson de l'écosystème.

Pour consulter un tableau comparatif plus détaillé, visite la section Compare Specifications de la page officielle NVIDIA Jetson.

Qu'est-ce que NVIDIA JetPack ?#

Le NVIDIA JetPack SDK qui alimente les modules Jetson est la solution la plus complète et fournit un environnement de développement complet pour créer des applications d'IA accélérées de bout en bout et raccourcir le délai de mise sur le marché. JetPack comprend Jetson Linux avec un chargeur de démarrage, le noyau Linux, l'environnement de bureau Ubuntu et un ensemble complet de bibliothèques pour l'accélération du calcul GPU, du multimédia, des graphismes et de la computer vision. Il comprend également des exemples, de la documentation et des outils de développement pour l'ordinateur hôte et le kit de développement, et prend en charge des SDK de niveau supérieur tels que DeepStream pour l'analyse vidéo en continu, Isaac pour la robotique et Riva pour l'IA conversationnelle.

Flasher JetPack sur NVIDIA Jetson#

La première étape après avoir obtenu ton appareil NVIDIA Jetson est de flasher NVIDIA JetPack sur l'appareil. Il existe plusieurs façons différentes de flasher les appareils NVIDIA Jetson.

1. Pour JetPack 7.2 sur un kit de développement officiel Jetson AGX Thor, AGX Orin ou Orin Nano, télécharge l'ISO unifiée Jetson, écris-la sur une clé USB et suis le guide de démarrage rapide spécifique à l'appareil pour AGX Thor, AGX Orin ou Orin Nano. À partir de JetPack 7.2, l'Orin Nano n'utilise plus d'image de carte SD téléchargeable ; l'USB ISO installe Jetson Linux sur la carte microSD ou le SSD NVMe de l'appareil.
2. Si tu utilises intentionnellement JetPack 6 sur un kit de développement Jetson Orin Nano, suis les instructions de mise à jour et de carte SD de JetPack 6.x de NVIDIA.
3. Si tu possèdes un autre kit de développement NVIDIA, tu peux flasher JetPack sur l'appareil à l'aide de SDK Manager.
4. Si tu possèdes un appareil Seeed Studio reComputer J4012, tu peux flasher JetPack sur le SSD inclus et si tu possèdes un appareil Seeed Studio reComputer J1020 v2, tu peux flasher JetPack sur l'eMMC/SSD.
5. Si tu possèdes tout autre appareil tiers alimenté par le module NVIDIA Jetson, il est recommandé de suivre le flashage en ligne de commande.

Support JetPack basé sur l'appareil Jetson#

Le tableau ci-dessous met en évidence les versions de NVIDIA JetPack prises en charge par les différents appareils NVIDIA Jetson.

Démarrage rapide avec Docker#

Le moyen le plus rapide de commencer avec Ultralytics YOLO26 sur NVIDIA Jetson est de l'exécuter avec des images docker pré-construites pour Jetson. Reporte-toi au tableau ci-dessus et choisis la version de JetPack en fonction de l'appareil Jetson que tu possèdes.

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

Une fois cela fait, passe à la section Use TensorRT on NVIDIA Jetson.

Commencer avec une installation native#

Pour une installation native sans Docker, veuillez consulter les étapes ci-dessous.

Exécuter sur JetPack 7.2#

Installer le package Ultralytics#

Nous allons installer ici le package Ultralytics sur le Jetson avec les dépendances optionnelles afin de pouvoir exporter les modèles PyTorch vers d'autres formats. Nous nous concentrerons principalement sur les exportations NVIDIA TensorRT car TensorRT garantit l'obtention des performances maximales des appareils Jetson.

1. Mettre à jour la liste des packages, installer pip et mettre à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installer le package pip ultralytics avec les dépendances optionnelles

   pip install ultralytics[export]

3. Redémarrer l'appareil

   sudo reboot

Installer PyTorch et Torchvision#

L'installation d'Ultralytics ci-dessus installera Torch et Torchvision. Cependant, ces 2 paquets installés via pip ne sont pas compatibles avec les appareils JetPack 7.2 utilisant CUDA 13. Par conséquent, nous devons les installer manuellement.

Installer torch et torchvision selon JP7.2

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

Installer onnxruntime-gpu#

Le package onnxruntime-gpu hébergé sur PyPI ne possède pas de binaires aarch64 pour le Jetson. Nous devons donc installer manuellement ce package. Ce package est nécessaire pour certaines exportations.

Nous allons ici télécharger et installer onnxruntime-gpu 1.24.0 avec la prise en charge de Python3.12.

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

Exécuter sur JetPack 6.1#

Installer le package Ultralytics#

Nous allons installer ici le package Ultralytics sur le Jetson avec les dépendances optionnelles afin de pouvoir exporter les modèles PyTorch vers d'autres formats. Nous nous concentrerons principalement sur les exportations NVIDIA TensorRT car TensorRT garantit l'obtention des performances maximales des appareils Jetson.

1. Mettre à jour la liste des packages, installer pip et mettre à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installer le package pip ultralytics avec les dépendances optionnelles

   pip install ultralytics[export]

3. Redémarrer l'appareil

   sudo reboot

Installer PyTorch et Torchvision#

L'installation d'ultralytics ci-dessus installera Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles avec la plateforme Jetson, qui est basée sur une architecture ARM64. Par conséquent, nous devons installer manuellement une roue pip PyTorch précompilée et compiler ou installer Torchvision à partir des sources.

Installer torch 2.10.0 et torchvision 0.25.0 selon JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.10.0-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.25.0-cp310-cp310-linux_aarch64.whl

Installer cuDSS pour corriger un problème de dépendance avec torch 2.10.0

wget https://developer.download.nvidia.com/compute/cudss/0.7.1/local_installers/cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo dpkg -i cudss-local-tegra-repo-ubuntu2204-0.7.1_0.7.1-1_arm64.deb
sudo cp /var/cudss-local-tegra-repo-ubuntu2204-0.7.1/cudss-*-keyring.gpg /usr/share/keyrings/
sudo apt-get update
sudo apt-get -y install cudss

Installer onnxruntime-gpu#

Le package onnxruntime-gpu hébergé sur PyPI ne possède pas de binaires aarch64 pour le Jetson. Nous devons donc installer manuellement ce package. Ce package est nécessaire pour certaines exportations.

Tu peux trouver tous les packages onnxruntime-gpu disponibles — organisés par version de JetPack, version de Python et autres détails de compatibilité — dans la matrice de compatibilité ONNX Runtime pour Jetson Zoo.

Pour JetPack 6 avec la prise en charge de Python 3.10, tu peux installer onnxruntime-gpu 1.23.0 :

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.23.0-cp310-cp310-linux_aarch64.whl

Alternativement, pour onnxruntime-gpu 1.20.0 :

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

Exécuter sur JetPack 5.1.2#

Installer le package Ultralytics#

Nous allons installer ici le package Ultralytics sur le Jetson avec les dépendances optionnelles afin de pouvoir exporter les modèles PyTorch vers d'autres formats. Nous nous concentrerons principalement sur les exportations NVIDIA TensorRT car TensorRT garantit l'obtention des performances maximales des appareils Jetson.

1. Mettre à jour la liste des packages, installer pip et mettre à niveau vers la dernière version

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. Installer le package pip ultralytics avec les dépendances optionnelles

   pip install ultralytics[export]

3. Redémarrer l'appareil

   sudo reboot

Installer PyTorch et Torchvision#

L'installation d'ultralytics ci-dessus installera Torch et Torchvision. Cependant, ces deux paquets installés via pip ne sont pas compatibles avec la plateforme Jetson, qui est basée sur une architecture ARM64. Par conséquent, nous devons installer manuellement une roue pip PyTorch précompilée et compiler ou installer Torchvision à partir des sources.

1. Désinstalle PyTorch et Torchvision actuellement installés

   pip uninstall torch torchvision

2. Installer torch 2.1.0 et torchvision 0.16.2 selon JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.16.2+c6f3977-cp38-cp38-linux_aarch64.whl

Installer onnxruntime-gpu#

Le package onnxruntime-gpu hébergé sur PyPI ne possède pas de binaires aarch64 pour le Jetson. Nous devons donc installer manuellement ce package. Ce package est nécessaire pour certaines exportations.

Tu peux trouver tous les packages onnxruntime-gpu disponibles — organisés par version de JetPack, version de Python et autres détails de compatibilité — dans la matrice de compatibilité ONNX Runtime pour Jetson Zoo. Nous allons ici télécharger et installer onnxruntime-gpu 1.17.0 avec la prise en charge de Python3.8.

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

Utilise TensorRT sur NVIDIA Jetson#

Parmi tous les formats d'exportation de modèles pris en charge par Ultralytics, TensorRT offre les performances d'inférence les plus élevées sur les appareils NVIDIA Jetson, ce qui en fait notre recommandation principale pour les déploiements Jetson. Pour les instructions de configuration et l'utilisation avancée, consulte notre guide d'intégration TensorRT dédié.

Tu peux également effectuer l'exportation depuis le navigateur sans configurer localement l'environnement de build. Dans l'onglet d'exportation de modèles d'Ultralytics Platform, sélectionne TensorRT et la cible Jetson souhaitée. Les sélections Thor sont validées sur du matériel Thor physique. Les six sélections Orin génèrent actuellement des moteurs candidats construits pour AGX Orin ; valide-les sur le SKU Orin visé avant le déploiement.

Convertir le modèle en TensorRT et exécuter l'inférence#

Le modèle YOLO26n au format PyTorch est converti en TensorRT pour exécuter l'inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Utilise le NVIDIA Deep Learning Accelerator (DLA)#

Le NVIDIA Deep Learning Accelerator (DLA) est un composant matériel spécialisé intégré dans les appareils NVIDIA Jetson qui optimise l'inférence de deep learning pour l'efficacité énergétique et les performances. En déchargeant les tâches du GPU (le libérant ainsi pour des processus plus intensifs), le DLA permet aux modèles de s'exécuter avec une consommation d'énergie réduite tout en maintenant un débit élevé, ce qui est idéal pour les systèmes embarqués et les applications d'IA en temps réel.

Les appareils Jetson suivants sont équipés de matériel DLA :

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", quantize=16)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

Benchmarks NVIDIA Jetson YOLO11/ YOLO26#

Les benchmarks de YOLO11/ YOLO26 ont été exécutés par l'équipe Ultralytics sur 11 formats de modèles différents mesurant la vitesse et la précision : PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch. Les benchmarks ont été exécutés sur le NVIDIA Jetson AGX Thor Developer Kit, le NVIDIA Jetson AGX Orin Developer Kit (64GB), le NVIDIA Jetson Orin Nano Super Developer Kit et le Seeed Studio reComputer J4012 alimenté par un appareil Jetson Orin NX 16GB en précision FP32 avec une taille d'image d'entrée par défaut de 640.

Graphiques de comparaison#

Même si toutes les exportations de modèles fonctionnent sur NVIDIA Jetson, nous n'avons inclus que PyTorch, TorchScript, TensorRT pour le graphique de comparaison ci-dessous car ils utilisent le GPU du Jetson et sont garantis de produire les meilleurs résultats. Toutes les autres exportations utilisent uniquement le CPU et la performance n'est pas aussi bonne que les trois précédentes. Tu peux trouver les benchmarks pour toutes les exportations dans la section après ce graphique.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Tableaux de comparaison détaillés#

Le tableau ci-dessous représente les résultats des benchmarks pour cinq modèles différents (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) à travers 11 formats différents (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF Lite, MNN, NCNN, ExecuTorch), nous donnant le statut, la taille, la métrique mAP50-95(B) et le temps d'inférence pour chaque combinaison.

NVIDIA Jetson AGX Thor Developer Kit#

NVIDIA Jetson AGX Orin Developer Kit (64GB)#

NVIDIA Jetson Orin Nano Super Developer Kit#

NVIDIA Jetson Orin NX 16GB#

Explore d'autres initiatives de benchmarking par Seeed Studio s'exécutant sur différentes versions de matériel NVIDIA Jetson.

Reproduis nos résultats#

Pour reproduire les benchmarks Ultralytics ci-dessus sur tous les formats d'exportation, exécute ce code :

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

Meilleures pratiques lors de l'utilisation de NVIDIA Jetson#

Lorsque tu utilises NVIDIA Jetson, il y a quelques meilleures pratiques à suivre pour permettre une performance maximale sur le NVIDIA Jetson exécutant YOLO26.

1. Active le mode MAX Power

   Activer le mode MAX Power sur le Jetson garantira que tous les cœurs CPU et GPU sont activés.

   sudo nvpmodel -m 0

2. Active les horloges Jetson

   Activer les horloges Jetson garantira que tous les cœurs CPU et GPU fonctionnent à leur fréquence maximale.

   sudo jetson_clocks

3. Installe l'application jetson stats

   Nous pouvons utiliser l'application jetson stats pour surveiller les températures des composants du système et vérifier d'autres détails du système comme voir l'utilisation du CPU, GPU, RAM, changer les modes d'alimentation, régler sur les horloges max, vérifier les informations JetPack

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop

Conseils d'optimisation de la mémoire pour NVIDIA Jetson#

La mémoire disponible est souvent le facteur limitant sur les appareils Jetson, en particulier sur les variantes à plus faible mémoire telles que le Jetson Orin Nano (8 Go) ou l'Orin NX 8 Go. Les astuces ci-dessous sont des modifications pratiques et à faible risque qui peuvent collectivement libérer plusieurs centaines de mégaoctets et te permettre d'exécuter des modèles YOLO plus grands ou de prendre en charge des charges de travail parallèles supplémentaires. Pour un traitement complet, consulte le blog NVIDIA sur l'optimisation de l'efficacité mémoire sur Jetson.

Passe au démarrage Headless (sans GUI)#

Si ton Jetson est connecté via SSH ou fonctionne comme un appareil de production sans écran attaché, éliminer l'environnement de bureau et le serveur d'affichage peut récupérer jusqu'à 865 MB de RAM :

sudo systemctl set-default multi-user.target
sudo reboot

Pour restaurer le bureau plus tard :

sudo systemctl set-default graphical.target
sudo reboot

Désactive les services système inutilisés#

Les services d'arrière-plan non essentiels (Bluetooth, gestionnaires de connectivité, démons matériels inutilisés) consomment environ 32 MB au total. Liste les services actifs et désactive tout ce dont ton déploiement n'a pas besoin :

# List running services
systemctl list-units --type=service --state=running

# Disable a service
sudo systemctl disable SERVICE_NAME

Profile l'utilisation de la mémoire#

Avant d'optimiser, identifie quels processus consomment réellement de la RAM. procrank trie les processus par PSS (Proportional Set Size), ce qui reflète l'empreinte mémoire réelle par processus avec plus de précision que le RSS (Resident Set Size, le total des pages de RAM physique mappées par un processus, y compris les pages partagées avec d'autres processus) :

git clone https://github.com/csimmonds/procrank_linux.git
cd procrank_linux && make
sudo ./procrank

Pour voir les allocations GPU et NvMap (CUDA/pipeline vidéo) par processus :

sudo cat /sys/kernel/debug/nvmap/iovmm/clients

Exécute l'inférence sans écran en production#

Pour les pipelines d'inférence qui n'ont pas besoin de prévisualisation en direct, désactiver les composants liés à l'affichage (Tiler, OSD, DisplaySink) peut économiser 200+ MB pour le pipeline seul. Avec Ultralytics YOLO, supprime la visionneuse et écris les résultats sur le disque à la place :

from ultralytics import YOLO

model = YOLO("yolo11n.engine")

# show=False prevents any display window; save=True writes annotated output to disk
results = model.predict(source="video.mp4", show=False, save=True)

Impact cumulé#

Combiner ces changements est particulièrement précieux lorsque tu cibles des modèles TensorRT INT8 sur des appareils à mémoire limitée — cela peut faire la différence entre réussir à faire tenir une variante de modèle plus large en mémoire ou non.

Prochaines étapes#

Pour un apprentissage et un support supplémentaires, consulte la documentation Ultralytics YOLO26.

FAQ#