Ultralytics YOLO26 sur NVIDIA Jetson avec DeepStream SDK et TensorRT

Regarder : Comment utiliser les modèles Ultralytics YOLO26 avec NVIDIA Deepstream sur Jetson Orin NX 🚀

Ce guide complet fournit une présentation détaillée du déploiement d'Ultralytics YOLO26 sur les appareils NVIDIA Jetson à l'aide du DeepStream SDK et de TensorRT. Ici, nous utilisons TensorRT pour maximiser les performances d'inférence sur la plateforme Jetson.

Qu'est-ce que NVIDIA DeepStream ?

NVIDIA's DeepStream SDK est une boîte à outils complète d'analyse de flux basée sur GStreamer pour le traitement multi-capteurs basé sur l'IA, la vidéo, l'audio et la compréhension d'images. Il est idéal pour les développeurs d'IA de vision, les partenaires logiciels, les startups et les OEM qui créent des applications et des services IVA (Intelligent Video Analytics). Vous pouvez désormais créer des pipelines de traitement de flux qui intègrent des réseaux neuronaux et d'autres tâches de traitement complexes telles que le suivi, l'encodage/décodage vidéo et le rendu vidéo. Ces pipelines permettent l'analyse en temps réel des données vidéo, d'image et de capteur. La prise en charge multiplateforme de DeepStream vous offre un moyen plus rapide et plus facile de développer des applications et des services d'IA de vision sur site, à la périphérie et dans le cloud.

Prérequis

Avant de commencer à suivre ce guide :

• Consultez notre documentation, Guide de démarrage rapide : NVIDIA Jetson avec Ultralytics YOLO26 pour configurer votre appareil NVIDIA Jetson avec Ultralytics YOLO26
• Installer SDK DeepStream selon la version de JetPack
  • Pour JetPack 4.6.4, installez DeepStream 6.0.1.
  • Pour JetPack 5.1.3, installez DeepStream 6.3.
  • Pour JetPack 6.1, installez DeepStream 7.1.

Configuration DeepStream pour YOLO26

Ici, nous utilisons le dépôt GitHub marcoslucianops/DeepStream-Yolo qui inclut la prise en charge du SDK NVIDIA DeepStream pour les modèles YOLO. Nous apprécions les efforts de marcoslucianops pour ses contributions !

1. Installer Ultralytics avec les dépendances nécessaires

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim
   

2. Clonez le référentiel DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   

3. Copier le export_yolo26.py fichier depuis DeepStream-Yolo/utils répertoire vers le ultralytics dossier

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics
   

4. Téléchargez le modèle de détection Ultralytics YOLO26 (.pt) de votre choix depuis les versions de YOLO26. Ici, nous utilisons yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt
   

   Remarque

   Vous pouvez également utiliser un modèle YOLO26 entraîné sur mesure.

5. Convertir le modèle en ONNX

   python3 export_yolo26.py -w yolo26s.pt
   

   Passez les arguments ci-dessous à la commande ci-dessus

   Pour DeepStream 5.1, supprimez le --dynamic arg et utiliser opset 12 ou moins. La valeur par défaut opset est de 17.

   --opset 12
   

   Pour modifier la taille de l'inférence (par défaut : 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   Exemple pour 1280 :

   -s 1280
   or
   -s 1280 1280
   

   Pour simplifier le modèle ONNX (DeepStream >= 6.0)

   --simplify
   

   Pour utiliser la taille de lot dynamique (DeepStream >= 6.1)

   --dynamic
   

   Pour utiliser une taille de lot statique (exemple pour une taille de lot = 4)

   --batch 4
   

6. Copier le code généré .onnx fichier de modèle et labels.txt fichier au DeepStream-Yolo dossier

   cp yolo26s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo
   

7. Définir la version de CUDA en fonction de la version de JetPack installée

   Pour JetPack 4.6.4 :

   export CUDA_VER=10.2
   

   Pour JetPack 5.1.3 :

   export CUDA_VER=11.4
   

   Pour JetPack 6.1 :

   export CUDA_VER=12.6
   

8. Compiler la bibliothèque

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

9. Modifier le config_infer_primary_yolo26.txt fichier selon votre modèle (pour YOLO26s avec 80 classes)

   [property]
   ...
   onnx-file=yolo26s.pt.onnx
   ...
   num-detected-classes=80
   ...
   

10. Modifier le deepstream_app_config fichier

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt
    

11. Vous pouvez également modifier la source vidéo dans deepstream_app_config fichier. Ici, un fichier vidéo par défaut est chargé

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
    

Exécuter l'inférence

deepstream-app -c deepstream_app_config.txt

Calibration INT8

Si vous souhaitez utiliser la précision INT8 pour l'inférence, vous devez suivre les étapes ci-dessous :

1. Définir OPENCV variable d'environnement

   export OPENCV=1
   

2. Compiler la bibliothèque

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. Pour le dataset COCO, téléchargez le val2017, extraire et déplacer vers DeepStream-Yolo dossier

4. Créer un nouveau répertoire pour les images d'étalonnage

   mkdir calibration
   

5. Exécutez ce qui suit pour sélectionner 1000 images aléatoires du dataset COCO pour exécuter la calibration

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done
   

   Remarque

   NVIDIA recommande au moins 500 images pour obtenir une bonne précision. Dans cet exemple, 1000 images sont choisies pour obtenir une meilleure précision (plus d'images = plus de précision). Vous pouvez le définir à partir de head -1000. Par exemple, pour 2000 images, head -2000. Ce processus peut prendre beaucoup de temps.

6. Créer le calibration.txt fichier avec toutes les images sélectionnées

   realpath calibration/*jpg > calibration.txt
   

7. Définir les variables d'environnement

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   Remarque

   Des valeurs INT8_CALIB_BATCH_SIZE plus élevées entraîneront une plus grande précision et une vitesse d'étalonnage plus rapide. Définissez-le en fonction de la mémoire de votre GPU.

8. Mettre à jour le config_infer_primary_yolo26.txt fichier

   De

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   À

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

Exécuter l'inférence

deepstream-app -c deepstream_app_config.txt

Configuration MultiStream

Regarder : Comment exécuter plusieurs flux avec le DeepStream SDK sur Jetson Nano en utilisant Ultralytics YOLO26 🎉

Pour configurer plusieurs flux sous une seule application DeepStream, apportez les modifications suivantes au deepstream_app_config.txt fichier :

1. Modifiez les lignes et les colonnes pour créer un affichage en grille en fonction du nombre de flux que vous souhaitez avoir. Par exemple, pour 4 flux, nous pouvons ajouter 2 lignes et 2 colonnes.

   [tiled-display]
   rows=2
   columns=2
   

2. Définir num-sources=4 et ajoutez le uri entrées pour les quatre flux.

   [source0]
   enable=1
   type=3
   uri=path/to/video1.jpg
   uri=path/to/video2.jpg
   uri=path/to/video3.jpg
   uri=path/to/video4.jpg
   num-sources=4
   

Exécuter l'inférence

deepstream-app -c deepstream_app_config.txt

Résultats des benchmarks

Les benchmarks suivants résument les performances des modèles YOLO26 à différents niveaux de précision TensorRT avec une taille d'entrée de 640x640 sur NVIDIA Jetson Orin NX 16 Go.

Tableau comparatif

Tableau comparatif détaillé

Remerciements

Ce guide a été initialement créé par nos amis de Seeed Studio, Lakshantha et Elaine.

FAQ

Comment configurer Ultralytics YOLO26 sur un appareil NVIDIA Jetson ?

Pour configurer Ultralytics YOLO26 sur un appareil NVIDIA Jetson, vous devez d'abord installer le DeepStream SDK compatible avec votre version de JetPack. Suivez le guide étape par étape de notre Guide de démarrage rapide pour configurer votre NVIDIA Jetson pour le déploiement de YOLO26.

Quel est l'avantage d'utiliser TensorRT avec YOLO26 sur NVIDIA Jetson ?

L'utilisation de TensorRT avec YOLO26 optimise le modèle pour l'inférence, réduisant considérablement la latence et améliorant le débit sur les appareils NVIDIA Jetson. TensorRT offre une inférence de deep learning haute performance et à faible latence grâce à la fusion de couches, la calibration de précision et l'auto-optimisation des noyaux. Cela conduit à une exécution plus rapide et plus efficace, particulièrement utile pour les applications en temps réel comme l'analyse vidéo et les machines autonomes.

Puis-je exécuter Ultralytics YOLO26 avec le DeepStream SDK sur différents matériels NVIDIA Jetson ?

Oui, le guide de déploiement d'Ultralytics YOLO26 avec le SDK DeepStream et TensorRT est compatible avec toute la gamme NVIDIA Jetson. Cela inclut des appareils comme le Jetson Orin NX 16GB avec JetPack 5.1.3 et le Jetson Nano 4GB avec JetPack 4.6.4. Référez-vous à la section Configuration DeepStream pour YOLO26 pour les étapes détaillées.

Comment puis-je convertir un modèle YOLO26 en ONNX pour DeepStream ?

Pour convertir un modèle YOLO26 au format ONNX en vue d'un déploiement avec DeepStream, utilisez le utils/export_yolo26.py script à partir du DeepStream-Yolo référentiel.

Voici un exemple de commande :

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

Pour plus de détails sur la conversion de modèles, consultez notre section sur l'exportation de modèles.

Quels sont les benchmarks de performance pour YOLO sur NVIDIA Jetson Orin NX ?

Les performances des modèles YOLO26 sur NVIDIA Jetson Orin NX 16GB varient en fonction des niveaux de précision de TensorRT. Par exemple, les modèles YOLO26s atteignent :

• Précision FP32 : 14,6 ms/im, 68,5 FPS
• Précision FP16 : 7,94 ms/im, 126 FPS
• Précision INT8 : 5,95 ms/im, 168 FPS

Ces benchmarks soulignent l'efficacité et la capacité d'utilisation des modèles YOLO26 optimisés par TensorRT sur le matériel NVIDIA Jetson. Pour plus de détails, consultez notre section Résultats des Benchmarks.

📅 Créé il y a 1 an ✏️ Mis à jour il y a 7 jours

Commentaires