Exportation de modèle avec Ultralytics YOLO

Ultralytics YOLO ecosystem and integrations

Introduction

L'objectif ultime de l'entraînement d'un modèle est de le déployer pour des applications concrètes. Le mode d'exportation dans Ultralytics YOLO26 offre une gamme polyvalente d'options pour exporter ton modèle entraîné vers différents formats, ce qui le rend déployable sur diverses plateformes et divers appareils. Ce guide complet a pour but de t'accompagner à travers les nuances de l'exportation de modèles, en démontrant comment atteindre une compatibilité et des performances maximales.



Watch: How to Export Ultralytics YOLO26 in different formats for Deployment | ONNX, TensorRT, CoreML 🚀

Pourquoi choisir le mode d'exportation de YOLO26 ?

  • Polyvalence : Exporte vers de multiples formats, y compris ONNX, TensorRT, CoreML, et plus encore.
  • Performances : Gagne jusqu'à 5x en vitesse GPU avec TensorRT et 3x en vitesse CPU avec ONNX ou OpenVINO.
  • Compatibilité : Rends ton modèle universellement déployable sur de nombreux environnements matériels et logiciels.
  • Facilité d'utilisation : API Python et CLI simples pour une exportation rapide et directe des modèles.

Fonctionnalités clés du mode d'exportation

Voici quelques-unes des fonctionnalités remarquables :

  • Exportation en un clic : Commandes simples pour l'exportation vers différents formats.
  • Exportation par lots : Exporte des modèles capables d'inférence par lots.
  • Inférence optimisée : Les modèles exportés sont optimisés pour des temps d'inférence plus rapides.
  • Tutoriels vidéo : Guides et tutoriels approfondis pour une expérience d'exportation fluide.
Astuce
  • Exporte vers ONNX ou OpenVINO pour un gain de vitesse CPU jusqu'à 3x.
  • Exporte vers TensorRT pour un gain de vitesse GPU jusqu'à 5x.

Exemples d'utilisation

Exporte un modèle YOLO26n vers un format différent comme ONNX ou TensorRT. Consulte la section Arguments ci-dessous pour une liste complète des arguments d'exportation.

Exemple
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Arguments

Ce tableau détaille les configurations et options disponibles pour l'exportation des modèles YOLO vers différents formats. Ces paramètres sont cruciaux pour optimiser les performances, la taille et la compatibilité du modèle exporté sur diverses plateformes et divers environnements. Une configuration correcte garantit que le modèle est prêt pour le déploiement dans l'application visée avec une efficacité optimale.

ArgumentTypeDéfautDescription
formatstr'torchscript'Format cible pour le modèle exporté, tel que 'onnx', 'torchscript', 'engine' (TensorRT) ou autres. Chaque format permet la compatibilité avec différents environnements de déploiement.
imgszint ou tuple640Taille d'image souhaitée pour l'entrée du modèle. Peut être un entier pour des images carrées (par ex., 640 pour 640×640) ou un tuple (height, width) pour des dimensions spécifiques.
kerasboolFalseActive l'exportation au format Keras pour SavedModel de TensorFlow, offrant une compatibilité avec le service TensorFlow et les API.
optimizeboolFalseApplique une optimisation pour les appareils mobiles lors de l'exportation vers TorchScript, réduisant potentiellement la taille du modèle et améliorant la performance d'inférence. Non compatible avec le format NCNN ou les périphériques CUDA. Pour DeepX, active une optimisation de compilateur plus élevée qui réduit la latence d'inférence et augmente le temps de compilation.
halfboolFalseActive la quantification FP16 (demi-précision), réduisant la taille du modèle et accélérant potentiellement l'inférence sur le matériel pris en charge. Non compatible avec la quantification INT8 ou les exportations CPU uniquement. Disponible uniquement pour certains formats, par ex. ONNX (voir ci-dessous).
int8boolFalseActive la quantification INT8, compressant davantage le modèle et accélérant l'inférence avec une perte de précision minimale, principalement pour les appareils de périphérie. Lorsqu'il est utilisé avec TensorRT, effectue une quantification post-entraînement (PTQ).
dynamicboolFalsePermet des tailles d'entrée dynamiques pour les exportations TorchScript, ONNX, OpenVINO, TensorRT et CoreML, améliorant la flexibilité dans la gestion des dimensions d'image variables. Automatiquement réglé sur True lors de l'utilisation de TensorRT avec INT8.
simplifyboolTrueSimplifie le graphe du modèle pour les exportations ONNX avec onnxslim, améliorant potentiellement la performance et la compatibilité avec les moteurs d'inférence.
opsetintNoneSpécifie la version de l'opset ONNX pour la compatibilité avec différents analyseurs et environnements d'exécution ONNX. S'il n'est pas défini, utilise la dernière version prise en charge.
workspacefloat ou NoneNoneDéfinit la taille maximale de l'espace de travail en Gio pour les optimisations TensorRT, en équilibrant l'utilisation de la mémoire et les performances. Utilise None pour une allocation automatique par TensorRT jusqu'au maximum du périphérique.
nmsboolFalseAjoute la suppression des non-maxima (NMS) au modèle exporté lorsqu'elle est prise en charge (voir Formats d'exportation), améliorant l'efficacité du post-traitement de la détection. Non disponible pour les modèles end2end.
batchint1Spécifie la taille d'inférence par lot du modèle exporté ou le nombre maximal d'images que le modèle exporté traitera simultanément en mode predict. Pour les exportations vers Edge TPU, cela est automatiquement défini sur 1.
devicestrNoneSpécifie le périphérique pour l'exportation : GPU (device=0), CPU (device=cpu), MPS pour le silicium Apple (device=mps), NPU Huawei Ascend (device=npu ou device=npu:0), ou DLA pour NVIDIA Jetson (device=dla:0 ou device=dla:1). Les exportations TensorRT utilisent automatiquement le GPU.
datastr'coco8.yaml'Chemin d'accès au fichier de configuration du jeu de données, essentiel pour la calibration de la quantification INT8. S'il n'est pas spécifié avec INT8 activé, coco8.yaml sera utilisé par défaut pour la calibration.
fractionfloat1.0Spécifie la fraction du jeu de données à utiliser pour la calibration de la quantification INT8. Permet d'effectuer la calibration sur un sous-ensemble du jeu de données complet, ce qui est utile pour les expérimentations ou lorsque les ressources sont limitées. S'il n'est pas spécifié avec INT8 activé, le jeu de données complet sera utilisé.
end2endboolNoneRemplace le mode end-to-end dans les modèles YOLO prenant en charge l'inférence sans NMS (YOLO26, YOLOv10). Le définir sur False te permet d'exporter ces modèles pour qu'ils soient compatibles avec le pipeline traditionnel de post-traitement basé sur NMS. Voir le guide de détection End-to-End pour plus de détails.

L'ajustement de ces paramètres permet de personnaliser le processus d'exportation pour répondre à des besoins spécifiques, tels que l'environnement de déploiement, les contraintes matérielles et les objectifs de performance. Sélectionner le format et les paramètres appropriés est essentiel pour atteindre le meilleur équilibre entre la taille du modèle, sa vitesse et sa précision.

Formats d'exportation

Les formats d'exportation YOLO26 disponibles figurent dans le tableau ci-dessous. Tu peux exporter vers n'importe quel format en utilisant l'argument format, par exemple, format='onnx' ou format='engine'. Tu peux effectuer des prédictions ou des validations directement sur les modèles exportés, par exemple, yolo predict model=yolo26n.onnx. Des exemples d'utilisation sont affichés pour ton modèle une fois l'exportation terminée. Les modèles peuvent également être exportés directement depuis le navigateur sur Ultralytics Platform sans aucune configuration locale.

FormatArgument formatModèleMétadonnéesArguments
PyTorch-yolo26n.pt-
TorchScripttorchscriptyolo26n.torchscriptimgsz, half, dynamic, optimize, nms, batch, device
ONNXonnxyolo26n.onnximgsz, half, dynamic, simplify, opset, nms, batch, device
OpenVINOopenvinoyolo26n_openvino_model/imgsz, half, dynamic, int8, nms, batch, data, fraction, device
TensorRTengineyolo26n.engineimgsz, half, dynamic, simplify, workspace, int8, nms, batch, data, fraction, device
CoreMLcoremlyolo26n.mlpackageimgsz, dynamic, half, int8, nms, batch, device
TF SavedModelsaved_modelyolo26n_saved_model/imgsz, keras, int8, nms, batch, data, fraction, device
TF GraphDefpbyolo26n.pbimgsz, batch, device
TF Litetfliteyolo26n.tfliteimgsz, half, int8, nms, batch, data, fraction, device
TF Edge TPUedgetpuyolo26n_edgetpu.tfliteimgsz, int8, data, fraction, device
TF.jstfjsyolo26n_web_model/imgsz, half, int8, nms, batch, data, fraction, device
PaddlePaddlepaddleyolo26n_paddle_model/imgsz, batch, device
MNNmnnyolo26n.mnnimgsz, batch, int8, half, device
NCNNncnnyolo26n_ncnn_model/imgsz, half, batch, device
IMX500imxyolo26n_imx_model/imgsz, int8, data, fraction, nms, device
RKNNrknnyolo26n_rknn_model/imgsz, batch, name, device
ExecuTorchexecutorchyolo26n_executorch_model/imgsz, batch, device
Axeleraaxelerayolo26n_axelera_model/imgsz, batch, int8, data, fraction, device
DeepXdeepxyolo26n_deepx_model/imgsz, int8, data, optimize, device

FAQ

Comment exporter un modèle YOLO26 au format ONNX ?

Exporter un modèle YOLO26 au format ONNX est simple avec Ultralytics. Il fournit à la fois des méthodes Python et CLI pour l'exportation des modèles.

Exemple
from ultralytics import YOLO

# Load a model
model = YOLO("yolo26n.pt")  # load an official model
model = YOLO("path/to/best.pt")  # load a custom-trained model

# Export the model
model.export(format="onnx")

Pour plus de détails sur le processus, y compris les options avancées comme la gestion de différentes tailles d'entrée, reporte-toi au guide d'intégration ONNX.

Quels sont les avantages d'utiliser TensorRT pour l'exportation de modèles ?

Utiliser TensorRT pour l'exportation de modèles offre des améliorations de performance significatives. Les modèles YOLO26 exportés vers TensorRT peuvent atteindre un gain de vitesse GPU jusqu'à 5x, ce qui les rend idéaux pour les applications d'inférence en temps réel.

  • Polyvalence : Optimise les modèles pour une configuration matérielle spécifique.
  • Vitesse : Atteins une inférence plus rapide grâce à des optimisations avancées.
  • Compatibilité : Intègre-toi harmonieusement au matériel NVIDIA.

Pour en savoir plus sur l'intégration de TensorRT, consulte le guide d'intégration TensorRT.

Comment activer la quantification INT8 lors de l'exportation de mon modèle YOLO26 ?

La quantification INT8 est un excellent moyen de compresser le modèle et d'accélérer l'inférence, en particulier sur les appareils de périphérie. Voici comment tu peux activer la quantification INT8 :

Exemple
from ultralytics import YOLO

model = YOLO("yolo26n.pt")  # Load a model
model.export(format="engine", int8=True)

La quantification INT8 peut être appliquée à divers formats, tels que TensorRT, OpenVINO et CoreML. Pour des résultats de quantification optimaux, fournis un jeu de données représentatif en utilisant le paramètre data.

Pourquoi une taille d'entrée dynamique est-elle importante lors de l'exportation de modèles ?

La taille d'entrée dynamique permet au modèle exporté de gérer des dimensions d'image variables, offrant de la flexibilité et optimisant l'efficacité du traitement pour différents cas d'utilisation. Lors de l'exportation vers des formats comme ONNX ou TensorRT, l'activation de la taille d'entrée dynamique garantit que le modèle peut s'adapter aux différentes formes d'entrée de manière transparente.

Pour activer cette fonctionnalité, utilise l'argument dynamic=True lors de l'exportation :

Exemple
from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="onnx", dynamic=True)

Le dimensionnement dynamique de l'entrée est particulièrement utile pour les applications où les dimensions d'entrée peuvent varier, telles que le traitement vidéo ou lors de la gestion d'images provenant de différentes sources.

Quels sont les arguments d'exportation clés à prendre en compte pour optimiser les performances du modèle ?

Comprendre et configurer les arguments d'exportation est crucial pour optimiser les performances du modèle :

  • format: The target format for the exported model (e.g., onnx, torchscript, tensorflow).
  • imgsz: Desired image size for the model input (e.g., 640 or (height, width)).
  • half: Enables FP16 quantization, reducing model size and potentially speeding up inference.
  • optimize: Applies specific optimizations for mobile or constrained environments.
  • int8: Enables INT8 quantization, highly beneficial for edge AI deployments.

Pour un déploiement sur des plateformes matérielles spécifiques, envisage d'utiliser des formats d'exportation spécialisés comme TensorRT pour les GPU NVIDIA, CoreML pour les appareils Apple, ou Edge TPU pour les appareils Google Coral.

Que représentent les tenseurs de sortie dans les modèles YOLO exportés ?

Lorsque tu exportes un modèle YOLO vers des formats comme ONNX ou TensorRT, la structure du tenseur de sortie dépend de la tâche du modèle. Comprendre ces sorties est important pour les implémentations d'inférence personnalisées.

Pour les modèles de détection (par exemple, yolo26n.pt), la sortie est généralement un tenseur unique de forme (batch_size, 4 + num_classes, num_predictions) où les canaux représentent les coordonnées de la boîte plus les scores par classe, et num_predictions dépend de la résolution d'entrée d'exportation (et peut être dynamique).

Pour les modèles de segmentation (par exemple, yolo26n-seg.pt), tu obtiendras généralement deux sorties : le premier tenseur de forme (batch_size, 4 + num_classes + mask_dim, num_predictions) (boîtes, scores de classe et coefficients de masque), et le deuxième tenseur de forme (batch_size, mask_dim, proto_h, proto_w) contenant des prototypes de masque utilisés avec les coefficients pour générer des masques d'instance. Les tailles dépendent de la résolution d'entrée d'exportation (et peuvent être dynamiques).

Pour les modèles de pose (par exemple, yolo26n-pose.pt), le tenseur de sortie est généralement de forme (batch_size, 4 + num_classes + keypoint_dims, num_predictions), où keypoint_dims dépend de la spécification de la pose (par exemple, le nombre de points clés et si la confiance est incluse), et num_predictions dépend de la résolution d'entrée d'exportation (et peut être dynamique).

Les exemples dans les exemples d'inférence ONNX démontrent comment traiter ces sorties pour chaque type de modèle.

Pourquoi output0 est-il en FP32 lors d'une exportation avec half=True et end2end=True ?

Lors d'une exportation avec half=True (ou int8=True), la plupart des tenseurs sont convertis en une précision inférieure pour réduire la taille du modèle et améliorer les performances. Cependant, lorsque end2end=True est activé, le post-traitement (y compris les indices de classe) est intégré directement dans le graphe exporté.

Le tenseur output0 contient des indices de classe, qui sont représentés en interne sous forme de valeurs à virgule flottante. Le format FP16 ne peut pas représenter de manière fiable des valeurs entières supérieures à 2048 en raison de sa précision de mantisse limitée. Pour éviter toute perte de précision potentielle ou des ID de classe incorrects, output0 est intentionnellement conservé en FP32.

Ce comportement est attendu et s'applique également aux exportations de précision inférieure ou quantifiées où la fidélité de l'indice de classe doit être préservée.

Si des sorties FP16 complètes sont requises, effectue l'exportation avec end2end=False et réalise le post-traitement en externe.

Commentaires