Exportation Intel OpenVINO#

Dans ce guide, nous couvrons l’exportation des modèles YOLO26 au format OpenVINO, qui peut offrir jusqu’à 3× d’accélération sur CPU, ainsi qu’accélérer l’inférence YOLO sur le GPU et le NPU des appareils Intel.

OpenVINO, abréviation de boîte à outils d’optimisation de l’inférence visuelle et des réseaux de neurones, est une boîte à outils complète pour optimiser et déployer des modèles d’inférence IA. Même si son nom contient « Visual », OpenVINO prend également en charge diverses tâches supplémentaires, notamment le langage, l’audio, les séries temporelles, etc.

Tâches prises en charge#

L’exportation OpenVINO prend en charge les sept tâches Ultralytics. La segmentation sémantique et l’estimation de profondeur sont disponibles uniquement avec YOLO26, la seule famille à fournir ces têtes.

Installation#

Installe les dépendances d'exportation OpenVINO avec :

pip install "ultralytics[export-openvino]"

Ces dépendances sont également incluses dans ultralytics[export] et sont installées automatiquement lorsqu'une exportation en a besoin.

Exemples d’utilisation#

Le format OpenVINO prend en charge les modes Export, Predict et Validate. Exporte ton modèle, puis charge le modèle exporté pour exécuter l’inférence ou valider sa précision sur un CPU Intel, un GPU intégré ou discret, ou un NPU.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to OpenVINO format
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Run inference on a specific device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Load the exported OpenVINO model
model = YOLO("yolo26n_openvino_model/")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Arguments d'exportation#

Pour plus de détails sur le processus d’exportation, consulte la page de la documentation Ultralytics consacrée à l’exportation.

Avantages d’OpenVINO#

1. Performances : OpenVINO offre une inférence haute performance en exploitant la puissance des CPU Intel, des GPU intégrés et discrets, ainsi que des FPGA.
2. Prise en charge de l’exécution hétérogène : OpenVINO fournit une API permettant d’écrire une seule fois et de déployer sur tout matériel Intel pris en charge (CPU, GPU, FPGA, VPU, etc.).
3. Optimiseur de modèles : OpenVINO fournit un optimiseur de modèles qui importe, convertit et optimise les modèles issus de frameworks populaires de deep learning tels que PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle et Caffe.
4. Facilité d’utilisation : la boîte à outils comprend une vaste collection de notebooks de tutoriels (dont un sur l’optimisation de YOLO26) qui enseignent différents aspects de la boîte à outils.

Structure de l’exportation OpenVINO#

Lorsque tu exportes un modèle au format OpenVINO, cela produit un répertoire contenant les éléments suivants :

1. Fichier XML : décrit la topologie du réseau.
2. Fichier BIN : contient les données binaires des poids et des biais.
3. Fichier de correspondance : contient la correspondance entre les tenseurs de sortie du modèle d’origine et les noms des tenseurs OpenVINO.

Tu peux utiliser ces fichiers pour exécuter l’inférence avec le moteur d’inférence OpenVINO.

Utilisation de l’exportation OpenVINO lors du déploiement#

Une fois ton modèle exporté avec succès au format OpenVINO, tu disposes de deux options principales pour exécuter l’inférence :

1. Utilise le paquet ultralytics, qui fournit une API de haut niveau et encapsule le runtime OpenVINO.

2. Utilise le paquet natif openvino pour un contrôle plus avancé ou personnalisé du comportement de l’inférence.

Inférence avec Ultralytics#

Le paquet ultralytics te permet d’exécuter facilement l’inférence à l’aide du modèle OpenVINO exporté via la méthode predict. Tu peux également spécifier l’appareil cible (par exemple, intel:gpu, intel:npu, intel:cpu) à l’aide de l’argument device.

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo26n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

Cette approche est idéale pour le prototypage rapide ou le déploiement lorsque tu n’as pas besoin d’un contrôle total du pipeline d’inférence.

Inférence avec le runtime OpenVINO#

Le runtime OpenVINO fournit une API unifiée pour l’inférence sur tout le matériel Intel pris en charge. Il offre également des fonctionnalités avancées, comme l’équilibrage de charge entre les composants matériels Intel et l’exécution asynchrone. Pour plus d’informations sur l’exécution de l’inférence, consulte les notebooks YOLO26.

N’oublie pas que tu auras besoin des fichiers XML et BIN ainsi que des paramètres propres à l’application, comme la taille d’entrée, le facteur d’échelle pour la normalisation, etc., afin de configurer et d’utiliser correctement le modèle avec le runtime.

Dans ton application de déploiement, tu effectuerais généralement les étapes suivantes :

1. Initialise OpenVINO en créant core = Core().
2. Charge le modèle à l’aide de la méthode core.read_model().
3. Compile le modèle à l’aide de la fonction core.compile_model().
4. Prépare l’entrée (image, texte, audio, etc.).
5. Exécute l’inférence à l’aide de compiled_model(input_data).

Pour obtenir des étapes et des extraits de code plus détaillés, consulte la documentation OpenVINO ou le tutoriel de l’API.

Benchmarks OpenVINO de YOLO26#

L’équipe Ultralytics a évalué YOLO26 sur différents formats de modèles et niveaux de précision, en mesurant la vitesse et la précision sur divers appareils Intel compatibles avec OpenVINO.

Intel® Core™ Ultra#

La série Intel® Core™ Ultra™ représente une nouvelle référence en matière de calcul haute performance, conçue pour répondre aux exigences changeantes des utilisateurs modernes, des joueurs et créateurs aux professionnels exploitant l’IA. Cette gamme de nouvelle génération est plus qu’une série de CPU traditionnelle : elle combine de puissants cœurs CPU, des capacités GPU haute performance intégrées et une unité de traitement neuronal (NPU) dédiée au sein d’une seule puce, offrant une solution unifiée pour des charges de calcul variées et intensives.

Au cœur de l’architecture Intel® Core Ultra™ se trouve une conception hybride qui permet d’obtenir des performances exceptionnelles pour les tâches de traitement traditionnelles, les charges de travail accélérées par GPU et les opérations pilotées par l’IA. L’intégration du NPU améliore l’inférence IA sur l’appareil, permettant un apprentissage automatique et un traitement des données plus rapides et plus efficaces dans un large éventail d’applications.

La famille Core Ultra™ comprend différents modèles adaptés à divers besoins de performance, avec des options allant de conceptions économes en énergie à des variantes haute puissance identifiées par la lettre « H », idéales pour les ordinateurs portables et les formats compacts nécessitant une puissance de calcul importante. Dans toute la gamme, les utilisateurs bénéficient de la synergie entre l’intégration du CPU, du GPU et du NPU, offrant une efficacité, une réactivité et des capacités multitâches remarquables.

Dans le cadre de l’innovation continue d’Intel, la série Core Ultra™ établit une nouvelle norme pour l’informatique prête pour l’avenir. Avec plusieurs modèles disponibles et d’autres à venir, cette série souligne l’engagement d’Intel à fournir des solutions de pointe pour la prochaine génération d’appareils intelligents enrichis par l’IA.

Les benchmarks ci-dessous sont exécutés sur les Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V et Intel® Core™ Ultra™ 7 155H avec des précisions FP32, FP16 et INT8.

Intel® Core™ Ultra™ X7 358H#

Benchmarks

GPU Intel® Arc™ intégréCPU Intel® Panther LakeNPU Intel® AI Boost intégré

Résultats détaillés des benchmarks

Modèle	Format	Précision	Statut	Taille (Mo)	metrics/mAP50-95(B)	Temps d’inférence (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Benchmarks

GPU Intel® Arc™ intégréCPU Intel® Lunar LakeNPU Intel® AI Boost intégré

Résultats détaillés des benchmarks

Modèle	Format	Précision	Statut	Taille (Mo)	metrics/mAP50-95(B)	Temps d’inférence (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Benchmarks

GPU Intel® Arc™ intégréCPU Intel® Meteor Lake

Résultats détaillés des benchmarks

Modèle	Format	Précision	Statut	Taille (Mo)	metrics/mAP50-95(B)	Temps d’inférence (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Reproduire nos résultats#

Pour reproduire les benchmarks Ultralytics ci-dessus sur tous les formats d’exportation, exécute ce code :

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

Conclusion#

Les résultats des benchmarks démontrent clairement les avantages de l’exportation du modèle YOLO26 au format OpenVINO. Sur différents modèles et plateformes matérielles, le format OpenVINO surpasse systématiquement les autres formats en matière de vitesse d’inférence tout en conservant une précision comparable.

Les benchmarks soulignent l’efficacité d’OpenVINO comme outil de déploiement de modèles de deep learning. En convertissant les modèles au format OpenVINO, les développeurs peuvent obtenir des améliorations significatives des performances, ce qui facilite le déploiement de ces modèles dans des applications réelles.

Pour plus d’informations et d’instructions détaillées sur l’utilisation d’OpenVINO, consulte la documentation officielle d’OpenVINO.

FAQ#