Intel OpenVINO Exportation

Dans ce guide, nous abordons l'exportation des modèles YOLOv8 au format OpenVINO ce qui permet d'accélérer jusqu'à 3x CPU ainsi que l'accélération de l'inférence YOLO sur du matériel de type Intel GPU et NPU.

OpenVINO, abréviation de Open Visual Inference & Neural Network Optimization toolkit, est une boîte à outils complète pour l'optimisation et le déploiement de modèles d'inférence d'IA. Bien que le nom contienne Visual, OpenVINO prend également en charge diverses tâches supplémentaires, notamment le langage, l'audio, les séries temporelles, etc.

Regarder : Comment exporter et optimiser un modèle Ultralytics YOLOv8 pour l'inférence avec OpenVINO.

Exemples d'utilisation

Exporter un modèle YOLOv8n au format OpenVINO et exécuter l'inférence avec le modèle exporté.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Arguments

Avantages de la OpenVINO

1. Performance: OpenVINO offre une inférence de haute performance en utilisant la puissance des CPU Intel , des GPU intégrés et discrets et des FPGA.
2. Prise en charge de l'exécution hétérogène: OpenVINO fournit une API permettant d'écrire une fois et de déployer sur tout matériel Intel pris en charge (CPU, GPU, FPGA, VPU, etc.).
3. Optimiseur de modèle: OpenVINO fournit un optimiseur de modèle qui importe, convertit et optimise les modèles à partir de frameworks d'apprentissage profond populaires tels que PyTorch, TensorFlowTensorFlow Lite, Keras, ONNX, PaddlePaddle, et Caffe.
4. Facilité d'utilisation: la boîte à outils est livrée avec plus de 80 cahiers de travaux dirigés (y compris YOLOv8 optimization) qui enseignent différents aspects de la boîte à outils.

OpenVINO Structure des exportations

Lorsque vous exportez un modèle au format OpenVINO , vous obtenez un répertoire contenant les éléments suivants :

1. Fichier XML: Décrit la topologie du réseau.
2. Fichier BIN: Contient les données binaires de weights and biases .
3. Fichier de correspondance: Contient la correspondance entre les tenseurs de sortie du modèle original et les noms de OpenVINO tensor .

Vous pouvez utiliser ces fichiers pour lancer l'inférence avec le moteur d'inférence OpenVINO .

Utilisation de OpenVINO Export dans le déploiement

Une fois que vous avez les fichiers OpenVINO , vous pouvez utiliser le Runtime OpenVINO pour exécuter le modèle. Le Runtime fournit une API unifiée pour l'inférence sur tout le matériel Intel pris en charge. Il offre également des fonctionnalités avancées telles que l'équilibrage de la charge sur le matériel Intel et l'exécution asynchrone. Pour plus d'informations sur l'exécution de l'inférence, reportez-vous au Guide de l'inférence avec OpenVINO Runtime.

N'oubliez pas que vous aurez besoin des fichiers XML et BIN ainsi que de tous les paramètres spécifiques à l'application tels que la taille de l'entrée, le facteur d'échelle pour la normalisation, etc. pour configurer et utiliser correctement le modèle avec le Runtime.

Dans votre application de déploiement, vous effectuez généralement les étapes suivantes :

1. Initialiser OpenVINO en créant core = Core().
2. Charger le modèle à l'aide de la fonction core.read_model() méthode.
3. Compiler le modèle à l'aide de la fonction core.compile_model() fonction.
4. Préparer l'entrée (image, texte, audio, etc.).
5. Effectuer une inférence à l'aide de compiled_model(input_data).

Pour des étapes plus détaillées et des extraits de code, reportez-vous à la documentationOpenVINO ou au didacticiel API.

OpenVINO YOLOv8 Critères de référence

YOLOv8 Les benchmarks ci-dessous ont été réalisés par l'équipe Ultralytics sur 4 formats de modèles différents mesurant la vitesse et la précision : PyTorch, TorchScript, ONNX et OpenVINO. Les tests ont été effectués sur les GPU Flex et Arc de Intel et sur les CPU Xeon de Intel en FP32. précision (avec le half=False argument).

Intel Flex GPU

La série Intel® Data Center GPU Flex est une solution polyvalente et robuste conçue pour le nuage visuel intelligent. Ce site GPU prend en charge un large éventail de charges de travail, notamment le streaming multimédia, les jeux en nuage, l'inférence visuelle de l'IA et les charges de travail de l'infrastructure de bureau virtuel. Il se distingue par son architecture ouverte et sa prise en charge intégrée de l'encodage AV1, offrant ainsi une pile logicielle basée sur des normes pour des applications hautes performances et multi-architectures. La série Flex GPU est optimisée pour la densité et la qualité, offrant une fiabilité, une disponibilité et une évolutivité élevées.

Les repères ci-dessous sont exécutés sur Intel® Data Center GPU Flex 170 avec une précision FP32.

Ce tableau représente les résultats de référence pour cinq modèles différents (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) dans quatre formats différents (PyTorch, TorchScript, ONNX, OpenVINO), en indiquant l'état, la taille, la métrique mAP50-95(B) et le temps d'inférence pour chaque combinaison.

Intel Arc GPU

Intel® Arc™ représente l'incursion de Intel sur le marché des ordinateurs dédiés à GPU . La série Arc™, conçue pour concurrencer les principaux fabricants de GPU tels qu'AMD et NVIDIA, s'adresse à la fois aux marchés des ordinateurs portables et des ordinateurs de bureau. La série comprend des versions mobiles pour les appareils compacts tels que les ordinateurs portables, et des versions plus grandes et plus puissantes pour les ordinateurs de bureau.

La série Arc™ est divisée en trois catégories : Arc™ 3, Arc™ 5 et Arc™ 7, chaque numéro indiquant le niveau de performance. Chaque catégorie comprend plusieurs modèles, et le " M " dans le nom du modèle GPU signifie une variante mobile et intégrée.

Les premières critiques ont fait l'éloge de la série Arc™, en particulier de l'A770M GPU intégré, pour ses performances graphiques impressionnantes. La disponibilité de la série Arc™ varie selon les régions, et d'autres modèles devraient être commercialisés prochainement. Les GPU Intel® Arc™ offrent des solutions hautes performances pour toute une série de besoins informatiques, du jeu à la création de contenu.

Les benchmarks ci-dessous sont exécutés sur Intel® Arc 770 GPU avec une précision FP32.

Intel Xeon CPU

L'Intel® Xeon® CPU est un processeur haute performance de niveau serveur conçu pour les charges de travail complexes et exigeantes. Du cloud computing et de la virtualisation haut de gamme aux applications d'intelligence artificielle et d'apprentissage automatique, les CPU Xeon® offrent la puissance, la fiabilité et la flexibilité requises pour les centres de données d'aujourd'hui.

Les processeurs Xeon® offrent notamment une densité de calcul et une évolutivité élevées, ce qui les rend idéaux pour les petites entreprises comme pour les grandes. En choisissant les CPU Intel® Xeon®, les entreprises peuvent gérer en toute confiance leurs tâches informatiques les plus exigeantes et favoriser l'innovation tout en maintenant la rentabilité et l'efficacité opérationnelle.

Les tests ci-dessous sont effectués sur des ordinateurs Intel® Xeon® Scalable de 4ème génération CPU avec une précision FP32.

Intel Cœur de métier CPU

La série Intel® Core® est une gamme de processeurs haute performance de Intel. La gamme comprend le Core i3 (entrée de gamme), le Core i5 (milieu de gamme), le Core i7 (haut de gamme) et le Core i9 (performances extrêmes). Chaque série répond à des besoins informatiques et à des budgets différents, qu'il s'agisse de tâches quotidiennes ou de charges de travail professionnelles exigeantes. Chaque nouvelle génération apporte des améliorations en termes de performances, d'efficacité énergétique et de fonctionnalités.

Les tests ci-dessous sont effectués sur des ordinateurs Intel® Core® i7-13700H de 13e génération CPU avec une précision FP32.

Intel Ultra 7 155H Meteor Lake CPU

L'Intel® Ultra™ 7 155H représente une nouvelle référence en matière d'informatique haute performance, conçue pour répondre aux utilisateurs les plus exigeants, des joueurs aux créateurs de contenu. L'Ultra™ 7 155H n'est pas un simple CPU; il intègre un puissant GPU et une NPU (Neural Processing Unit) avancée au sein d'une seule et même puce, offrant ainsi une solution complète pour divers besoins informatiques.

Cette architecture hybride permet à l'Ultra™ 7 155H d'exceller à la fois dans les tâches traditionnelles CPU et dans les charges de travail accélérées GPU- tandis que le NPU améliore les processus pilotés par l'IA, permettant des opérations d'apprentissage automatique plus rapides et plus efficaces. Cela fait de l'Ultra™ 7 155H un choix polyvalent pour les applications nécessitant des graphismes hautes performances, des calculs complexes et de l'inférence IA.

La série Ultra™ 7 comprend plusieurs modèles, chacun offrant différents niveaux de performance, la désignation " H " indiquant une variante haute puissance adaptée aux ordinateurs portables et aux appareils compacts. Les premiers benchmarks ont mis en évidence les performances exceptionnelles de l'Ultra™ 7 155H, en particulier dans les environnements multitâches, où la puissance combinée du CPU, du GPU, et du NPU conduit à une efficacité et une vitesse remarquables.

Dans le cadre de l'engagement de Intel'en faveur des technologies de pointe, l'Ultra™ 7 155H est conçu pour répondre aux besoins de l'informatique future, et d'autres modèles devraient être commercialisés. La disponibilité de l'Ultra™ 7 155H varie selon les régions, et il continue de recevoir des éloges pour son intégration de trois puissantes unités de traitement dans une seule puce, établissant ainsi de nouvelles normes en matière de performances informatiques.

Les benchmarks ci-dessous sont exécutés sur Intel® Ultra™ 7 155H avec une précision FP32 et INT8.

Critères de référence

Intel® Arc™ intégré GPUIntel® Meteor Lake CPUIntel® AI Boost NPU intégré

Modèle	Format	Précision	Statut	Taille (MB)	métriques/mAP50-95(B)	Temps d'inférence (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Modèle	Format	Précision	Statut	Taille (MB)	métriques/mAP50-95(B)	Temps d'inférence (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Modèle	Format	Précision	Statut	Taille (MB)	métriques/mAP50-95(B)	Temps d'inférence (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Reproduire nos résultats

Pour reproduire les benchmarks Ultralytics ci-dessus sur tous les formats d' exportation, exécutez ce code :

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusion

Les résultats de l'analyse comparative démontrent clairement les avantages de l'exportation du modèle YOLOv8 vers le format OpenVINO . Pour différents modèles et plates-formes matérielles, le format OpenVINO est toujours plus performant que les autres formats en termes de vitesse d'inférence, tout en conservant une précision comparable.

Pour la série Intel® Data Center GPU Flex, le format OpenVINO a permis d'obtenir des vitesses d'inférence presque 10 fois plus rapides que le format original PyTorch . Sur le Xeon CPU, le format OpenVINO a été deux fois plus rapide que le format PyTorch . La précision des modèles est restée pratiquement identique entre les différents formats.

Les benchmarks soulignent l'efficacité de OpenVINO en tant qu'outil de déploiement de modèles d'apprentissage profond. En convertissant les modèles au format OpenVINO , les développeurs peuvent obtenir des améliorations significatives des performances, ce qui facilite le déploiement de ces modèles dans des applications réelles.

Pour plus d'informations et d'instructions sur l'utilisation de OpenVINO, veuillez vous référer à la documentation officielle de OpenVINO .

FAQ

Comment exporter les modèles YOLOv8 au format OpenVINO ?

L'exportation des modèles YOLOv8 vers le format OpenVINO peut considérablement améliorer la vitesse de CPU et permettre GPU et les accélérations NPU sur le matériel Intel . Pour exporter, vous pouvez utiliser Python ou CLI comme indiqué ci-dessous :

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Pour plus d'informations, consultez la documentation sur les formats d'exportation.

Quels sont les avantages de l'utilisation de OpenVINO avec les modèles YOLOv8 ?

L'utilisation de la boîte à outils OpenVINO de Intel avec les modèles YOLOv8 présente plusieurs avantages :

1. Performance: Accélération jusqu'à trois fois plus rapide de l'inférence sur CPU et utilisation des GPU et NPU Intel pour l'accélération.
2. Optimiseur de modèle: Convertissez, optimisez et exécutez des modèles à partir de cadres populaires tels que PyTorch, TensorFlow, et ONNX.
3. Facilité d'utilisation: Plus de 80 tutoriels sont disponibles pour aider les utilisateurs à démarrer, y compris pour YOLOv8.
4. Exécution hétérogène: Déployer des modèles sur différents matériels Intel avec une API unifiée.

Pour des comparaisons de performances détaillées, consultez notre section "benchmarks".

Comment puis-je effectuer une inférence à partir d'un modèle YOLOv8 exporté vers OpenVINO?

Après avoir exporté un modèle YOLOv8 au format OpenVINO , vous pouvez effectuer l'inférence à l'aide de Python ou CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Reportez-vous à notre documentation sur le mode prédictif pour plus de détails.

Pourquoi devrais-je choisir Ultralytics YOLOv8 plutôt que d'autres modèles pour l'exportation OpenVINO ?

Ultralytics YOLOv8 est optimisé pour la détection d'objets en temps réel avec une précision et une rapidité élevées. Plus précisément, lorsqu'il est associé à OpenVINO, YOLOv8 offre les avantages suivants :

• Jusqu'à 3 fois plus rapide sur les processeurs Intel
• Déploiement transparent sur les GPU et NPU Intel
• Précision cohérente et comparable dans les différents formats d'exportation

Pour une analyse approfondie des performances, consultez nos benchmarks détaillés deYOLOv8 sur différents matériels.

Puis-je comparer les modèles YOLOv8 sur différents formats tels que PyTorch, ONNX, et OpenVINO?

Oui, vous pouvez comparer les modèles YOLOv8 dans différents formats, notamment PyTorch, TorchScript, ONNX et OpenVINO. Utilisez l'extrait de code suivant pour effectuer des analyses comparatives sur l'ensemble de données de votre choix :

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Pour obtenir des résultats détaillés, reportez-vous à la section "benchmarks" et à la documentation sur les formats d'exportation.

📅C réé il y a 1 an ✏️ Mis à jour il y a 2 mois

Commentaires