Intel OpenVINO Exportar

En esta guía, cubrimos la exportación de modelos de YOLOv8 al formato OpenVINO que puede proporcionar hasta 3 veces más velocidad CPU así como la aceleración de la inferencia de YOLO en hardware Intel GPU y el hardware NPU.

OpenVINOOpen Visual Inference & Neural Network Optimization toolkit, es un completo conjunto de herramientas para optimizar y desplegar modelos de inferencia de inteligencia artificial. Aunque el nombre contiene Visual, OpenVINO también admite varias tareas adicionales, como lenguaje, audio, series temporales, etc.

Observa: Cómo exportar y optimizar un modelo Ultralytics YOLOv8 para la inferencia con OpenVINO.

Ejemplos de uso

Exporte un modelo YOLOv8n al formato OpenVINO y ejecute la inferencia con el modelo exportado.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumentos

Beneficios de OpenVINO

1. Rendimiento: OpenVINO ofrece una inferencia de alto rendimiento utilizando la potencia de las CPU de Intel , las GPU integradas y discretas y las FPGA.
2. Soporte para ejecución heterogénea: OpenVINO proporciona una API para escribir una vez y desplegar en cualquier hardware compatible con Intel (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO proporciona un optimizador de modelos que importa, convierte y optimiza modelos de marcos de aprendizaje profundo populares como PyTorch, TensorFlowTensorFlow Lite, Keras, ONNX, PaddlePaddle y Caffe.
4. Facilidad de uso: el kit de herramientas viene con más de 80 cuadernos tutoriales (incluida la optimización deYOLOv8 ) que enseñan diferentes aspectos del kit de herramientas.

OpenVINO Estructura de exportación

Al exportar un modelo al formato OpenVINO , se obtiene un directorio que contiene lo siguiente:

1. Fichero XML: Describe la topología de la red.
2. Archivo BIN: Contiene los datos binarios de weights and biases .
3. Archivo de asignación: Contiene la correspondencia de los tensores de salida del modelo original con los nombres de OpenVINO tensor .

Puede utilizar estos archivos para ejecutar la inferencia con el motor de inferencia OpenVINO .

Utilización de OpenVINO Export in Deployment

Una vez que tenga los archivos OpenVINO , puede utilizar el Runtime OpenVINO para ejecutar el modelo. El Runtime proporciona una API unificada para la inferencia a través de todo el hardware Intel soportado. También ofrece funciones avanzadas como el equilibrio de carga en todo el hardware Intel y la ejecución asíncrona. Para más información sobre la ejecución de la inferencia, consulte la Guía de Inferencia con OpenVINO Runtime.

Recuerde que necesitará los archivos XML y BIN, así como cualquier configuración específica de la aplicación, como el tamaño de entrada, el factor de escala para la normalización, etc., para configurar y utilizar correctamente el modelo con el Runtime.

En su aplicación de despliegue, normalmente realizaría los siguientes pasos:

1. Inicialice OpenVINO creando core = Core().
2. Cargue el modelo mediante la función core.read_model() método.
3. Compile el modelo utilizando la función core.compile_model() función.
4. Prepare la entrada (imagen, texto, audio, etc.).
5. Ejecutar la inferencia utilizando compiled_model(input_data).

Para obtener información más detallada y fragmentos de código, consulte la documentación deOpenVINO o el tutorial de la API.

OpenVINO YOLOv8 Puntos de referencia

YOLOv8 El equipo de Ultralytics ejecutó las pruebas de rendimiento que se indican a continuación en 4 formatos de modelo diferentes para medir la velocidad y la precisión: PyTorch, TorchScript, ONNX y OpenVINO. Las pruebas se ejecutaron en las GPU Flex y Arc de Intel y en las CPU Xeon de Intel a FP32. precisión (con el half=False argumento).

Intel Flex GPU

La serie Intel® Data Center GPU Flex es una solución versátil y robusta diseñada para la nube visual inteligente. Esta GPU es compatible con una amplia gama de cargas de trabajo, entre las que se incluyen streaming multimedia, juegos en la nube, inferencia visual de IA y cargas de trabajo de infraestructura de escritorio virtual. Destaca por su arquitectura abierta y su compatibilidad integrada con la codificación AV1, lo que proporciona una pila de software basada en estándares para aplicaciones de alto rendimiento y arquitectura cruzada. La serie Flex GPU está optimizada para la densidad y la calidad, y ofrece alta fiabilidad, disponibilidad y escalabilidad.

Las siguientes pruebas se ejecutan en Intel® Data Center GPU Flex 170 con precisión FP32.

Esta tabla representa los resultados del benchmark para cinco modelos diferentes (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) a través de cuatro formatos diferentes (PyTorch, TorchScript, ONNX, OpenVINO), dándonos el estado, tamaño, métrica mAP50-95(B) y tiempo de inferencia para cada combinación.

Intel Arco GPU

Intel® Arc™ representa la incursión de Intel en el mercado dedicado de GPU . La serie Arc™, diseñada para competir con fabricantes líderes de GPU como AMD y NVIDIA, se dirige tanto al mercado de portátiles como al de ordenadores de sobremesa. La serie incluye versiones móviles para dispositivos compactos como los portátiles y versiones más grandes y potentes para ordenadores de sobremesa.

La serie Arc™ se divide en tres categorías: Arc™ 3, Arc™ 5 y Arc™ 7, en las que cada número indica el nivel de rendimiento. Cada categoría incluye varios modelos, y la "M" en el nombre del modelo GPU significa una variante móvil e integrada.

Las primeras críticas han elogiado la serie Arc™, en particular el modelo integrado A770M GPU, por su impresionante rendimiento gráfico. La disponibilidad de la serie Arc™ varía según la región y se espera que pronto se lancen modelos adicionales. Las GPU Intel® Arc™ ofrecen soluciones de alto rendimiento para una amplia gama de necesidades informáticas, desde los juegos hasta la creación de contenidos.

Las pruebas se ejecutan en Intel® Arc 770 GPU con precisión FP32.

Intel Xeon CPU

El Intel® Xeon® CPU es un procesador de alto rendimiento para servidores diseñado para cargas de trabajo complejas y exigentes. Desde la informática en la nube de gama alta y la virtualización hasta la inteligencia artificial y las aplicaciones de aprendizaje automático, las CPU Xeon® ofrecen la potencia, fiabilidad y flexibilidad necesarias para los centros de datos actuales.

En particular, las CPU Xeon® ofrecen alta densidad de cómputo y escalabilidad, lo que las hace ideales tanto para pequeñas empresas como para grandes compañías. Al elegir las CPU Intel® Xeon®, las organizaciones pueden manejar con confianza sus tareas informáticas más exigentes y fomentar la innovación, manteniendo al mismo tiempo la rentabilidad y la eficiencia operativa.

Las siguientes pruebas se ejecutan en la 4ª generación de Intel® Xeon® Scalable CPU con precisión FP32.

Intel Núcleo CPU

La serie Intel® Core® es una gama de procesadores de alto rendimiento de Intel. La gama incluye Core i3 (gama básica), Core i5 (gama media), Core i7 (gama alta) y Core i9 (rendimiento extremo). Cada serie se adapta a diferentes necesidades informáticas y presupuestos, desde las tareas cotidianas hasta las cargas de trabajo profesionales más exigentes. Con cada nueva generación se introducen mejoras en el rendimiento, la eficiencia energética y las prestaciones.

Las siguientes pruebas se ejecutan en Intel® Core® i7-13700H de 13ª generación CPU con precisión FP32.

Intel Ultra 7 155H Meteor Lake CPU

El Intel® Ultra™ 7 155H representa una nueva referencia en informática de alto rendimiento, diseñado para satisfacer a los usuarios más exigentes, desde jugadores hasta creadores de contenidos. El Ultra™ 7 155H no es sólo un CPU; integra un potente GPU y una avanzada NPU (Unidad de Procesamiento Neuronal) dentro de un único chip, ofreciendo una solución integral para diversas necesidades informáticas.

Esta arquitectura híbrida permite al Ultra™ 7 155H sobresalir tanto en las tareas tradicionales de CPU como en las cargas de trabajo aceleradas por GPU, mientras que la NPU mejora los procesos impulsados por la IA, permitiendo operaciones de aprendizaje automático más rápidas y eficientes. Esto convierte a Ultra™ 7 155H en una opción versátil para aplicaciones que requieren gráficos de alto rendimiento, cálculos complejos e inferencia de IA.

La serie Ultra™ 7 incluye múltiples modelos, cada uno de los cuales ofrece diferentes niveles de rendimiento, con la designación "H" que indica una variante de alta potencia adecuada para portátiles y dispositivos compactos. Los primeros análisis comparativos han puesto de relieve el excepcional rendimiento del Ultra™ 7 155H, especialmente en entornos multitarea, donde la potencia combinada de CPU, GPU, y NPU conduce a una eficiencia y velocidad notables.

Como parte del compromiso de Intel con la tecnología de vanguardia, el Ultra™ 7 155H está diseñado para satisfacer las necesidades de la informática del futuro, y se espera el lanzamiento de más modelos. La disponibilidad del Ultra™ 7 155H varía según la región, y sigue recibiendo elogios por su integración de tres potentes unidades de procesamiento en un solo chip, que establece nuevos estándares en rendimiento informático.

Los benchmarks a continuación se ejecutan en Intel® Ultra™ 7 155H en FP32 y precisión INT8.

Puntos de referencia

Intel® Arc™ integrado GPUIntel® Meteor Lake CPUNPU Intel® AI Boost integrada

Modelo	Formato	Precisión	Estado	Tamaño (MB)	métrica/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

Modelo	Formato	Precisión	Estado	Tamaño (MB)	métrica/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

Modelo	Formato	Precisión	Estado	Tamaño (MB)	métrica/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

Reproduzca nuestros resultados

Para reproducir las pruebas anteriores de Ultralytics en todos los formatos de exportación, ejecute este código:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusión

Los resultados de las pruebas comparativas demuestran claramente las ventajas de exportar el modelo YOLOv8 al formato OpenVINO . En diferentes modelos y plataformas de hardware, el formato OpenVINO supera sistemáticamente a otros formatos en términos de velocidad de inferencia, manteniendo una precisión comparable.

En la serie Intel® Data Center GPU Flex, el formato OpenVINO pudo ofrecer velocidades de inferencia casi 10 veces más rápidas que el formato original PyTorch . En el Xeon CPU, el formato OpenVINO fue dos veces más rápido que el formato PyTorch . La precisión de los modelos fue prácticamente idéntica en los distintos formatos.

Las pruebas comparativas subrayan la eficacia de OpenVINO como herramienta para desplegar modelos de aprendizaje profundo. Al convertir los modelos al formato OpenVINO , los desarrolladores pueden conseguir mejoras significativas en el rendimiento, lo que facilita el despliegue de estos modelos en aplicaciones del mundo real.

Para obtener información más detallada e instrucciones sobre el uso de OpenVINO, consulte la documentación oficial de OpenVINO .

PREGUNTAS FRECUENTES

¿Cómo se exportan los modelos de YOLOv8 al formato OpenVINO ?

La exportación de modelos YOLOv8 al formato OpenVINO puede mejorar significativamente la velocidad CPU y permitir aceleraciones GPU y NPU en el hardware Intel . Para exportar, puede utilizar Python o CLI , como se muestra a continuación:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

Para más información, consulte la documentación sobre formatos de exportación.

¿Cuáles son las ventajas de utilizar OpenVINO con los modelos YOLOv8 ?

La utilización de Intel's OpenVINO toolkit con los modelos YOLOv8 ofrece varias ventajas:

1. Rendimiento: Consigue hasta 3 veces más velocidad en la inferencia de CPU y aprovecha las GPU y NPU de Intel para la aceleración.
2. Optimizador de modelos: Convierte, optimiza y ejecuta modelos de marcos de trabajo populares como PyTorch, TensorFlow y ONNX.
3. Facilidad de uso: Más de 80 cuadernos de tutoriales están disponibles para ayudar a los usuarios a empezar, incluyendo algunos para YOLOv8.
4. Ejecución heterogénea: Despliegue modelos en diversos equipos Intel con una API unificada.

Para obtener comparaciones de rendimiento detalladas, visite nuestra sección de puntos de referencia.

¿Cómo puedo realizar inferencias con un modelo de YOLOv8 exportado a OpenVINO?

Después de exportar un modelo YOLOv8 al formato OpenVINO , puede ejecutar la inferencia utilizando Python o CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Consulte nuestra documentación sobre el modo predecir para obtener más detalles.

¿Por qué debería elegir Ultralytics YOLOv8 en lugar de otros modelos para la exportación OpenVINO ?

Ultralytics YOLOv8 está optimizado para la detección de objetos en tiempo real con gran precisión y rapidez. En concreto, cuando se combina con OpenVINO, YOLOv8 proporciona:

• Hasta 3 veces más velocidad en CPUs Intel
• Implantación sin fisuras en las GPU y NPU de Intel
• Precisión coherente y comparable en varios formatos de exportación

Para un análisis en profundidad del rendimiento, consulta nuestros detallados análisis comparativos deYOLOv8 en distintos equipos.

¿Puedo comparar los modelos YOLOv8 con distintos formatos, como PyTorch, ONNX y OpenVINO?

Sí, puede realizar pruebas comparativas con modelos de YOLOv8 en varios formatos, como PyTorch, TorchScript, ONNX y OpenVINO. Utilice el siguiente fragmento de código para ejecutar pruebas comparativas en el conjunto de datos que elija:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Para conocer los resultados detallados de las pruebas comparativas, consulta nuestra sección de pruebas comparativas y la documentación sobre formatos de exportación.

Creado hace 1 año ✏️ Actualizado hace 2 meses

Comentarios