Exportación a Intel OpenVINO#

En esta guía explicamos cómo exportar modelos YOLO26 al formato OpenVINO, que puede ofrecer hasta 3 veces más velocidad en CPU, además de acelerar la inferencia de YOLO en el hardware GPU y NPU de Intel.

OpenVINO, abreviatura de kit de herramientas de inferencia visual abierta y optimización de redes neuronales, es un completo kit de herramientas para optimizar e implementar modelos de inferencia de IA. Aunque el nombre incluye «Visual», OpenVINO también admite diversas tareas adicionales, como el lenguaje, el audio y las series temporales.

Tareas compatibles#

La exportación a OpenVINO es compatible con las siete tareas de Ultralytics. La segmentación semántica y la estimación de profundidad solo están disponibles con YOLO26, la única familia que incluye esos cabezales.

Instalación#

Instala las dependencias de exportación de OpenVINO con:

pip install "ultralytics[export-openvino]"

Estas dependencias también se incluyen en ultralytics[export] y se instalan automáticamente cuando se necesitan para una exportación.

Ejemplos de uso#

El formato OpenVINO admite los modos Exportar, Predecir y Validar. Exporta el modelo y, después, cárgalo para ejecutar inferencias o validar su precisión en una CPU Intel, una GPU integrada o discreta, o una NPU.

from ultralytics import YOLO

# Carga un modelo YOLO26
model = YOLO("yolo26n.pt")

# Exporta el modelo al formato OpenVINO
model.export(format="openvino")  # creates 'yolo26n_openvino_model/'

from ultralytics import YOLO

# Carga el modelo OpenVINO exportado
model = YOLO("yolo26n_openvino_model/")

# Ejecutar inferencia
results = model("https://ultralytics.com/images/bus.jpg")

# Ejecuta inferencias en un dispositivo concreto. Dispositivos disponibles: ["intel:gpu", "intel:npu", "intel:cpu"]
results = model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

from ultralytics import YOLO

# Carga el modelo OpenVINO exportado
model = YOLO("yolo26n_openvino_model/")

# Valida la precisión con el conjunto de datos COCO8
metrics = model.val(data="coco8.yaml")

Argumentos de exportación#

Para obtener más información sobre el proceso de exportación, visita la página de documentación de Ultralytics sobre exportación.

Ventajas de OpenVINO#

1. Rendimiento: OpenVINO ofrece inferencias de alto rendimiento al aprovechar la potencia de las CPU, las GPU integradas y discretas y las FPGA de Intel.
2. Compatibilidad con la ejecución heterogénea: OpenVINO ofrece una API que permite escribir una vez e implementar en cualquier hardware Intel compatible (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO incluye un optimizador de modelos que importa, convierte y optimiza modelos de frameworks populares de aprendizaje profundo, como PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle y Caffe.
4. Facilidad de uso: el kit de herramientas incluye una amplia colección de cuadernos de tutorial (incluida la optimización de YOLO26) que enseñan distintos aspectos del kit.

Estructura de exportación de OpenVINO#

Al exportar un modelo al formato OpenVINO, se crea un directorio que contiene lo siguiente:

1. Archivo XML: describe la topología de la red.
2. Archivo BIN: contiene los datos binarios de los pesos y sesgos.
3. Archivo de metadatos: metadata.yaml almacena metadatos del modelo, como los nombres de las clases, el tamaño de la imagen y la tarea, que Ultralytics lee al cargar el modelo.

Puedes utilizar estos archivos para ejecutar inferencias con OpenVINO Runtime.

Uso de la exportación a OpenVINO en la implementación#

Una vez que hayas exportado correctamente el modelo al formato OpenVINO, tienes dos opciones principales para ejecutar inferencias:

1. Utiliza el paquete ultralytics, que proporciona una API de alto nivel y encapsula OpenVINO Runtime.

2. Utiliza el paquete nativo openvino para tener un control más avanzado o personalizado sobre el comportamiento de la inferencia.

Inferencia con Ultralytics#

El paquete ultralytics te permite ejecutar fácilmente inferencias con el modelo OpenVINO exportado mediante el método predict. También puedes especificar el dispositivo de destino (por ejemplo, intel:gpu, intel:npu, intel:cpu) con el argumento device.

from ultralytics import YOLO

# Carga el modelo OpenVINO exportado
ov_model = YOLO("yolo26n_openvino_model/")  # la ruta de tu modelo OpenVINO exportado
# Ejecuta inferencias con el modelo exportado
ov_model.predict(device="intel:gpu")  # especifica el dispositivo en el que quieres ejecutar inferencias

Este método es ideal para crear prototipos rápidamente o para implementar el modelo cuando no necesitas tener un control total sobre el flujo de inferencia.

Inferencia con OpenVINO Runtime#

OpenVINO Runtime ofrece una API unificada para ejecutar inferencias en todo el hardware Intel compatible. También proporciona funciones avanzadas, como el equilibrio de carga entre el hardware Intel y la ejecución asíncrona. Para obtener más información sobre cómo ejecutar inferencias, consulta los cuadernos de YOLO26.

Recuerda que necesitarás los archivos XML y BIN, así como cualquier configuración específica de la aplicación, como el tamaño de entrada o el factor de escala para la normalización, entre otros, para configurar y utilizar correctamente el modelo con Runtime.

En tu aplicación de implementación, normalmente seguirías estos pasos:

1. Inicializa OpenVINO creando core = Core().
2. Carga el modelo con el método core.read_model().
3. Compila el modelo con la función core.compile_model().
4. Prepara la entrada (imagen, texto, audio, etc.).
5. Ejecuta inferencias con compiled_model(input_data).

Para ver pasos más detallados y fragmentos de código, consulta la documentación de OpenVINO o el tutorial de la API.

Pruebas de rendimiento de YOLO26 con OpenVINO#

El equipo de Ultralytics comparó YOLO26 en distintos formatos de modelo y niveles de precisión, y evaluó la velocidad y la precisión en diferentes dispositivos Intel compatibles con OpenVINO.

Intel® Core™ Ultra#

La serie Intel® Core™ Ultra™ establece un nuevo referente en computación de alto rendimiento y está diseñada para satisfacer las necesidades cambiantes de los usuarios actuales, desde jugadores y creadores hasta profesionales que aprovechan la IA. Esta gama de nueva generación es mucho más que una serie de CPU tradicional: combina núcleos de CPU potentes, capacidades de GPU integrada de alto rendimiento y una unidad de procesamiento neuronal (NPU) dedicada en un solo chip, para ofrecer una solución unificada para cargas de trabajo informáticas diversas e intensivas.

La arquitectura Intel® Core Ultra™ se basa en un diseño híbrido que permite ofrecer un rendimiento excepcional en tareas de procesamiento tradicionales, cargas de trabajo aceleradas por GPU y operaciones basadas en IA. La inclusión de la NPU mejora la inferencia de IA en el dispositivo, lo que permite un aprendizaje automático y un procesamiento de datos más rápidos y eficientes en una amplia variedad de aplicaciones.

La familia Core Ultra™ incluye diversos modelos adaptados a distintas necesidades de rendimiento, desde diseños de bajo consumo hasta variantes de alta potencia con la designación «H», ideales para portátiles y formatos compactos que requieren una gran capacidad de cálculo. En toda la gama, los usuarios se benefician de la integración sinérgica de CPU, GPU y NPU, que ofrece una eficiencia, una capacidad de respuesta y una aptitud para la multitarea extraordinarias.

Como parte de la innovación continua de Intel, la serie Core Ultra™ establece un nuevo estándar para la informática preparada para el futuro. Con varios modelos disponibles y más por llegar, esta serie pone de manifiesto el compromiso de Intel con el desarrollo de soluciones de vanguardia para la próxima generación de dispositivos inteligentes mejorados con IA.

Las pruebas de rendimiento que se muestran a continuación se realizaron en Intel® Core™ Ultra™ X7 358H, Intel® Core™ Ultra™ 7 258V e Intel® Core™ Ultra™ 7 155H con precisiones FP32, FP16 e INT8.

Intel® Core™ Ultra™ X7 358H#

Pruebas de rendimiento

GPU Intel® Arc™ integradaCPU Intel® Panther LakeNPU Intel® AI Boost integrada

Resultados detallados de las pruebas de rendimiento

Modelo	Formato	Precisión	Estado	Tamaño (MB)	metrics/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	29.28
YOLO26n	OpenVINO	FP32	✅	9.7	0.4762	4.09
YOLO26n	OpenVINO	FP16	✅	5.1	0.4762	4.03
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	4.24
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	59.32
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	5.08
YOLO26s	OpenVINO	FP16	✅	18.7	0.5616	5.14
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	4.47
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	143.21
YOLO26m	OpenVINO	FP32	✅	78.4	0.6166	7.1
YOLO26m	OpenVINO	FP16	✅	39.5	0.6166	7.06
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.61
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	181.16
YOLO26l	OpenVINO	FP32	✅	95.3	0.6205	8.45
YOLO26l	OpenVINO	FP16	✅	48.1	0.6205	8.49
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	6.25
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	379.75
YOLO26x	OpenVINO	FP32	✅	213.3	0.6568	13.03
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	12.98
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	8.74

Intel® Core™ Ultra™ 7 258V#

Pruebas de rendimiento

GPU Intel® Arc™ integradaCPU Intel® Lunar LakeNPU Intel® AI Boost integrada

Resultados detallados de las pruebas de rendimiento

Modelo	Formato	Precisión	Estado	Tamaño (MB)	metrics/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	27.33
YOLO26n	OpenVINO	FP32	✅	9.6	0.4764	3.33
YOLO26n	OpenVINO	FP16	✅	5.1	0.4764	3.34
YOLO26n	OpenVINO	INT8	✅	3.2	0.4634	3.46
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	60.2
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	4.66
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	4.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.5462	3.99
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	152.87
YOLO26m	OpenVINO	FP32	✅	78.4	0.6168	9.03
YOLO26m	OpenVINO	FP16	✅	39.5	0.6168	8.98
YOLO26m	OpenVINO	INT8	✅	20.6	0.6055	5.7
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	201.57
YOLO26l	OpenVINO	FP32	✅	95.3	0.6203	11.32
YOLO26l	OpenVINO	FP16	✅	48.1	0.6203	11.36
YOLO26l	OpenVINO	INT8	✅	25.2	0.5938	7.45
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	431.04
YOLO26x	OpenVINO	FP32	✅	213.2	0.6568	19.08
YOLO26x	OpenVINO	FP16	✅	107.1	0.6568	19.63
YOLO26x	OpenVINO	INT8	✅	54.8	0.6385	13.69

Intel® Core™ Ultra™ 7 155H#

Pruebas de rendimiento

GPU Intel® Arc™ integradaCPU Intel® Meteor Lake

Resultados detallados de las pruebas de rendimiento

Modelo	Formato	Precisión	Estado	Tamaño (MB)	metrics/mAP50-95(B)	Tiempo de inferencia (ms/im)
YOLO26n	PyTorch (CPU)	FP32	✅	5.3	0.4765	33.19
YOLO26n	OpenVINO	FP32	✅	9.6	0.4758	9.13
YOLO26n	OpenVINO	FP16	✅	5.1	0.4758	9.07
YOLO26n	OpenVINO	INT8	✅	3.2	0.4573	5.79
YOLO26s	PyTorch (CPU)	FP32	✅	19.5	0.5703	70.92
YOLO26s	OpenVINO	FP32	✅	36.7	0.5616	16.37
YOLO26s	OpenVINO	FP16	✅	18.6	0.5616	16.65
YOLO26s	OpenVINO	INT8	✅	10.0	0.545	9.27
YOLO26m	PyTorch (CPU)	FP32	✅	42.2	0.6196	192.45
YOLO26m	OpenVINO	FP32	✅	78.4	0.6167	34.47
YOLO26m	OpenVINO	FP16	✅	39.5	0.6167	35.71
YOLO26m	OpenVINO	INT8	✅	20.6	0.6039	15.46
YOLO26l	PyTorch (CPU)	FP32	✅	50.7	0.6215	239.19
YOLO26l	OpenVINO	FP32	✅	95.3	0.621	43.24
YOLO26l	OpenVINO	FP16	✅	48.1	0.621	43.4
YOLO26l	OpenVINO	INT8	✅	25.2	0.5999	19.72
YOLO26x	PyTorch (CPU)	FP32	✅	113.2	0.6512	511.89
YOLO26x	OpenVINO	FP32	✅	213.2	0.6552	79.49
YOLO26x	OpenVINO	FP16	✅	107.1	0.6552	79.45
YOLO26x	OpenVINO	INT8	✅	54.8	0.642	34.66

Reproduce nuestros resultados#

Para reproducir las pruebas de rendimiento de Ultralytics anteriores en todos los formatos de exportación, ejecuta este código:

from ultralytics import YOLO

# Carga un modelo YOLO26n de PyTorch
model = YOLO("yolo26n.pt")

# Prueba la velocidad y la precisión de YOLO26n en el conjunto de datos COCO128 con todos los formatos de exportación
results = model.benchmark(data="coco128.yaml")

Conclusión#

Los resultados de las pruebas comparativas demuestran claramente las ventajas de exportar el modelo YOLO26 al formato OpenVINO. En distintos modelos y plataformas de hardware, el formato OpenVINO supera sistemáticamente a otros formatos en velocidad de inferencia, al tiempo que mantiene una precisión comparable.

Las pruebas comparativas ponen de relieve la eficacia de OpenVINO como herramienta para implementar modelos de aprendizaje profundo. Al convertir los modelos al formato OpenVINO, los desarrolladores pueden mejorar significativamente el rendimiento, lo que facilita la implementación de estos modelos en aplicaciones del mundo real.

Para obtener información e instrucciones más detalladas sobre el uso de OpenVINO, consulta la documentación oficial de OpenVINO.

Preguntas frecuentes#