Intel OpenVINO Exportar

En esta guía, cubrimos la exportación de modelos YOLOv8 al formato OpenVINO que puede proporcionar hasta 3 veces más velocidad de CPU, así como acelerar la inferencia de YOLO en el hardware de GPU y NPU de Intel.

OpenVINO, abreviatura de Open Visual Inference & Neural Network Optimization toolkit, es un completo conjunto de herramientas para optimizar y desplegar modelos de inferencia de IA. Aunque el nombre contiene Visual, OpenVINO también admite varias tareas adicionales, como lenguaje, audio, series temporales, etc.

Observa: Cómo exportar y optimizar un modelo Ultralytics YOLOv8 para inferirlo con OpenVINO.

Ejemplos de uso

Exporta un modelo YOLOv8n al formato OpenVINO y ejecuta la inferencia con el modelo exportado.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='openvino')  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO('yolov8n_openvino_model/')

# Run inference
results = ov_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

Argumentos

Beneficios de OpenVINO

1. Rendimiento: OpenVINO ofrece una inferencia de alto rendimiento utilizando la potencia de las CPU de Intel, las GPU integradas y discretas y las FPGA.
2. Compatibilidad con ejecución heterogénea: OpenVINO proporciona una API para escribir una vez y desplegar en cualquier hardware Intel compatible (CPU, GPU, FPGA, VPU, etc.).
3. Optimizador de modelos: OpenVINO proporciona un optimizador de modelos que importa, convierte y optimiza modelos de marcos de aprendizaje profundo populares como PyTorch, TensorFlow, TensorFlow Lite, Keras, ONNX, PaddlePaddle, y Caffe.
4. Facilidad de uso: El kit de herramientas viene con más de 80 cuadernos tutoriales (incluida la optimizaciónYOLOv8 ) que enseñan diferentes aspectos del kit de herramientas.

OpenVINO Estructura de exportación

Cuando exportas un modelo al formato OpenVINO , el resultado es un directorio que contiene lo siguiente:

1. Archivo XML: Describe la topología de la red.
2. Archivo BIN: Contiene los datos binarios de weights and biases .
3. Archivo de mapeo: Contiene la correspondencia de los tensores de salida del modelo original con los nombres de OpenVINO tensor .

Puedes utilizar estos archivos para ejecutar la inferencia con el motor de inferencia de OpenVINO .

Utilizar la exportación OpenVINO en la implantación

Una vez que tengas los archivos OpenVINO , puedes utilizar el Runtime OpenVINO para ejecutar el modelo. El Runtime proporciona una API unificada para la inferencia en todo el hardware Intel compatible. También ofrece funciones avanzadas como el equilibrio de carga en todo el hardware Intel y la ejecución asíncrona. Para más información sobre la ejecución de la inferencia, consulta la Guía de inferencia con OpenVINO Runtime.

Recuerda que necesitarás los archivos XML y BIN, así como los ajustes específicos de la aplicación, como el tamaño de la entrada, el factor de escala para la normalización, etc., para configurar y utilizar correctamente el modelo con el Runtime.

En tu aplicación de despliegue, normalmente harías los siguientes pasos:

1. Inicializa OpenVINO creando core = Core().
2. Carga el modelo utilizando la función core.read_model() método.
3. Compila el modelo utilizando la función core.compile_model() función.
4. Prepara la entrada (imagen, texto, audio, etc.).
5. Ejecuta la inferencia utilizando compiled_model(input_data).

Para pasos más detallados y fragmentos de código, consulta la documentación deOpenVINO o el tutorial de la API.

OpenVINO YOLOv8 Puntos de referencia

YOLOv8 El equipo de Ultralytics ejecutó las siguientes pruebas de rendimiento en 4 formatos de modelo diferentes, midiendo la velocidad y la precisión: PyTorch, TorchScript, ONNX y OpenVINO. Las pruebas se ejecutaron en GPU Flex y Arc de Intel, y en CPU Xeon de Intel con precisión FP32 (con la función half=False argumento).

GPU Intel Flex

La GPU Intel® serie Flex para centros de datos es una solución versátil y robusta diseñada para la nube visual inteligente. Esta GPU admite una amplia gama de cargas de trabajo, entre las que se incluyen la transmisión multimedia, los juegos en la nube, la inferencia visual de IA y las cargas de trabajo de infraestructura de escritorio virtual. Destaca por su arquitectura abierta y su compatibilidad integrada con la codificación AV1, que proporciona una pila de software basada en estándares para aplicaciones de alto rendimiento y arquitectura cruzada. La GPU de la serie Flex está optimizada para la densidad y la calidad, y ofrece alta fiabilidad, disponibilidad y escalabilidad.

Las siguientes pruebas se ejecutan en la GPU Intel® Data Center Flex 170 con precisión FP32.

Esta tabla representa los resultados de referencia de cinco modelos diferentes (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) en cuatro formatos distintos (PyTorch, TorchScript, ONNX, OpenVINO), dándonos el estado, el tamaño, la métrica mAP50-95(B) y el tiempo de inferencia de cada combinación.

GPU Intel Arc

Intel® Arc™ representa la incursión de Intel en el mercado de las GPU dedicadas. La serie Arc™, diseñada para competir con los principales fabricantes de GPU como AMD y Nvidia, se dirige tanto al mercado de los portátiles como al de los ordenadores de sobremesa. La serie incluye versiones móviles para dispositivos compactos como los portátiles, y versiones más grandes y potentes para ordenadores de sobremesa.

La serie Arc™ se divide en tres categorías: Arc™ 3, Arc™ 5 y Arc™ 7, en las que cada número indica el nivel de rendimiento. Cada categoría incluye varios modelos, y la "M" en el nombre del modelo de GPU significa una variante móvil integrada.

Las primeras críticas han elogiado la serie Arc™, en particular la GPU A770M integrada, por su impresionante rendimiento gráfico. La disponibilidad de la serie Arc™ varía según la región, y se espera que pronto se lancen modelos adicionales. Las GPU Intel® Arc™ ofrecen soluciones de alto rendimiento para una amplia gama de necesidades informáticas, desde los juegos hasta la creación de contenidos.

Las pruebas se ejecutan en la GPU Intel® Arc 770 con precisión FP32.

CPU Intel Xeon

La CPU Intel® Xeon® es un procesador de alto rendimiento para servidores diseñado para cargas de trabajo complejas y exigentes. Desde la informática en la nube y la virtualización de gama alta hasta las aplicaciones de inteligencia artificial y aprendizaje automático, las CPU Xeon® proporcionan la potencia, fiabilidad y flexibilidad necesarias para los centros de datos actuales.

En particular, las CPU Xeon® ofrecen una alta densidad y escalabilidad informática, lo que las hace ideales tanto para pequeñas empresas como para grandes compañías. Al elegir las CPU Intel® Xeon®, las organizaciones pueden gestionar con confianza sus tareas informáticas más exigentes y fomentar la innovación, manteniendo al mismo tiempo la rentabilidad y la eficiencia operativa.

Las pruebas se ejecutan en una CPU escalable Intel® Xeon® de 4ª generación con precisión FP32.

CPU Intel Core

La serie Intel® Core® es una gama de procesadores de alto rendimiento de Intel. La gama incluye Core i3 (gama básica), Core i5 (gama media), Core i7 (gama alta) y Core i9 (rendimiento extremo). Cada serie satisface diferentes necesidades informáticas y presupuestos, desde las tareas cotidianas hasta las cargas de trabajo profesionales más exigentes. Con cada nueva generación, se introducen mejoras en el rendimiento, la eficiencia energética y las prestaciones.

Las pruebas se ejecutan en una CPU Intel® Core® i7-13700H de 13ª generación con precisión FP32.

Reproducir nuestros resultados

Para reproducir las pruebas anteriores de Ultralytics en todos los formatos de exportación, ejecuta este código:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results= model.benchmarks(data='coco8.yaml')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

Conclusión

Los resultados de las pruebas comparativas demuestran claramente las ventajas de exportar el modelo YOLOv8 al formato OpenVINO . En diferentes modelos y plataformas de hardware, el formato OpenVINO supera sistemáticamente a los demás formatos en cuanto a velocidad de inferencia, manteniendo una precisión comparable.

En la serie Intel® Data Center GPU Flex, el formato OpenVINO fue capaz de ofrecer velocidades de inferencia casi 10 veces más rápidas que el formato original PyTorch . En la CPU Xeon, el formato OpenVINO fue dos veces más rápido que el formato PyTorch . La precisión de los modelos se mantuvo casi idéntica en los distintos formatos.

Las pruebas comparativas subrayan la eficacia de OpenVINO como herramienta para desplegar modelos de aprendizaje profundo. Al convertir los modelos al formato OpenVINO , los desarrolladores pueden conseguir importantes mejoras de rendimiento, lo que facilita el despliegue de estos modelos en aplicaciones del mundo real.

Para obtener información más detallada e instrucciones sobre el uso de OpenVINO, consulta la documentación oficial de OpenVINO .

Comentarios