Optimización de la inferencia de YOLO con OpenVINO
Introducción#
Al implementar modelos de aprendizaje profundo, especialmente modelos de detección de objetos como los modelos Ultralytics YOLO, normalmente optimizas la inferencia para reducir la latencia (responder rápidamente a solicitudes individuales) o aumentar el rendimiento (procesar muchas solicitudes a la vez). Esta guía explica cómo usar el kit de herramientas OpenVINO de Intel para cada objetivo, desde aplicaciones de consumo hasta implementaciones a gran escala.
Optimización de la latencia#
La optimización de la latencia es esencial en las aplicaciones que requieren una respuesta inmediata de un único modelo ante una única entrada, algo habitual en escenarios de consumo. El objetivo es reducir al mínimo el tiempo entre la entrada y el resultado de la inferencia. Sin embargo, conseguir una latencia baja requiere tener en cuenta varios factores, sobre todo al ejecutar inferencias simultáneas o gestionar varios modelos.
Estrategias clave para optimizar la latencia#
- Una inferencia por dispositivo: La forma más sencilla de conseguir una latencia baja es limitar cada dispositivo a una sola inferencia a la vez. La concurrencia adicional suele aumentar la latencia.
- Aprovecha los subdispositivos: Los dispositivos, como las CPU con varios sockets o las GPU con varios mosaicos, pueden ejecutar varias solicitudes con un aumento mínimo de la latencia al aprovechar sus subdispositivos internos.
- Sugerencias de rendimiento de OpenVINO: Utilizar
ov::LATENCYpara la propiedadov::performance_modedurante la compilación del modelo simplifica el ajuste del rendimiento y ofrece un método independiente del dispositivo y preparado para el futuro.
Gestión de la latencia de la primera inferencia#
- Caché de modelos: Para evitar que los tiempos de carga y compilación del modelo afecten a la latencia, utiliza la caché de modelos siempre que sea posible. Si no puedes usarla, las CPU suelen ofrecer los tiempos de carga de modelos más rápidos.
- Asignación de modelos frente a lectura: Para reducir los tiempos de carga, OpenVINO sustituyó la lectura de modelos por su asignación en memoria. Sin embargo, si el modelo está en una unidad extraíble o de red, plantéate usar
ov::enable_mmap(false)para volver a la lectura. - Selección automática del dispositivo: Este modo inicia la inferencia en la CPU y pasa a un acelerador cuando está listo, lo que reduce la latencia de la primera inferencia.
Optimización del rendimiento#
La optimización del rendimiento es fundamental en escenarios que atienden muchas solicitudes de inferencia simultáneamente, ya que maximiza el uso de los recursos sin sacrificar demasiado el rendimiento de cada solicitud.
Métodos para optimizar el rendimiento#
-
Sugerencias de rendimiento de OpenVINO: Un método de alto nivel y preparado para el futuro que mejora el rendimiento en distintos dispositivos mediante sugerencias de rendimiento.
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config) -
Procesamiento por lotes explícito y flujos: Un método más detallado que emplea el procesamiento por lotes explícito y flujos para ajustar el rendimiento de forma avanzada.
Diseño de aplicaciones orientadas al rendimiento#
Para maximizar el rendimiento, las aplicaciones deben:
- Procesar las entradas en paralelo y aprovechar al máximo las capacidades del dispositivo.
- Descomponer el flujo de datos en solicitudes de inferencia simultáneas, programadas para ejecutarse en paralelo.
- Usa la API asíncrona con funciones de retorno de llamada para mantener la eficiencia y evitar que los dispositivos se queden sin trabajo.
Ejecución en varios dispositivos#
El modo multidispositivo de OpenVINO simplifica la ampliación del rendimiento al distribuir automáticamente las solicitudes de inferencia entre los dispositivos, sin necesidad de gestionar los dispositivos desde la aplicación.
Mejoras de rendimiento en condiciones reales#
La implementación de optimizaciones de OpenVINO con modelos Ultralytics YOLO puede ofrecer mejoras significativas de rendimiento. Como muestran los benchmarks, los modelos OpenVINO INT8 se ejecutaron entre 2,9 y 6,0 veces más rápido que PyTorch en CPU Intel Core Ultra, y las GPU integradas de los mismos procesadores ejecutaron modelos FP32 entre 3,6 y 29,1 veces más rápido que PyTorch en la CPU. La entrada del blog sobre Intel Core Ultra Series 3 trata los más recientes de estos procesadores.
Por ejemplo, en la CPU de un Intel Core Ultra X7 358H, el modelo YOLO26n INT8 se ejecutó en 9,99 ms por imagen, frente a los 29,28 ms de PyTorch, con un mAP50-95 de 0,4720 frente a 0,4765 en COCO128, una pequeña pérdida de precisión.
Implementación práctica#
Para exportar y optimizar tu modelo Ultralytics YOLO para OpenVINO, usa la función de exportación:
from ultralytics import YOLO
# Cargar un modelo
model = YOLO("yolo26n.pt")
# Exporta el modelo al formato OpenVINO
model.export(format="openvino", quantize=16) # Exporta con precisión FP16Tras exportar el modelo, puedes ejecutar inferencias con la versión optimizada:
# Carga el modelo OpenVINO
ov_model = YOLO("yolo26n_openvino_model/")
# Ejecuta la inferencia (Ultralytics compila los modelos OpenVINO con la sugerencia de rendimiento LATENCY)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)Conclusión#
Optimizar los modelos de Ultralytics YOLO para reducir la latencia o aumentar el rendimiento con OpenVINO puede mejorar significativamente el rendimiento de tu aplicación. La elección entre optimizar la latencia o el rendimiento depende de las necesidades específicas de tu aplicación y de las características del entorno de implementación.
Tanto si optimizas para obtener respuestas en tiempo real como si quieres maximizar el rendimiento del procesamiento a gran escala, parte de los requisitos de tu aplicación, elige la sugerencia de rendimiento adecuada y compara los resultados en el hardware de destino.
Preguntas frecuentes#
La optimización de los modelos Ultralytics YOLO para reducir la latencia implica varias estrategias clave:
- Una inferencia por dispositivo: Limita las inferencias a una cada vez por dispositivo para minimizar las demoras.
- Aprovecha los subdispositivos: Usa dispositivos como CPU con varios sockets o GPU con varios mosaicos, capaces de gestionar varias solicitudes con un aumento mínimo de la latencia.
- Sugerencias de rendimiento de OpenVINO: Utiliza
ov::LATENCYde OpenVINO durante la compilación del modelo para simplificar el ajuste independiente del dispositivo.
Para obtener más consejos prácticos sobre cómo optimizar la latencia, consulta la sección sobre optimización de la latencia de nuestra guía.
OpenVINO mejora el rendimiento de los modelos Ultralytics YOLO al maximizar la utilización de los recursos del dispositivo sin sacrificar el rendimiento. Entre sus principales ventajas se incluyen:
- Sugerencias de rendimiento: Ajuste del rendimiento sencillo y de alto nivel en distintos dispositivos.
- Procesamiento por lotes explícito y flujos: Ajuste preciso para mejorar el rendimiento de forma avanzada.
- Ejecución en varios dispositivos: Equilibrio automático de la carga de inferencia que simplifica la gestión desde la aplicación.
Ejemplo de configuración:
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config)Descubre más sobre la optimización del rendimiento en la sección sobre optimización del rendimiento de nuestra guía detallada.
Para reducir la latencia de la primera inferencia, ten en cuenta estas prácticas:
- Caché de modelos: Utiliza la caché de modelos para reducir los tiempos de carga y compilación.
- Asignación de modelos frente a lectura: Utiliza la asignación (
ov::enable_mmap(true)) de forma predeterminada, pero cambia a la lectura (ov::enable_mmap(false)) si el modelo está en una unidad extraíble o de red. - Selección automática del dispositivo: Usa el modo AUTO para iniciar la inferencia en la CPU y pasar a un acelerador cuando esté listo.
Para consultar estrategias detalladas sobre la gestión de la latencia de la primera inferencia, visita la sección sobre gestión de la latencia de la primera inferencia.
Para equilibrar la optimización de la latencia y el rendimiento, debes comprender las necesidades de tu aplicación:
- Optimización de la latencia: Ideal para aplicaciones en tiempo real que requieren respuestas inmediatas (p. ej., aplicaciones para el consumidor).
- Optimización del rendimiento: Idónea para escenarios con muchas inferencias simultáneas que maximizan el uso de recursos (p. ej., implementaciones a gran escala).
Las sugerencias de rendimiento de alto nivel y los modos multidispositivo de OpenVINO pueden ayudarte a encontrar el equilibrio adecuado. Elige las sugerencias de rendimiento de OpenVINO que mejor se adapten a tus requisitos.
Sí, los modelos Ultralytics YOLO se pueden exportar a muchos otros entornos de ejecución. Entre las opciones se incluyen:
- TensorRT: Para optimizar en GPU NVIDIA, sigue la guía de integración de TensorRT.
- CoreML: Para dispositivos Apple, consulta nuestras instrucciones de exportación a CoreML.
- LiteRT.js: Para aplicaciones web y de Node.js, consulta la guía de integración de LiteRT y el entorno de ejecución web de LiteRT.js.
Descubre más integraciones en la página de integraciones de Ultralytics.
Comentarios2
Haz una pregunta, comparte tus resultados o ayuda a otra persona.
Kvsoni
Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?
Paula DerrengerUltralytics(editado)@Kvsoni hi there!
Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with
YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):from ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="openvino") # creates 'yolo26n_openvino_model/' ov_model = YOLO("yolo26n_openvino_model/") results = ov_model("path/to/image.jpg") results[0].show()If you want to run the OpenVINO runtime yourself, note that
YOLOmodel objects do not exposepreprocess()orpostprocess(); those steps live in the predictor classes (e.g.ultralytics.models.yolo.detect.DetectionPredictor).For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.
Feel free to reach out if you have any more questions or need further assistance! 😊