Optimización de la inferencia de YOLO con OpenVINO#

Introducción#

Al implementar modelos de aprendizaje profundo, en particular los destinados a la detección de objetos, como los modelos Ultralytics YOLO, es fundamental conseguir un rendimiento óptimo. En esta guía se explica cómo aprovechar el kit de herramientas OpenVINO de Intel para optimizar la inferencia, centrándose en la latencia y el rendimiento. Tanto si trabajas en aplicaciones para el consumidor como en implementaciones a gran escala, comprender y aplicar estas estrategias de optimización garantizará que tus modelos se ejecuten de forma eficiente en distintos dispositivos.

Optimización de la latencia#

La optimización de la latencia es esencial en las aplicaciones que requieren una respuesta inmediata de un único modelo ante una única entrada, algo habitual en escenarios de consumo. El objetivo es reducir al mínimo el tiempo entre la entrada y el resultado de la inferencia. Sin embargo, conseguir una latencia baja requiere tener en cuenta varios factores, sobre todo al ejecutar inferencias simultáneas o gestionar varios modelos.

Estrategias clave para optimizar la latencia#

• Una inferencia por dispositivo: La forma más sencilla de conseguir una latencia baja es limitar cada dispositivo a una sola inferencia a la vez. La concurrencia adicional suele aumentar la latencia.
• Aprovecha los subdispositivos: Los dispositivos, como las CPU con varios sockets o las GPU con varios mosaicos, pueden ejecutar varias solicitudes con un aumento mínimo de la latencia al aprovechar sus subdispositivos internos.
• Sugerencias de rendimiento de OpenVINO: Utilizar ov::LATENCY para la propiedad ov::performance_mode durante la compilación del modelo simplifica el ajuste del rendimiento y ofrece un método independiente del dispositivo y preparado para el futuro.

Gestión de la latencia de la primera inferencia#

• Caché de modelos: Para evitar que los tiempos de carga y compilación del modelo afecten a la latencia, utiliza la caché de modelos siempre que sea posible. Si no puedes usarla, las CPU suelen ofrecer los tiempos de carga de modelos más rápidos.
• Asignación de modelos frente a lectura: Para reducir los tiempos de carga, OpenVINO sustituyó la lectura de modelos por su asignación en memoria. Sin embargo, si el modelo está en una unidad extraíble o de red, plantéate usar ov::enable_mmap(false) para volver a la lectura.
• Selección automática del dispositivo: Este modo inicia la inferencia en la CPU y la traslada a un acelerador cuando está listo, lo que reduce sin interrupciones la latencia de la primera inferencia.

Optimización del rendimiento#

La optimización del rendimiento es fundamental en escenarios que atienden simultáneamente numerosas solicitudes de inferencia y maximizan la utilización de recursos sin sacrificar significativamente el rendimiento de cada solicitud.

Métodos para optimizar el rendimiento#

1. Sugerencias de rendimiento de OpenVINO: Un método de alto nivel y preparado para el futuro que mejora el rendimiento en distintos dispositivos mediante sugerencias de rendimiento.

   import openvino as ov
   import openvino.properties.hint as hints
   
   core = ov.Core()
   model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
   config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
   compiled_model = core.compile_model(model, "GPU", config)

2. Procesamiento por lotes explícito y flujos: Un método más detallado que emplea el procesamiento por lotes explícito y flujos para ajustar el rendimiento de forma avanzada.

Diseño de aplicaciones orientadas al rendimiento#

Para maximizar el rendimiento, las aplicaciones deben:

• Procesar las entradas en paralelo y aprovechar al máximo las capacidades del dispositivo.
• Descomponer el flujo de datos en solicitudes de inferencia simultáneas, programadas para ejecutarse en paralelo.
• Utilizar la API asíncrona con funciones de retorno de llamada para mantener la eficiencia y evitar que el dispositivo se quede sin trabajo.

Ejecución en varios dispositivos#

El modo multidispositivo de OpenVINO simplifica la ampliación del rendimiento al distribuir automáticamente las solicitudes de inferencia entre los dispositivos, sin necesidad de gestionar los dispositivos desde la aplicación.

Mejoras de rendimiento en condiciones reales#

La aplicación de optimizaciones de OpenVINO a los modelos Ultralytics YOLO puede mejorar considerablemente el rendimiento. Como muestran las pruebas de rendimiento, puedes obtener velocidades de inferencia hasta 3 veces mayores en CPU Intel, con aceleraciones aún mayores en toda la gama de hardware de Intel, incluidas las GPU integradas, las GPU dedicadas y las NPU.

Por ejemplo, al ejecutar modelos YOLO26 en CPU Intel Xeon, las versiones optimizadas con OpenVINO superan sistemáticamente a sus equivalentes de PyTorch en tiempo de inferencia por imagen, sin comprometer la precisión.

Implementación práctica#

Para exportar y optimizar tu modelo Ultralytics YOLO para OpenVINO, puedes utilizar la función de exportación:

from ultralytics import YOLO

# Cargar un modelo
model = YOLO("yolo26n.pt")

# Exporta el modelo al formato OpenVINO
model.export(format="openvino", quantize=16)  # Exporta con precisión FP16

Tras exportar el modelo, puedes ejecutar inferencias con la versión optimizada:

# Carga el modelo OpenVINO
ov_model = YOLO("yolo26n_openvino_model/")

# Ejecuta la inferencia (Ultralytics compila los modelos OpenVINO con la sugerencia de rendimiento LATENCY)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)

Conclusión#

Optimizar los modelos Ultralytics YOLO para reducir la latencia y mejorar el rendimiento con OpenVINO puede mejorar considerablemente el funcionamiento de tu aplicación. Si aplican con cuidado las estrategias descritas en esta guía, los desarrolladores pueden conseguir que sus modelos se ejecuten de forma eficiente y satisfagan las exigencias de distintos escenarios de implementación. Recuerda que la elección entre optimizar la latencia o el rendimiento depende de las necesidades concretas de tu aplicación y de las características del entorno de implementación.

Para obtener información técnica más detallada y conocer las últimas novedades, consulta la documentación de OpenVINO y el repositorio de Ultralytics YOLO. Estos recursos ofrecen guías detalladas, tutoriales y ayuda de la comunidad para que aproveches al máximo tus modelos de aprendizaje profundo.

Conseguir un rendimiento óptimo para tus modelos no consiste solo en retocar la configuración: también exige comprender las necesidades de tu aplicación y tomar decisiones fundamentadas. Tanto si optimizas las respuestas en tiempo real como si maximizas el rendimiento para procesar datos a gran escala, la combinación de los modelos Ultralytics YOLO y OpenVINO ofrece a los desarrolladores un potente conjunto de herramientas para implementar soluciones de IA de alto rendimiento.

Preguntas frecuentes#