Optimización de la inferencia OpenVINO para modelos Ultralytics YOLO : Una guía completa

Introducción

Al desplegar modelos de aprendizaje profundo, en particular los destinados a la detección de objetos, como los modelos Ultralytics YOLO , es crucial lograr un rendimiento óptimo. Esta guía profundiza en el aprovechamiento del conjunto de herramientas OpenVINO de Intel para optimizar la inferencia, centrándose en la latencia y el rendimiento. Tanto si trabajas en aplicaciones de consumo como en despliegues a gran escala, comprender y aplicar estas estrategias de optimización garantizará que tus modelos funcionen eficazmente en diversos dispositivos.

Optimización de la latencia

La optimización de la latencia es vital para las aplicaciones que requieren una respuesta inmediata de un único modelo dada una única entrada, algo típico en los escenarios de consumo. El objetivo es minimizar el retraso entre la entrada y el resultado de la inferencia. Sin embargo, lograr una baja latencia implica una cuidadosa consideración, especialmente cuando se ejecutan inferencias concurrentes o se gestionan múltiples modelos.

Estrategias clave para la optimización de la latencia:

• Una sola inferencia por dispositivo: La forma más sencilla de conseguir una latencia baja es limitarse a una inferencia a la vez por dispositivo. La concurrencia adicional suele provocar un aumento de la latencia.
• Aprovechar los subdispositivos: Dispositivos como CPUs multi-socket o GPUs multi-tile pueden ejecutar múltiples peticiones con un mínimo incremento de latencia utilizando sus sub-dispositivos internos.
• OpenVINO Consejos de actuación: Utilizando OpenVINO's ov::hint::PerformanceMode::LATENCY para la ov::hint::performance_mode durante la compilación del modelo simplifica el ajuste del rendimiento, ofreciendo un enfoque independiente del dispositivo y preparado para el futuro.

Gestionar la latencia de la primera inferencia:

• Almacenamiento en caché del modelo: Para mitigar los tiempos de carga y compilación del modelo que afectan a la latencia, utiliza el almacenamiento en caché del modelo siempre que sea posible. En los casos en que el almacenamiento en caché no es viable, las CPU suelen ofrecer los tiempos de carga de modelos más rápidos.
• Mapeo de Modelos vs. Lectura: Para reducir los tiempos de carga, OpenVINO ha sustituido la lectura del modelo por el mapeo. Sin embargo, si el modelo está en una unidad extraíble o de red, considera la posibilidad de utilizar ov::enable_mmap(false) para volver a la lectura.
• Selección AUTO del dispositivo: Este modo comienza la inferencia en la CPU, cambiando a un acelerador una vez esté listo, reduciendo sin problemas la latencia de la primera inferencia.

Optimizar el rendimiento

La optimización del rendimiento es crucial para los escenarios que atienden numerosas peticiones de inferencia simultáneamente, maximizando la utilización de los recursos sin sacrificar significativamente el rendimiento de las peticiones individuales.

Enfoques para la optimización del rendimiento:

1. OpenVINO Sugerencias de rendimiento: Un método de alto nivel y a prueba de futuro para mejorar el rendimiento de los dispositivos mediante sugerencias de rendimiento.

import openvino.properties as props
import openvino.properties.hint as hints

config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
compiled_model = core.compile_model(model, "GPU", config)

1. Procesamiento por lotes explícito y secuencias: Un enfoque más granular que implica la dosificación explícita y el uso de flujos para un ajuste avanzado del rendimiento.

Diseño de aplicaciones orientadas al rendimiento:

Para maximizar el rendimiento, las aplicaciones deben

• Procesa las entradas en paralelo, aprovechando al máximo las capacidades del aparato.
• Descomponer el flujo de datos en peticiones de inferencia concurrentes, programadas para su ejecución en paralelo.
• Utiliza la API Async con devoluciones de llamada para mantener la eficacia y evitar la inanición del dispositivo.

Ejecución Multidispositivo:

OpenVINOsimplifica el escalado del rendimiento equilibrando automáticamente las solicitudes de inferencia entre dispositivos, sin necesidad de gestionar los dispositivos a nivel de aplicación.

Conclusión

Optimizar los modelos Ultralytics YOLO para la latencia y el rendimiento con OpenVINO puede mejorar significativamente el rendimiento de tu aplicación. Aplicando cuidadosamente las estrategias descritas en esta guía, los desarrolladores pueden asegurarse de que sus modelos se ejecutan con eficacia, satisfaciendo las demandas de diversos escenarios de despliegue. Recuerda que la elección entre optimizar la latencia o el rendimiento depende de las necesidades específicas de tu aplicación y de las características del entorno de despliegue.

Para obtener información técnica más detallada y las últimas actualizaciones, consulta la documentación deOpenVINO y el repositorioUltralytics YOLO . Estos recursos proporcionan guías detalladas, tutoriales y apoyo de la comunidad para ayudarte a sacar el máximo partido de tus modelos de aprendizaje profundo.

Garantizar que tus modelos alcancen un rendimiento óptimo no consiste sólo en ajustar las configuraciones; se trata de comprender las necesidades de tu aplicación y tomar decisiones informadas. Tanto si estás optimizando respuestas en tiempo real como maximizando el rendimiento para el procesamiento a gran escala, la combinación de los modelos de Ultralytics YOLO y OpenVINO ofrece un potente conjunto de herramientas para que los desarrolladores desplieguen soluciones de IA de alto rendimiento.

Comentarios