Mantener tus modelos de visión artificial después de implementarlos#

Supervisar y mantener un modelo de visión artificial significa seguir continuamente sus predicciones para detectar la deriva de datos y las caídas de precisión, volver a entrenarlo con datos nuevos cuando su rendimiento se degrade y documentar cada cambio para que el trabajo siga siendo reproducible. Esta es la etapa final de un proyecto de visión artificial, después de haber recopilado los requisitos, anotado los datos, entrenado el modelo y desplegado el modelo; es lo que permite que siga cumpliendo los objetivos del proyecto una vez en producción.

En esta guía veremos con más detalle cómo mantener tus modelos de visión artificial después de implementarlos. Exploraremos cómo la supervisión del modelo puede ayudarte a detectar problemas cuanto antes, cómo mantener el modelo preciso y actualizado, y por qué la documentación es importante para resolver problemas.

Supervisión del modelo#

Es fundamental vigilar de cerca los modelos de visión artificial que has implementado. Sin una supervisión adecuada, los modelos pueden perder precisión. Un problema habitual es el cambio en la distribución de los datos, o la deriva de datos, que se produce cuando los datos que encuentra el modelo difieren de aquellos con los que se entrenó. Si el modelo tiene que hacer predicciones con datos que no reconoce, puede interpretarlos mal y ofrecer un rendimiento deficiente. Los valores atípicos, es decir, puntos de datos inusuales, también pueden reducir la precisión del modelo.

La supervisión periódica del modelo ayuda a los desarrolladores a seguir el rendimiento del modelo, detectar anomalías y resolver rápidamente problemas como la deriva de datos. También ayuda a gestionar los recursos, ya que permite saber cuándo hacen falta actualizaciones, evita costosas remodelaciones y mantiene la pertinencia del modelo.

Buenas prácticas para supervisar modelos#

Estas son algunas buenas prácticas que debes tener en cuenta al supervisar tu modelo de visión artificial en producción:

• Haz un seguimiento periódico del rendimiento: Supervisa continuamente el rendimiento del modelo para detectar cambios a lo largo del tiempo.
• Comprueba la calidad de los datos: Busca valores que falten o anomalías en los datos.
• Utiliza fuentes de datos diversas: Supervisa datos de distintas fuentes para obtener una visión completa del rendimiento del modelo.
• Combina técnicas de supervisión: Combina algoritmos de detección de deriva con métodos basados en reglas para identificar una amplia variedad de problemas.
• Supervisa las entradas y las salidas: Vigila tanto los datos que procesa el modelo como los resultados que genera para asegurarte de que todo funciona correctamente.
• Configura alertas: Configura alertas para detectar comportamientos inusuales, como caídas del rendimiento, y poder aplicar medidas correctivas rápidamente.

Supervisión con Ultralytics Platform#

Ultralytics Platform ofrece supervisión de modelos integrada para los endpoints de YOLO implementados, de modo que puedes vigilar el modelo en producción sin tener que montar una infraestructura de supervisión independiente. El panel de implementación sigue en tiempo real las señales clave:

• Métricas de solicitudes: Volumen total de solicitudes, tasa de errores y latencia P95 de cada endpoint, con tendencias de 24 horas en gráficos de líneas en el panel y rangos de entre 1 hora y 30 días en la API de métricas.
• Comprobaciones de estado: Comprobaciones del estado de los endpoints que señalan implementaciones que no están en buen estado e indican la latencia de respuesta.
• Registros: Registros de solicitudes filtrados por nivel de gravedad (de DEBUG a CRITICAL) para diagnosticar solicitudes fallidas y picos de latencia.
• Vista global: Un mapa interactivo del mundo y tarjetas de resumen que muestran todas las implementaciones de distintas regiones en una sola vista.

Como la supervisión está disponible mediante las URL estándar de los endpoints y una comprobación /health, también puedes integrar estas señales en tu configuración de observabilidad actual cuando necesites un análisis más profundo. Consulta la guía de supervisión de implementaciones para obtener información sobre la configuración.

Detección de anomalías y sistemas de alertas#

Una anomalía es cualquier punto de datos o patrón que se desvía considerablemente de lo esperado. En los modelos de visión artificial, las anomalías pueden ser imágenes muy distintas de aquellas con las que se entrenó el modelo. Estas imágenes inesperadas pueden indicar problemas, como cambios en la distribución de los datos, valores atípicos o comportamientos que podrían reducir el rendimiento del modelo. Configurar sistemas de alertas para detectar estas anomalías es una parte importante de la supervisión del modelo.

Si estableces niveles y límites de rendimiento estándar para las métricas clave, podrás detectar los problemas cuanto antes. Cuando el rendimiento supera esos límites, se activan alertas que permiten aplicar soluciones rápidamente. Actualizar y volver a entrenar los modelos con datos nuevos de forma periódica permite mantenerlos pertinentes y precisos a medida que cambian los datos.

Configurar umbrales y alertas#

Ten en cuenta estas buenas prácticas al configurar los sistemas de alertas:

• Estandariza las alertas: Utiliza herramientas y formatos coherentes para todas las alertas, como el correo electrónico o aplicaciones de mensajería como Slack. La estandarización te permite entender y responder rápidamente a las alertas.
• Incluye el comportamiento esperado: Los mensajes de alerta deben indicar claramente qué ha fallado, qué se esperaba y cuál es el periodo evaluado. Esto te ayuda a determinar la urgencia y el contexto de la alerta.
• Configura las alertas: Haz que las alertas sean fáciles de configurar para adaptarlas a los cambios de las condiciones. Permite modificar los umbrales, posponer, desactivar o confirmar las alertas.

Detección de la deriva de datos#

La detección de la deriva de datos ayuda a identificar cambios en las propiedades estadísticas de los datos de entrada a lo largo del tiempo, que pueden degradar el rendimiento del modelo. Esta técnica permite detectar si hay un problema antes de decidir si debes volver a entrenar o ajustar los modelos. La deriva de datos aborda los cambios en el panorama general de los datos a lo largo del tiempo, mientras que la detección de anomalías se centra en identificar puntos de datos poco frecuentes o inesperados que pueden requerir atención inmediata.

Estos son varios métodos para detectar la deriva de datos:

• Supervisión continua: Supervisa periódicamente los datos de entrada y las salidas del modelo para detectar indicios de deriva. Sigue las métricas clave y compáralas con datos históricos para identificar cambios significativos.
• Técnicas estadísticas: Utiliza métodos como la prueba de Kolmogórov-Smirnov o el índice de estabilidad de la población (PSI) para detectar cambios en las distribuciones de datos. Estas pruebas comparan la distribución de los datos nuevos con los datos de entrenamiento para identificar diferencias significativas.
• Deriva de características: Supervisa las características individuales para detectar la deriva. A veces, la distribución general de los datos puede mantenerse estable, pero algunas características pueden cambiar. Identificar qué características están cambiando ayuda a ajustar el proceso de reentrenamiento.

Mantenimiento del modelo#

El mantenimiento periódico de los modelos de visión artificial, que incluye actualizarlos y volver a entrenarlos, permite mantener su precisión y pertinencia a lo largo del tiempo, abordar la deriva de datos y adaptarlos a los cambios en los datos y los entornos. Es el complemento de la supervisión: la supervisión observa el rendimiento del modelo en tiempo real para detectar problemas cuanto antes, mientras que el mantenimiento se ocupa de resolverlos.

Actualizaciones y reentrenamiento periódicos#

Una vez implementado el modelo, es posible que durante la supervisión observes cambios en los patrones de datos o en el rendimiento, lo que indica una deriva del modelo. Las actualizaciones y el reentrenamiento periódicos son esenciales para el mantenimiento del modelo, ya que garantizan que pueda gestionar nuevos patrones y situaciones. Puedes utilizar distintas técnicas según cómo cambien los datos.

Por ejemplo, si los datos cambian gradualmente con el tiempo, el aprendizaje incremental es una buena opción. El aprendizaje incremental consiste en actualizar el modelo con datos nuevos sin volver a entrenarlo por completo desde cero, lo que ahorra tiempo y recursos computacionales. Sin embargo, si los datos han cambiado drásticamente, puede ser mejor realizar un reentrenamiento completo de forma periódica para evitar que el modelo se sobreajuste a los datos nuevos y pierda de vista los patrones anteriores.

Sea cual sea el método, es imprescindible validar y probar el modelo después de actualizarlo. Es importante validarlo con un conjunto de datos de prueba independiente para comprobar si su rendimiento ha mejorado o empeorado.

Decidir cuándo volver a entrenar el modelo#

La frecuencia con la que debes volver a entrenar tu modelo de visión artificial depende de los cambios en los datos y del rendimiento del modelo. Vuelve a entrenarlo siempre que observes una caída significativa del rendimiento o detectes deriva de datos. Las evaluaciones periódicas pueden ayudarte a determinar el calendario de reentrenamiento adecuado, probando el modelo con datos nuevos. Supervisar las métricas de rendimiento y los patrones de datos te permite decidir si el modelo necesita actualizaciones más frecuentes para mantener su precisión.

Documentación#

Documentar un proyecto de visión artificial facilita su comprensión, reproducción y desarrollo colaborativo. Una buena documentación abarca la arquitectura del modelo, los hiperparámetros, los conjuntos de datos, las métricas de evaluación y mucho más. Aporta transparencia y ayuda a los miembros del equipo y a las partes interesadas a entender qué se ha hecho y por qué. También facilita la resolución de problemas, el mantenimiento y las mejoras futuras, al ofrecer una referencia clara de las decisiones y los métodos anteriores.

Elementos clave que debes documentar#

Estos son algunos de los elementos clave que debe incluir la documentación del proyecto:

• Resumen del proyecto: Ofrece un resumen de alto nivel del proyecto, que incluya la descripción del problema, el enfoque de la solución, los resultados previstos y el alcance del proyecto. Explica el papel de la visión artificial a la hora de abordar el problema y describe las fases y los entregables.
• Arquitectura del modelo: Detalla la estructura y el diseño del modelo, incluidos sus componentes, capas y conexiones. Explica los hiperparámetros elegidos y la justificación de esas decisiones.
• Preparación de los datos: Describe las fuentes, los tipos, los formatos y los tamaños de los datos, así como los pasos de preprocesamiento. Analiza la calidad y la fiabilidad de los datos, además de las transformaciones aplicadas antes de entrenar el modelo.
• Proceso de entrenamiento: Documenta el procedimiento de entrenamiento, incluidos los conjuntos de datos utilizados, los parámetros de entrenamiento y las funciones de pérdida. Explica cómo se entrenó el modelo y los retos que surgieron durante el entrenamiento.
• Métricas de evaluación: Especifica las métricas utilizadas para evaluar el rendimiento del modelo, como la exactitud, la precisión, la exhaustividad y la puntuación F1. Incluye los resultados de rendimiento y un análisis de estas métricas.
• Pasos de implementación: Describe los pasos seguidos para implementar el modelo, incluidas las herramientas y plataformas utilizadas, las configuraciones de implementación y los retos o aspectos que deban tenerse en cuenta.
• Procedimiento de supervisión y mantenimiento: Proporciona un plan detallado para supervisar el rendimiento del modelo tras la implementación. Incluye métodos para detectar y abordar la deriva de los datos y del modelo, y describe el proceso de actualización y reentrenamiento periódicos.

Conclusión#

Supervisar, mantener y documentar el modelo es lo que permite que un proyecto de visión artificial siga teniendo éxito mucho después de su implementación: la supervisión continua detecta pronto los problemas, el reentrenamiento periódico adapta el modelo a los datos nuevos y a la deriva, y una documentación clara facilita cada actualización futura. Considéralo un ciclo continuo y vuelve a revisar las fases de tu proyecto de visión artificial a medida que evolucionen tus datos y requisitos.

Preguntas frecuentes#