Mantenimiento de tus modelos de visión artificial tras el despliegue

Introducción

Si has llegado hasta aquí, podemos asumir que has completado muchos pasos en tu proyecto de visión artificial: desde la recopilación de requisitos, la anotación de datos y el entrenamiento del modelo hasta, finalmente, su despliegue. Tu aplicación ya está funcionando en producción, pero tu proyecto no termina aquí. La parte más importante de un proyecto de visión artificial es asegurarte de que tu modelo siga cumpliendo los objetivos de tu proyecto a lo largo del tiempo, y ahí es donde entran en juego el seguimiento, el mantenimiento y la documentación de tu modelo de visión artificial.

En esta guía, analizaremos más detenidamente cómo puedes mantener tus modelos de visión artificial después del despliegue. Exploraremos cómo el seguimiento del modelo puede ayudarte a detectar problemas con antelación, cómo mantener tu modelo preciso y actualizado, y por qué la documentación es importante para la resolución de problemas.

El seguimiento del modelo es fundamental

Es esencial vigilar de cerca tus modelos de visión artificial desplegados. Sin un seguimiento adecuado, los modelos pueden perder precisión. Un problema común es el cambio en la distribución de los datos o desviación de datos, donde los datos que encuentra el modelo difieren de aquellos con los que fue entrenado. Cuando el modelo tiene que hacer predicciones sobre datos que no reconoce, esto puede conducir a interpretaciones erróneas y a un bajo rendimiento. Los valores atípicos, o puntos de datos inusuales, también pueden afectar a la precisión del modelo.

El seguimiento periódico del modelo ayuda a los desarrolladores a controlar el rendimiento del modelo, detectar anomalías y solucionar rápidamente problemas como la desviación de datos. También ayuda a gestionar los recursos al indicar cuándo se necesitan actualizaciones, lo que evita costosas renovaciones y mantiene el modelo relevante.

Mejores prácticas para el seguimiento de modelos

Aquí tienes algunas mejores prácticas que debes tener en cuenta mientras realizas el seguimiento de tu modelo de visión artificial en producción:

• Realiza un seguimiento regular del rendimiento: Supervisa continuamente el rendimiento del modelo para detectar cambios a lo largo del tiempo.
• Verifica dos veces la calidad de los datos: Comprueba si faltan valores o si hay anomalías en los datos.
• Utiliza diversas fuentes de datos: Supervisa datos de varias fuentes para obtener una visión global del rendimiento del modelo.
• Combina técnicas de seguimiento: Utiliza una mezcla de algoritmos de detección de desviaciones y enfoques basados en reglas para identificar una amplia gama de problemas.
• Supervisa las entradas y salidas: Vigila tanto los datos que procesa el modelo como los resultados que produce para asegurarte de que todo funciona correctamente.
• Configura alertas: Implementa alertas para comportamientos inusuales, como caídas de rendimiento, para poder tomar medidas correctivas rápidamente.

Herramientas para el seguimiento de modelos de IA

Puedes utilizar herramientas de seguimiento automatizadas para facilitar el control de los modelos tras el despliegue. Muchas herramientas ofrecen información en tiempo real y capacidades de alerta. Estos son algunos ejemplos de herramientas de seguimiento de modelos de código abierto que pueden trabajar juntas:

• Prometheus: Prometheus es una herramienta de seguimiento de código abierto que recopila y almacena métricas para un seguimiento detallado del rendimiento. Se integra fácilmente con Kubernetes y Docker, recopilando datos en intervalos establecidos y almacenándolos en una base de datos de series temporales. Prometheus también puede rastrear puntos finales HTTP para recopilar métricas en tiempo real. Los datos recopilados se pueden consultar utilizando el lenguaje PromQL.
• Grafana: Grafana es una herramienta de seguimiento y visualización de datos de código abierto que te permite consultar, visualizar, alertar sobre y comprender tus métricas, independientemente de dónde estén almacenadas. Funciona bien con Prometheus y ofrece funciones avanzadas de visualización de datos. Puedes crear paneles personalizados para mostrar métricas importantes de tus modelos de visión artificial, como la latencia de inferencia, las tasas de error y el uso de recursos. Grafana convierte los datos recopilados en paneles fáciles de leer con gráficos de líneas, mapas de calor e histogramas. También admite alertas, que pueden enviarse a través de canales como Slack para notificar rápidamente a los equipos sobre cualquier problema.
• Evidently AI: Evidently AI es una herramienta de código abierto diseñada para el seguimiento y la depuración de modelos de machine learning en producción. Genera informes interactivos a partir de DataFrames de pandas, lo que ayuda a analizar los modelos de aprendizaje automático. Evidently AI puede detectar la desviación de datos, la degradación del rendimiento del modelo y otros problemas que puedan surgir con tus modelos desplegados.

Las tres herramientas presentadas anteriormente, Evidently AI, Prometheus y Grafana, pueden trabajar juntas a la perfección como una solución de seguimiento de ML totalmente de código abierto preparada para producción. Evidently AI se utiliza para recopilar y calcular métricas, Prometheus almacena estas métricas y Grafana las muestra y configura las alertas. Aunque existen muchas otras herramientas disponibles, esta configuración es una opción de código abierto interesante que proporciona capacidades sólidas para el seguimiento de modelos y el mantenimiento de tus modelos.

Sistemas de detección de anomalías y alerta

Una anomalía es cualquier punto de datos o patrón que se desvía bastante de lo esperado. Con respecto a los modelos de visión artificial, las anomalías pueden ser imágenes que son muy diferentes de aquellas con las que se entrenó el modelo. Estas imágenes inesperadas pueden ser signos de problemas como cambios en la distribución de los datos, valores atípicos o comportamientos que podrían reducir el rendimiento del modelo. Configurar sistemas de alerta para detectar estas anomalías es una parte importante del seguimiento del modelo.

Al establecer niveles de rendimiento estándar y límites para métricas clave, puedes detectar problemas con antelación. Cuando el rendimiento se sale de estos límites, se activan alertas que impulsan soluciones rápidas. La actualización y el reentrenamiento regulares de los modelos con nuevos datos los mantienen relevantes y precisos a medida que los datos cambian.

Cosas que debes tener en cuenta al configurar umbrales y alertas

Cuando estés configurando tus sistemas de alerta, ten en cuenta estas mejores prácticas:

• Alertas estandarizadas: Utiliza herramientas y formatos coherentes para todas las alertas, como el correo electrónico o aplicaciones de mensajería como Slack. La estandarización te facilita entender y responder rápidamente a las alertas.
• Incluye el comportamiento esperado: Los mensajes de alerta deben indicar claramente qué salió mal, qué se esperaba y el marco temporal evaluado. Ayuda a calibrar la urgencia y el contexto de la alerta.
• Alertas configurables: Haz que las alertas sean fácilmente configurables para adaptarse a las condiciones cambiantes. Permítete editar umbrales, posponer, desactivar o reconocer alertas.

Detección de desviación de datos

La detección de la desviación de datos es un concepto que ayuda a identificar cuándo cambian las propiedades estadísticas de los datos de entrada a lo largo del tiempo, lo que puede degradar el rendimiento del modelo. Antes de decidir volver a entrenar o ajustar tus modelos, esta técnica ayuda a detectar que existe un problema. La desviación de datos trata sobre los cambios en el panorama general de los datos a lo largo del tiempo, mientras que la detección de anomalías se centra en identificar puntos de datos raros o inesperados que pueden requerir atención inmediata.

Aquí tienes varios métodos para detectar la desviación de datos:

Seguimiento continuo: Supervisa regularmente los datos de entrada y las salidas del modelo en busca de signos de desviación. Realiza un seguimiento de las métricas clave y compáralas con los datos históricos para identificar cambios significativos.

Técnicas estadísticas: Utiliza métodos como la prueba de Kolmogorov-Smirnov o el Índice de Estabilidad de Población (PSI) para detectar cambios en las distribuciones de los datos. Estas pruebas comparan la distribución de los nuevos datos con los datos de entrenamiento para identificar diferencias significativas.

Desviación de características: Supervisa las características individuales en busca de desviaciones. A veces, la distribución general de los datos puede permanecer estable, pero las características individuales pueden desviarse. Identificar qué características se están desviando ayuda a ajustar el proceso de reentrenamiento.

Mantenimiento del modelo

El mantenimiento del modelo es crucial para mantener los modelos de visión artificial precisos y relevantes a lo largo del tiempo. El mantenimiento del modelo implica la actualización y el reentrenamiento regulares de los modelos, la resolución de la desviación de datos y la garantía de que el modelo siga siendo relevante a medida que cambian los datos y los entornos. Puede que te preguntes en qué se diferencia el mantenimiento del modelo del seguimiento del modelo. El seguimiento consiste en observar el rendimiento del modelo en tiempo real para detectar problemas con antelación. El mantenimiento, por otro lado, consiste en solucionar estos problemas.

Actualizaciones y reentrenamiento regulares

Una vez desplegado un modelo, durante el seguimiento, es posible que notes cambios en los patrones de datos o en el rendimiento, lo que indica una desviación del modelo. Las actualizaciones y el reentrenamiento regulares se convierten en partes esenciales del mantenimiento del modelo para garantizar que este pueda manejar nuevos patrones y escenarios. Existen algunas técnicas que puedes utilizar en función de cómo cambien tus datos.

Por ejemplo, si los datos cambian gradualmente a lo largo del tiempo, el aprendizaje incremental es un buen enfoque. El aprendizaje incremental implica actualizar el modelo con nuevos datos sin necesidad de volver a entrenarlo por completo desde cero, lo que ahorra tiempo y recursos computacionales. Sin embargo, si los datos han cambiado drásticamente, un reentrenamiento completo periódico podría ser una mejor opción para garantizar que el modelo no sufra sobreajuste con los nuevos datos mientras pierde la pista de los patrones antiguos.

Independientemente del método, la validación y las pruebas son imprescindibles después de las actualizaciones. Es importante validar el modelo en un conjunto de datos de prueba independiente para comprobar si hay mejoras o degradaciones en el rendimiento.

Decidir cuándo volver a entrenar tu modelo

La frecuencia de reentrenamiento de tu modelo de visión artificial depende de los cambios en los datos y del rendimiento del modelo. Vuelve a entrenar tu modelo siempre que observes una caída significativa en el rendimiento o detectes una desviación de los datos. Las evaluaciones periódicas pueden ayudar a determinar el programa de reentrenamiento adecuado probando el modelo con nuevos datos. El seguimiento de las métricas de rendimiento y los patrones de datos te permite decidir si tu modelo necesita actualizaciones más frecuentes para mantener la precisión.

Documentación

Documentar un proyecto de visión artificial facilita su comprensión, reproducción y colaboración. Una buena documentación abarca la arquitectura del modelo, los hiperparámetros, los conjuntos de datos, las métricas de evaluación y mucho más. Proporciona transparencia, ayudando a los miembros del equipo y a las partes interesadas a entender qué se ha hecho y por qué. La documentación también ayuda en la resolución de problemas, el mantenimiento y las mejoras futuras al proporcionar una referencia clara de las decisiones y métodos pasados.

Elementos clave a documentar

Estos son algunos de los elementos clave que deben incluirse en la documentación del proyecto:

• Visión general del proyecto: Proporciona un resumen de alto nivel del proyecto, incluido el planteamiento del problema, el enfoque de la solución, los resultados esperados y el alcance del proyecto. Explica el papel de la visión artificial en la resolución del problema y describe las etapas y los entregables.
• Arquitectura del modelo: Detalla la estructura y el diseño del modelo, incluidos sus componentes, capas y conexiones. Explica los hiperparámetros elegidos y el razonamiento detrás de estas elecciones.
• Preparación de datos: Describe las fuentes de datos, los tipos, formatos, tamaños y los pasos de preprocesamiento. Habla sobre la calidad de los datos, la fiabilidad y cualquier transformación aplicada antes de entrenar el modelo.
• Proceso de entrenamiento: Documenta el procedimiento de entrenamiento, incluidos los conjuntos de datos utilizados, los parámetros de entrenamiento y las funciones de pérdida. Explica cómo se entrenó el modelo y cualquier desafío encontrado durante el entrenamiento.
• Métricas de evaluación: Especifica las métricas utilizadas para evaluar el rendimiento del modelo, como la precisión, la sensibilidad (precision), la exhaustividad (recall) y la puntuación F1. Incluye los resultados de rendimiento y un análisis de estas métricas.
• Pasos de despliegue: Describe los pasos dados para desplegar el modelo, incluidas las herramientas y plataformas utilizadas, las configuraciones de despliegue y cualquier desafío o consideración específica.
• Procedimiento de seguimiento y mantenimiento: Proporciona un plan detallado para el seguimiento del rendimiento del modelo tras el despliegue. Incluye métodos para detectar y solucionar la desviación de datos y del modelo, y describe el proceso para las actualizaciones y el reentrenamiento regulares.

Herramientas para la documentación

Existen muchas opciones a la hora de documentar proyectos de IA, siendo las herramientas de código abierto especialmente populares. Dos de ellas son Jupyter Notebooks y MkDocs. Los Jupyter Notebooks te permiten crear documentos interactivos con código, visualizaciones y texto incrustados, lo que los hace ideales para compartir experimentos y análisis. MkDocs es un generador de sitios estáticos que es fácil de configurar y desplegar, y es perfecto para crear y alojar documentación de proyectos en línea.

Conecta con la comunidad

Unirte a una comunidad de entusiastas de la visión artificial puede ayudarte a resolver problemas y aprender más rápidamente. Aquí tienes algunas formas de conectar, obtener apoyo y compartir ideas.

Recursos de la comunidad

• GitHub Issues: Echa un vistazo al repositorio de GitHub de YOLO26 y utiliza la pestaña Issues para hacer preguntas, informar de errores y sugerir nuevas funciones. La comunidad y los mantenedores son muy activos y serviciales.
• Servidor de Discord de Ultralytics: Únete al Ultralytics Discord server para charlar con otros usuarios y desarrolladores, obtener soporte y compartir tus experiencias.

Documentación oficial

• Documentación de Ultralytics YOLO26: Visita la documentación oficial de YOLO26 para guías detalladas y consejos útiles sobre varios proyectos de visión artificial.

Usar estos recursos te ayudará a resolver desafíos y mantenerte al día con las últimas tendencias y prácticas en la comunidad de visión artificial.

Puntos clave

Hemos cubierto consejos clave para el seguimiento, mantenimiento y documentación de tus modelos de visión artificial. Las actualizaciones y el reentrenamiento regulares ayudan al modelo a adaptarse a nuevos patrones de datos. Detectar y solucionar la desviación de datos ayuda a que tu modelo siga siendo preciso. El seguimiento continuo detecta problemas con antelación, y una buena documentación facilita la colaboración y las futuras actualizaciones. Seguir estos pasos ayudará a que tu proyecto de visión artificial siga teniendo éxito y sea eficaz a lo largo del tiempo.

Preguntas frecuentes

¿Cómo puedo supervisar el rendimiento de mi modelo de visión artificial desplegado?

Supervisar el rendimiento de tu modelo de visión artificial desplegado es crucial para garantizar su precisión y fiabilidad a lo largo del tiempo. Puedes utilizar herramientas como Prometheus, Grafana y Evidently AI para realizar un seguimiento de las métricas clave, detectar anomalías e identificar la desviación de datos. Supervisa regularmente las entradas y salidas, configura alertas para comportamientos inusuales y utiliza diversas fuentes de datos para obtener una visión global del rendimiento de tu modelo. Para obtener más detalles, consulta nuestra sección sobre seguimiento de modelos.

¿Cuáles son las mejores prácticas para mantener los modelos de visión artificial después del despliegue?

El mantenimiento de los modelos de visión artificial implica actualizaciones, reentrenamiento y seguimiento regulares para garantizar una precisión y relevancia continuas. Las mejores prácticas incluyen:

• Seguimiento continuo: Realiza un seguimiento periódico de las métricas de rendimiento y la calidad de los datos.
• Detección de desviación de datos: Utiliza técnicas estadísticas para identificar cambios en las distribuciones de los datos.
• Actualizaciones y reentrenamiento regulares: Implementa el aprendizaje incremental o el reentrenamiento completo periódico según los cambios en los datos.
• Documentación: Mantén una documentación detallada de la arquitectura del modelo, los procesos de entrenamiento y las métricas de evaluación. Para obtener más información, visita nuestra sección Mantenimiento del modelo.

¿Por qué es importante la detección de la desviación de datos para los modelos de IA?

La detección de la desviación de datos es esencial porque ayuda a identificar cuándo cambian las propiedades estadísticas de los datos de entrada a lo largo del tiempo, lo que puede degradar el rendimiento del modelo. Técnicas como el seguimiento continuo, las pruebas estadísticas (por ejemplo, la prueba de Kolmogorov-Smirnov) y el análisis de la desviación de características pueden ayudar a detectar problemas con antelación. Abordar la desviación de datos garantiza que tu modelo siga siendo preciso y relevante en entornos cambiantes. Obtén más información sobre la detección de la desviación de datos en nuestra sección Detección de desviación de datos.

¿Qué herramientas puedo utilizar para la detección de anomalías en modelos de visión artificial?

Para la detección de anomalías en modelos de visión artificial, herramientas como Prometheus, Grafana y Evidently AI son muy eficaces. Estas herramientas pueden ayudarte a configurar sistemas de alerta para detectar puntos de datos o patrones inusuales que se desvíen del comportamiento esperado. Las alertas configurables y los mensajes estandarizados pueden ayudarte a responder rápidamente a posibles problemas. Explora más en nuestra sección Sistemas de detección de anomalías y alerta.

¿Cómo puedo documentar mi proyecto de visión artificial de forma eficaz?

La documentación eficaz de un proyecto de visión artificial debe incluir:

• Visión general del proyecto: Resumen de alto nivel, planteamiento del problema y enfoque de la solución.
• Arquitectura del modelo: Detalles de la estructura del modelo, componentes e hiperparámetros.
• Preparación de datos: Información sobre fuentes de datos, pasos de preprocesamiento y transformaciones.
• Proceso de entrenamiento: Descripción del procedimiento de entrenamiento, conjuntos de datos utilizados y desafíos encontrados.
• Métricas de evaluación: Métricas utilizadas para la evaluación del rendimiento y análisis.
• Pasos de despliegue: Pasos dados para el despliegue del modelo y cualquier desafío específico.
• Procedimiento de seguimiento y mantenimiento: Plan para el seguimiento y mantenimiento continuos. Para obtener directrices más completas, consulta nuestra sección Documentación.