Guía para el ensayo de modelos

Introducción

Después de entrenar y evaluar tu modelo, es hora de probarlo. La prueba del modelo consiste en evaluar su rendimiento en situaciones reales. Las pruebas tienen en cuenta factores como la precisión, la fiabilidad, la imparcialidad y la facilidad de comprensión de las decisiones del modelo. El objetivo es asegurarse de que el modelo funciona según lo previsto, ofrece los resultados esperados y se ajusta al objetivo general de tu aplicación o proyecto.

La prueba de modelos es bastante similar a la evaluación de modelos, pero son dos pasos distintos en un proyecto de visión por ordenador. La evaluación del modelo implica métricas y gráficos para valorar la precisión del modelo. Por otro lado, la prueba de modelos comprueba si el comportamiento aprendido del modelo coincide con las expectativas. En esta guía, exploraremos estrategias para probar tus modelos de visión por ordenador.

Prueba de modelos Vs. Evaluación de modelos

En primer lugar, vamos a entender la diferencia entre la evaluación y la comprobación de modelos con un ejemplo.

Supón que has entrenado un modelo de visión por ordenador para reconocer perros y gatos, y quieres desplegar este modelo en una tienda de mascotas para controlar a los animales. Durante la fase de evaluación del modelo, utilizas un conjunto de datos etiquetados para calcular métricas como la exactitud, la precisión, la recuperación y la puntuación F1. Por ejemplo, el modelo podría tener una precisión del 98% al distinguir entre gatos y perros en un conjunto de datos determinado.

Tras la evaluación, pruebas el modelo utilizando imágenes de una tienda de animales para ver lo bien que identifica a perros y gatos en condiciones más variadas y realistas. Comprueba si puede etiquetar correctamente a perros y gatos cuando están en movimiento, en diferentes condiciones de iluminación o parcialmente ocultos por objetos como juguetes o muebles. La prueba de modelos comprueba que el modelo se comporta como se espera fuera del entorno de evaluación controlado.

Preparación para el ensayo con modelo

Los modelos de visión por ordenador aprenden de los conjuntos de datos detectando patrones, haciendo predicciones y evaluando su rendimiento. Estos conjuntos de datos suelen dividirse en conjuntos de entrenamiento y de prueba para simular las condiciones del mundo real. Los datos de entrenamiento enseñan al modelo, mientras que los datos de prueba verifican su precisión.

Aquí tienes dos puntos que debes tener en cuenta antes de probar tu modelo:

• Representación realista: Los datos de prueba no vistos previamente deben ser similares a los datos que el modelo tendrá que manejar cuando se implante. Esto ayuda a obtener una comprensión realista de las capacidades del modelo.
• Tamaño suficiente: El tamaño del conjunto de datos de prueba debe ser lo suficientemente grande como para proporcionar información fiable sobre el rendimiento del modelo.

Probar tu modelo de visión artificial

He aquí los pasos clave que debes dar para probar tu modelo de visión artificial y comprender su rendimiento.

• Ejecutar predicciones: Utiliza el modelo para hacer predicciones sobre el conjunto de datos de prueba.
• Comparar predicciones: Comprueba lo bien que coinciden las predicciones del modelo con las etiquetas reales (ground truth).
• Calcula las métricas de rendimiento: Calcula mé tricas como la exactitud, la precisión, la recuperación y la puntuación F1 para comprender los puntos fuertes y débiles del modelo. Las pruebas se centran en cómo reflejan estas métricas el rendimiento en el mundo real.
• Visualiza los resultados: Crea ayudas visuales como matrices de confusión y curvas ROC. Te ayudarán a detectar áreas concretas en las que el modelo podría no funcionar bien en aplicaciones prácticas.

A continuación, se pueden analizar los resultados de las pruebas:

• Imágenes mal clasificadas: Identifica y revisa las imágenes que el modelo ha clasificado mal para comprender en qué se equivoca.
• Análisis de errores: Realiza un análisis exhaustivo de los errores para comprender los tipos de errores (por ejemplo, falsos positivos frente a falsos negativos) y sus posibles causas.
• Sesgo e imparcialidad: Comprueba si hay sesgos en las predicciones del modelo. Asegúrate de que el modelo funciona igual de bien en los distintos subconjuntos de datos, especialmente si incluye atributos sensibles como la raza, el sexo o la edad.

Prueba tu modelo YOLOv8

Para probar tu modelo YOLOv8 , puedes utilizar el modo de validación. Es una forma sencilla de comprender los puntos fuertes del modelo y las áreas que necesitan mejoras. Además, tendrás que formatear correctamente tu conjunto de datos de prueba para YOLOv8. Para obtener más información sobre cómo utilizar el modo de validación, consulta la página de documentación Validación del modelo.

Utilizando YOLOv8 para predecir en múltiples imágenes de prueba

Si quieres probar tu modelo entrenado YOLOv8 en varias imágenes almacenadas en una carpeta, puedes hacerlo fácilmente de una sola vez. En lugar de utilizar el modo de validación, que se suele utilizar para evaluar el rendimiento del modelo en un conjunto de validación y proporcionar métricas detalladas, puede que sólo quieras ver las predicciones en todas las imágenes de tu conjunto de prueba. Para ello, puedes utilizar el modo de predicción.

Diferencia entre los modos de validación y predicción

• Modo Validación: Se utiliza para evaluar el rendimiento del modelo comparando las predicciones con etiquetas conocidas (verdad básica). Proporciona métricas detalladas como la exactitud, la precisión, el recuerdo y la puntuación F1.
• Modo Predicción: Se utiliza para ejecutar el modelo sobre datos nuevos, no vistos, para generar predicciones. No proporciona métricas de rendimiento detalladas, pero te permite ver cómo funciona el modelo en imágenes del mundo real.

Ejecutar YOLOv8 Predicciones sin entrenamiento personalizado

Si te interesa probar el modelo básico YOLOv8 para saber si puede utilizarse para tu aplicación sin un entrenamiento personalizado, puedes utilizar el modo de predicción. Aunque el modelo está preentrenado en conjuntos de datos como COCO, ejecutar predicciones en tu propio conjunto de datos puede darte una idea rápida de lo bien que podría funcionar en tu contexto específico.

Sobreajuste e infraajuste en el aprendizaje automático

Al probar un modelo de aprendizaje automático, especialmente en visión por ordenador, es importante tener cuidado con el sobreajuste y el infraajuste. Estos problemas pueden afectar significativamente a lo bien que funciona tu modelo con nuevos datos.

Sobreajuste

El sobreajuste se produce cuando tu modelo aprende demasiado bien los datos de entrenamiento, incluyendo el ruido y los detalles que no se generalizan a los nuevos datos. En visión por ordenador, esto significa que tu modelo puede funcionar muy bien con las imágenes de entrenamiento, pero tener problemas con las nuevas.

Signos de sobreajuste

• Alta precisión de entrenamiento, baja precisión de validación: Si tu modelo funciona muy bien con los datos de entrenamiento, pero mal con los datos de validación o prueba, es probable que esté sobreajustado.
• Inspección visual: A veces, puedes observar un ajuste excesivo si tu modelo es demasiado sensible a pequeños cambios o detalles irrelevantes en las imágenes.

Insuficiente

La inadaptación se produce cuando tu modelo no puede captar los patrones subyacentes en los datos. En visión por ordenador, un modelo insuficientemente ajustado puede incluso no reconocer correctamente los objetos en las imágenes de entrenamiento.

Signos de inadaptación

• Baja precisión de entrenamiento: Si tu modelo no puede alcanzar una alta precisión en el conjunto de entrenamiento, puede que esté infraajustado.
• Clasificación visual errónea: Un fallo sistemático en el reconocimiento de características u objetos obvios sugiere un ajuste insuficiente.

Equilibrar la sobreadaptación y la inadaptación

La clave está en encontrar un equilibrio entre el sobreajuste y el infraajuste. Lo ideal es que un modelo funcione bien tanto en los conjuntos de datos de entrenamiento como en los de validación. Supervisar regularmente el rendimiento de tu modelo mediante métricas e inspecciones visuales, junto con aplicar las estrategias adecuadas, puede ayudarte a conseguir los mejores resultados.

Fuga de Datos en Visión por Computador y Cómo Evitarla

Al probar tu modelo, algo importante que debes tener en cuenta es la fuga de datos. La fuga de datos se produce cuando se utiliza accidentalmente información ajena al conjunto de datos de entrenamiento para entrenar el modelo. El modelo puede parecer muy preciso durante el entrenamiento, pero no funcionará bien con datos nuevos y desconocidos cuando se produzca una fuga de datos.

Por qué se produce la fuga de datos

La fuga de datos puede ser difícil de detectar y a menudo procede de sesgos ocultos en los datos de entrenamiento. He aquí algunas formas habituales de que se produzca en la visión por ordenador:

• Sesgo de la cámara: Los diferentes ángulos, la iluminación, las sombras y los movimientos de la cámara pueden introducir patrones no deseados.
• Sesgo de superposición: Los logotipos, las marcas de tiempo u otras superposiciones en las imágenes pueden inducir a error al modelo.
• Sesgo de fuentes y objetos: Las fuentes u objetos específicos que aparecen con frecuencia en determinadas clases pueden sesgar el aprendizaje del modelo.
• Sesgo espacial: Los desequilibrios en el primer plano-fondo, las distribuciones de los cuadros delimitadores y las ubicaciones de los objetos pueden afectar al entrenamiento.
• Sesgo de etiqueta y dominio: Las etiquetas incorrectas o los cambios en los tipos de datos pueden provocar fugas.

Detectar la fuga de datos

Para encontrar fugas de datos, puedes

• Comprueba el rendimiento: Si los resultados del modelo son sorprendentemente buenos, puede que tenga fugas.
• Fíjate en la importancia de las características: Si una característica es mucho más importante que otras, podría indicar una fuga.
• Inspección visual: Comprueba que las decisiones del modelo tienen sentido intuitivamente.
• Verifica la Separación de Datos: Asegúrate de que los datos se han dividido correctamente antes de cualquier procesamiento.

Evitar la fuga de datos

Para evitar la fuga de datos, utiliza un conjunto de datos diverso con imágenes o vídeos de diferentes cámaras y entornos. Revisa cuidadosamente tus datos y comprueba que no haya sesgos ocultos, como que todas las muestras positivas se hayan tomado a una hora concreta del día. Evitar la fuga de datos ayudará a que tus modelos de visión por ordenador sean más fiables y eficaces en situaciones del mundo real.

Qué viene después del ensayo con modelo

Tras probar tu modelo, los siguientes pasos dependen de los resultados. Si tu modelo funciona bien, puedes desplegarlo en un entorno real. Si los resultados no son satisfactorios, tendrás que introducir mejoras. Esto podría implicar analizar los errores, recopilar más datos, mejorar la calidad de los datos, ajustar los hiperparámetros y volver a entrenar el modelo.

Únete a la conversación sobre IA

Formar parte de una comunidad de entusiastas de la visión por ordenador puede ayudar a resolver problemas y a aprender de forma más eficaz. Aquí tienes algunas formas de conectar, buscar ayuda y compartir tus ideas.

Recursos comunitarios

• Cuestiones de GitHub: Explora el repositorio GitHub deYOLOv8 y utiliza la pestaña Cuestiones para hacer preguntas, informar de errores y sugerir nuevas funciones. La comunidad y los mantenedores son muy activos y están dispuestos a ayudar.
• Ultralytics Servidor Discord: Únete al servidor Discord deUltralytics para chatear con otros usuarios y desarrolladores, obtener ayuda y compartir tus experiencias.

Documentación oficial

• Ultralytics YOLOv8 Documentación: Consulta la documentación oficial de YOLOv8 para obtener guías detalladas y consejos útiles sobre diversos proyectos de visión por ordenador.

Estos recursos te ayudarán a superar los retos y a mantenerte al día de las últimas tendencias y prácticas dentro de la comunidad de visión por ordenador.

En resumen

La creación de modelos de visión por ordenador fiables se basa en pruebas rigurosas del modelo. Al probar el modelo con datos no vistos previamente, podemos analizarlo y detectar puntos débiles como el sobreajuste y la fuga de datos. Solucionar estos problemas antes de su despliegue ayuda a que el modelo funcione bien en aplicaciones del mundo real. Es importante recordar que la prueba de modelos es tan crucial como la evaluación de modelos para garantizar el éxito y la eficacia del modelo a largo plazo.

PREGUNTAS FRECUENTES

¿Cuáles son las principales diferencias entre la evaluación de modelos y la comprobación de modelos en visión por ordenador?

La evaluación del modelo y la prueba del modelo son pasos distintos en un proyecto de visión por ordenador. La evaluación del modelo consiste en utilizar un conjunto de datos etiquetados para calcular métricas como la exactitud, la precisión, la recuperación y la puntuación F1, proporcionando información sobre el rendimiento del modelo con un conjunto de datos controlado. La prueba del modelo, por otra parte, evalúa el rendimiento del modelo en escenarios del mundo real aplicándolo a datos nuevos, no vistos, asegurando que el comportamiento aprendido del modelo se alinea con las expectativas fuera del entorno de evaluación. Para una guía detallada, consulta los pasos de un proyecto de visión por ordenador.

¿Cómo puedo probar mi modelo Ultralytics YOLOv8 en varias imágenes?

Para probar tu modelo Ultralytics YOLOv8 en varias imágenes, puedes utilizar el modo de predicción. Este modo te permite ejecutar el modelo en datos nuevos, no vistos, para generar predicciones sin proporcionar métricas detalladas. Esto es ideal para pruebas de rendimiento en el mundo real sobre grandes conjuntos de imágenes almacenados en una carpeta. Para evaluar las métricas de rendimiento, utiliza en su lugar el modo de validación.

¿Qué debo hacer si mi modelo de visión artificial muestra signos de ajuste excesivo o insuficiente?

Para abordar el sobreajuste:

• Técnicas de regularización como el abandono.
• Aumenta el tamaño del conjunto de datos de entrenamiento.
• Simplifica la arquitectura del modelo.

Para abordar la inadaptación:

• Utiliza un modelo más complejo.
• Proporciona funciones más relevantes.
• Aumenta las iteraciones o épocas de entrenamiento.

Revisa las imágenes mal clasificadas, realiza un análisis exhaustivo de los errores y controla regularmente las métricas de rendimiento para mantener un equilibrio. Para más información sobre estos conceptos, explora nuestra sección sobre Sobreadaptación e Inadaptación.

¿Cómo detectar y evitar la fuga de datos en visión artificial?

Para detectar fugas de datos:

• Comprueba que el rendimiento de la prueba no es inusualmente alto.
• Comprueba la importancia de las características para obtener información inesperada.
• Revisa intuitivamente las decisiones del modelo.
• Asegúrate de que la división de los datos es correcta antes de procesarlos.

Para evitar la fuga de datos:

• Utiliza diversos conjuntos de datos con varios entornos.
• Revisa cuidadosamente los datos en busca de sesgos ocultos.
• Asegúrate de que no haya solapamiento de información entre los conjuntos de entrenamiento y de prueba.

Para conocer estrategias detalladas sobre cómo evitar la fuga de datos, consulta nuestra sección sobre Fuga de Datos en Visión por Computador.

¿Qué pasos debo dar después de probar mi modelo de visión artificial?

Tras la prueba, si el rendimiento del modelo cumple los objetivos del proyecto, procede a su implantación. Si los resultados son insatisfactorios, considera:

• Análisis de errores.
• Recopilar datos más diversos y de mayor calidad.
• Ajuste de hiperparámetros.
• Reentrenar el modelo.

Obtén información de la sección Prueba de Modelos Vs. Evaluación de modelos para perfeccionar y mejorar la eficacia de los modelos en aplicaciones reales.

¿Cómo ejecuto las predicciones de YOLOv8 sin entrenamiento personalizado?

Puedes ejecutar predicciones utilizando el modelo YOLOv8 preentrenado en tu conjunto de datos para ver si se adapta a las necesidades de tu aplicación. Utiliza el modo de predicción para hacerte una idea rápida de los resultados de rendimiento sin sumergirte en un entrenamiento personalizado.

Comentarios