Guía para el ensayo de modelos
Introducción
Una vez entrenado y evaluado el modelo, es hora de probarlo. Las pruebas de modelos consisten en evaluar su rendimiento en situaciones reales. En las pruebas se tienen en cuenta factores como la precisión, la fiabilidad, la imparcialidad y la facilidad de comprensión de las decisiones del modelo. El objetivo es asegurarse de que el modelo funciona según lo previsto, ofrece los resultados esperados y se ajusta al objetivo general de su aplicación o proyecto.
Observa: Cómo probar modelos de aprendizaje automático | Evitar fugas de datos en visión artificial 🚀
La prueba de modelos es bastante similar a la evaluación de modelos, pero son dos pasos distintos en un proyecto de visión por ordenador. En la evaluación de modelos se utilizan métricas y gráficos para valorar la precisión del modelo. Por otro lado, la prueba de modelos comprueba si el comportamiento aprendido del modelo coincide con las expectativas. En esta guía, exploraremos estrategias para probar sus modelos de visión por ordenador.
Ensayo de modelos Vs. Evaluación de modelos
En primer lugar, entendamos la diferencia entre evaluación de modelos y pruebas con un ejemplo.
Supongamos que ha entrenado un modelo de visión por ordenador para reconocer perros y gatos, y quiere desplegar este modelo en una tienda de mascotas para controlar a los animales. Durante la fase de evaluación del modelo, se utiliza un conjunto de datos etiquetados para calcular parámetros como la exactitud, la precisión, la recuperación y la puntuación F1. Por ejemplo, el modelo podría tener una precisión del 98% a la hora de distinguir entre perros y gatos en un conjunto de datos determinado.
Tras la evaluación, se pone a prueba el modelo utilizando imágenes de una tienda de animales para comprobar su capacidad para identificar perros y gatos en condiciones más variadas y realistas. Se comprueba si puede etiquetar correctamente a perros y gatos en movimiento, con distintas condiciones de iluminación o parcialmente ocultos por objetos como juguetes o muebles. La prueba de modelos comprueba que el modelo se comporta como se espera fuera del entorno de evaluación controlado.
Preparación de los ensayos con modelos
Los modelos de visión artificial aprenden de conjuntos de datos detectando patrones, haciendo predicciones y evaluando su rendimiento. Estos conjuntos de datos suelen dividirse en conjuntos de entrenamiento y de prueba para simular las condiciones del mundo real. Los datos de entrenamiento enseñan al modelo, mientras que los datos de prueba verifican su precisión.
Aquí tienes dos puntos que debes tener en cuenta antes de probar tu modelo:
- Representación realista: Los datos de prueba previamente no vistos deben ser similares a los datos que el modelo tendrá que manejar cuando se despliegue. Esto ayuda a obtener una comprensión realista de las capacidades del modelo.
- Tamaño suficiente: El tamaño del conjunto de datos de prueba debe ser lo suficientemente grande como para proporcionar información fiable sobre el rendimiento del modelo.
Comprobación del modelo de visión por ordenador
Estos son los pasos clave que debe seguir para probar su modelo de visión por ordenador y comprender su rendimiento.
- Ejecutar predicciones: Utiliza el modelo para realizar predicciones sobre el conjunto de datos de prueba.
- Comparar predicciones: Comprueba en qué medida coinciden las predicciones del modelo con las etiquetas reales (ground truth).
- Calcule las métricas de rendimiento: Calcule métricas como la exactitud, la precisión, la recuperación y la puntuación F1 para comprender los puntos fuertes y débiles del modelo. Las pruebas se centran en cómo estas métricas reflejan el rendimiento en el mundo real.
- Visualice los resultados: Cree ayudas visuales como matrices de confusión y curvas ROC. Le ayudarán a detectar áreas específicas en las que el modelo podría no funcionar bien en aplicaciones prácticas.
A continuación, pueden analizarse los resultados de las pruebas:
- Imágenes mal clasificadas: Identifique y revise las imágenes que el modelo ha clasificado erróneamente para comprender en qué se equivoca.
- Análisis de errores: Realice un análisis exhaustivo de los errores para comprender los tipos de errores (por ejemplo, falsos positivos frente a falsos negativos) y sus posibles causas.
- Sesgo e imparcialidad: Compruebe si hay sesgos en las predicciones del modelo. Asegúrese de que el modelo funciona igual de bien en los distintos subconjuntos de datos, especialmente si incluye atributos sensibles como la raza, el sexo o la edad.
Pruebe su modelo YOLO11
Para probar su modelo YOLO11 , puede utilizar el modo de validación. Es una forma sencilla de comprender los puntos fuertes del modelo y las áreas que necesitan mejoras. Además, tendrá que formatear el conjunto de datos de prueba correctamente para YOLO11. Para obtener más información sobre cómo utilizar el modo de validación, consulte la página de documentación sobre validación de modelos.
Uso de YOLO11 para predecir en múltiples imágenes de prueba
Si desea probar su modelo YOLO11 entrenado en varias imágenes almacenadas en una carpeta, puede hacerlo fácilmente de una sola vez. En lugar de utilizar el modo de validación, que normalmente se utiliza para evaluar el rendimiento del modelo en un conjunto de validación y proporcionar métricas detalladas, es posible que sólo desee ver las predicciones en todas las imágenes de su conjunto de prueba. Para ello, puede utilizar el modo de predicción.
Diferencia entre los modos de validación y predicción
- Modo de validación: Se utiliza para evaluar el rendimiento del modelo comparando las predicciones con etiquetas conocidas (ground truth). Proporciona métricas detalladas como la exactitud, la precisión, la recuperación y la puntuación F1.
- Modo predicción: Se utiliza para ejecutar el modelo en datos nuevos y no vistos para generar predicciones. No proporciona métricas de rendimiento detalladas, pero permite ver el rendimiento del modelo en imágenes del mundo real.
Ejecutar YOLO11 Predicciones sin formación personalizada
Si está interesado en probar el modelo básico YOLO11 para saber si puede utilizarse para su aplicación sin un entrenamiento personalizado, puede utilizar el modo de predicción. Aunque el modelo está preentrenado en conjuntos de datos como COCO, la ejecución de predicciones en su propio conjunto de datos puede darle una idea rápida de lo bien que podría funcionar en su contexto específico.
Sobreajuste e infraajuste en el aprendizaje automático
Al probar un modelo de aprendizaje automático, especialmente en visión por ordenador, es importante tener cuidado con el sobreajuste y el infraajuste. Estos problemas pueden afectar significativamente al funcionamiento del modelo con nuevos datos.
Sobreajuste
La sobreadaptación se produce cuando el modelo aprende demasiado bien los datos de entrenamiento, incluidos el ruido y los detalles que no se generalizan a los nuevos datos. En visión por ordenador, esto significa que el modelo puede funcionar muy bien con las imágenes de entrenamiento, pero tener problemas con las nuevas.
Signos de sobreajuste
- Alta precisión de entrenamiento, baja precisión de validación: Si su modelo funciona muy bien en los datos de entrenamiento pero mal en los datos de validación o prueba, es probable que esté sobreajustado.
- Inspección visual: A veces, se puede observar un sobreajuste si el modelo es demasiado sensible a pequeños cambios o detalles irrelevantes en las imágenes.
Insuficiente
La inadaptación se produce cuando el modelo no puede captar los patrones subyacentes en los datos. En visión por ordenador, un modelo mal ajustado puede incluso no reconocer objetos correctamente en las imágenes de entrenamiento.
Signos de inadaptación
- Precisión de entrenamiento baja: Si su modelo no puede alcanzar una precisión alta en el conjunto de entrenamiento, es posible que no esté ajustado correctamente.
- Clasificación visual errónea: La incapacidad constante para reconocer características u objetos obvios sugiere un ajuste insuficiente.
Equilibrio entre sobreadaptación e inadaptación
La clave está en encontrar un equilibrio entre la sobreadaptación y la inadaptación. Lo ideal es que un modelo funcione bien tanto en los conjuntos de datos de entrenamiento como en los de validación. Supervisar regularmente el rendimiento de tu modelo mediante métricas e inspecciones visuales, junto con aplicar las estrategias adecuadas, puede ayudarte a conseguir los mejores resultados.
Fuga de datos en visión por ordenador y cómo evitarla
Al probar el modelo, es importante tener en cuenta la fuga de datos. La fuga de datos se produce cuando se utiliza accidentalmente información ajena al conjunto de datos de entrenamiento para entrenar el modelo. El modelo puede parecer muy preciso durante el entrenamiento, pero no funcionará bien con datos nuevos y desconocidos cuando se produzca una fuga de datos.
Por qué se producen las fugas de datos
La fuga de datos puede ser difícil de detectar y a menudo se debe a sesgos ocultos en los datos de entrenamiento. Estas son algunas de las formas más comunes en las que puede producirse en visión por computador:
- Sesgo de la cámara: los diferentes ángulos, la iluminación, las sombras y los movimientos de la cámara pueden introducir patrones no deseados.
- Sesgo de superposición: los logotipos, las marcas de tiempo u otras superposiciones en las imágenes pueden inducir a error al modelo.
- Sesgo de fuentes y objetos: las fuentes u objetos específicos que aparecen con frecuencia en determinadas clases pueden sesgar el aprendizaje del modelo.
- Sesgo espacial: los desequilibrios entre el primer plano y el segundo plano, las distribuciones de los cuadros delimitadores y las ubicaciones de los objetos pueden afectar al entrenamiento.
- Sesgo de etiqueta y dominio: Las etiquetas incorrectas o los cambios en los tipos de datos pueden provocar fugas.
Detección de fugas de datos
Para encontrar fugas de datos, puede:
- Compruebe el rendimiento: Si los resultados del modelo son sorprendentemente buenos, es posible que tenga fugas.
- Fíjese en la importancia de las características: Si una característica es mucho más importante que otras, podría indicar una fuga.
- Inspección visual: Comprueba que las decisiones del modelo tienen sentido de forma intuitiva.
- Verifique la separación de datos: Asegúrese de que los datos se dividieron correctamente antes de cualquier procesamiento.
Evitar la fuga de datos
Para evitar la fuga de datos, utilice un conjunto de datos diverso con imágenes o vídeos de diferentes cámaras y entornos. Revise cuidadosamente sus datos y compruebe que no haya sesgos ocultos, como que todas las muestras positivas se hayan tomado a una hora concreta del día. Evitar la fuga de datos ayudará a que sus modelos de visión por ordenador sean más fiables y eficaces en situaciones del mundo real.
Qué viene después de los ensayos con modelos
Una vez probado el modelo, los pasos siguientes dependerán de los resultados. Si su modelo funciona bien, puede implantarlo en un entorno real. Si los resultados no son satisfactorios, tendrá que introducir mejoras. Esto puede implicar analizar los errores, recopilar más datos, mejorar la calidad de los datos, ajustar los hiperparámetros y volver a entrenar el modelo.
Únase a la conversación sobre IA
Formar parte de una comunidad de entusiastas de la visión por computador puede ayudar a resolver problemas y aprender de forma más eficiente. Aquí tienes algunas formas de conectar, buscar ayuda y compartir tus ideas.
Recursos comunitarios
- Problemas en GitHub: Explora el repositorio GitHub deYOLO11 y utiliza la pestaña Cuestiones para hacer preguntas, informar de errores y sugerir nuevas funciones. La comunidad y los mantenedores son muy activos y están dispuestos a ayudar.
- Ultralytics Servidor Discord: Únete al servidor Discord deUltralytics para chatear con otros usuarios y desarrolladores, obtener ayuda y compartir tus experiencias.
Documentación oficial
- Ultralytics YOLO11 Documentación: Consulte la documentación oficial de YOLO11 para obtener guías detalladas y consejos útiles sobre diversos proyectos de visión por ordenador.
Estos recursos le ayudarán a superar los retos y a mantenerse al día de las últimas tendencias y prácticas dentro de la comunidad de visión por ordenador.
En resumen
La creación de modelos de visión por ordenador fiables se basa en pruebas rigurosas de los modelos. Al probar el modelo con datos que no se han visto previamente, podemos analizarlo y detectar puntos débiles como el sobreajuste y la fuga de datos. Solucionar estos problemas antes de su despliegue ayuda a que el modelo funcione bien en aplicaciones reales. Es importante recordar que la comprobación de modelos es tan crucial como su evaluación para garantizar su éxito y eficacia a largo plazo.
PREGUNTAS FRECUENTES
¿Cuáles son las principales diferencias entre la evaluación de modelos y la comprobación de modelos en visión por ordenador?
La evaluación y la prueba de modelos son pasos distintos en un proyecto de visión por ordenador. La evaluación de un modelo consiste en utilizar un conjunto de datos etiquetados para calcular parámetros como la exactitud, la precisión, la recuperación y la puntuación F1, lo que proporciona información sobre el rendimiento del modelo con un conjunto de datos controlado. Por otro lado, la prueba de modelos evalúa el rendimiento del modelo en situaciones reales aplicándolo a datos nuevos que no se han visto, lo que garantiza que el comportamiento aprendido del modelo se ajusta a las expectativas fuera del entorno de evaluación. Para obtener una guía detallada, consulte los pasos de un proyecto de visión por ordenador.
¿Cómo puedo probar mi modelo Ultralytics YOLO11 en varias imágenes?
Para probar su modelo Ultralytics YOLO11 en varias imágenes, puede utilizar el modo de predicción. Este modo le permite ejecutar el modelo en datos nuevos y desconocidos para generar predicciones sin proporcionar métricas detalladas. Es ideal para realizar pruebas de rendimiento en el mundo real con grandes conjuntos de imágenes almacenados en una carpeta. Para evaluar las métricas de rendimiento, utilice el modo de validación.
¿Qué debo hacer si mi modelo de visión por ordenador muestra signos de ajuste excesivo o insuficiente?
Para abordar el sobreajuste:
- Técnicas de regularización como el abandono.
- Aumentar el tamaño del conjunto de datos de entrenamiento.
- Simplificar la arquitectura del modelo.
Para abordar la inadaptación:
- Utilizar un modelo más complejo.
- Ofrezca funciones más relevantes.
- Aumentar las iteraciones o épocas de entrenamiento.
Revise las imágenes mal clasificadas, realice un análisis exhaustivo de los errores y realice un seguimiento periódico de las métricas de rendimiento para mantener un equilibrio. Para obtener más información sobre estos conceptos, consulte nuestra sección sobre sobreajuste e infraajuste.
¿Cómo detectar y evitar la fuga de datos en visión por ordenador?
Para detectar fugas de datos:
- Compruebe que el rendimiento de las pruebas no es inusualmente alto.
- Compruebe la importancia de las características para obtener información inesperada.
- Revisar intuitivamente las decisiones del modelo.
- Garantizar la correcta división de los datos antes del tratamiento.
Para evitar la fuga de datos:
- Utilizar diversos conjuntos de datos con varios entornos.
- Revise cuidadosamente los datos para detectar sesgos ocultos.
- Garantizar que no haya solapamiento de información entre los conjuntos de entrenamiento y prueba.
Para conocer estrategias detalladas sobre la prevención de la fuga de datos, consulte nuestra sección sobre Fuga de datos en visión por ordenador.
¿Qué pasos debo seguir después de probar mi modelo de visión artificial?
Tras las pruebas, si el rendimiento del modelo cumple los objetivos del proyecto, proceda a su implantación. Si los resultados son insatisfactorios, considérelo:
- Análisis de errores.
- Recopilación de datos más diversos y de mayor calidad.
- Ajuste de hiperparámetros.
- Reentrenamiento del modelo.
Obtenga información de la sección Pruebas de modelos frente a evaluación de modelos. Evaluación de modelos para perfeccionar y mejorar la eficacia de los modelos en aplicaciones reales.
¿Cómo puedo realizar predicciones en YOLO11 sin un entrenamiento personalizado?
Puede ejecutar predicciones utilizando el modelo preentrenado YOLO11 en su conjunto de datos para ver si se adapta a las necesidades de su aplicación. Utilice el modo de predicción para hacerse una idea rápida de los resultados de rendimiento sin necesidad de realizar un entrenamiento personalizado.
