Руководство по тестированию моделей

Введение

После обучения и оценки твоей модели настало время ее протестировать. Тестирование модели подразумевает оценку того, насколько хорошо она работает в реальных сценариях. При тестировании учитываются такие факторы, как точность, надежность, справедливость и то, насколько легко понять решения модели. Цель - убедиться, что модель работает так, как задумано, дает ожидаемые результаты и вписывается в общую цель твоего приложения или проекта.

Model testing is quite similar to model evaluation, but they are two distinct steps in a computer vision project. Model evaluation involves metrics and plots to assess the model's accuracy. On the other hand, model testing checks if the model's learned behavior is the same as expectations. In this guide, we'll explore strategies for testing your computer vision models.

Тестирование модели и оценка модели. Оценка модели

Для начала давай на примере поймем разницу между оценкой и тестированием модели.

Suppose you have trained a computer vision model to recognize cats and dogs, and you want to deploy this model at a pet store to monitor the animals. During the model evaluation phase, you use a labeled dataset to calculate metrics like accuracy, precision, recall, and F1 score. For instance, the model might have an accuracy of 98% in distinguishing between cats and dogs in a given dataset.

После оценки ты протестируешь модель на изображениях из зоомагазина, чтобы посмотреть, насколько хорошо она идентифицирует кошек и собак в более разнообразных и реалистичных условиях. Ты проверяешь, может ли она правильно обозначать кошек и собак, когда они движутся, находятся в разных условиях освещения или частично заслонены такими предметами, как игрушки или мебель. Тестирование модели проверяет, что модель ведет себя так, как ожидается, вне контролируемой среды оценки.

Подготовка к тестированию модели

Computer vision models learn from datasets by detecting patterns, making predictions, and evaluating their performance. These datasets are usually divided into training and testing sets to simulate real-world conditions. Training data teaches the model while testing data verifies its accuracy.

Вот два момента, которые следует иметь в виду, прежде чем тестировать свою модель:

• Реалистичное представление: Невидимые ранее тестовые данные должны быть похожи на те, с которыми модели придется работать при развертывании. Это поможет получить реалистичное представление о возможностях модели.
• Достаточный размер: Размер тестового набора данных должен быть достаточно большим, чтобы дать достоверное представление о том, насколько хорошо работает модель.

Тестирование твоей модели компьютерного зрения

Вот основные шаги, которые нужно предпринять, чтобы протестировать твою модель компьютерного зрения и понять ее производительность.

• Выполни предсказания: Используй модель, чтобы сделать предсказания на тестовом наборе данных.
• Сравни предсказания: Проверь, насколько хорошо предсказания модели совпадают с реальными метками (ground truth).
• Рассчитай показатели эффективности: Вычисли такие метрики, как точность, прецизионность, отзыв и F1 score, чтобы понять сильные и слабые стороны модели. Тестирование фокусируется на том, как эти показатели отражают реальную производительность.
• Визуализируй результаты: Создавай наглядные пособия вроде матриц путаницы и ROC-кривых. Они помогут тебе заметить конкретные области, в которых модель может работать не лучшим образом в практическом применении.

Далее можно проанализировать результаты тестирования:

• Неправильно классифицированные изображения: Выяви и просмотри изображения, которые модель классифицировала неправильно, чтобы понять, где она ошибается.
• Анализ ошибок: Проведи тщательный анализ ошибок, чтобы понять их типы (например, ложноположительные и ложноотрицательные) и их потенциальные причины.
• Предвзятость и справедливость: Проверь, нет ли предвзятости в прогнозах модели. Убедись, что модель одинаково хорошо работает на разных подмножествах данных, особенно если они включают такие чувствительные атрибуты, как раса, пол или возраст.

Testing Your YOLO11 Model

To test your YOLO11 model, you can use the validation mode. It's a straightforward way to understand the model's strengths and areas that need improvement. Also, you'll need to format your test dataset correctly for YOLO11. For more details on how to use the validation mode, check out the Model Validation docs page.

Using YOLO11 to Predict on Multiple Test Images

If you want to test your trained YOLO11 model on multiple images stored in a folder, you can easily do so in one go. Instead of using the validation mode, which is typically used to evaluate model performance on a validation set and provide detailed metrics, you might just want to see predictions on all images in your test set. For this, you can use the prediction mode.

Разница между режимами проверки и предсказания

• Режим валидации: Используется для оценки работы модели путем сравнения предсказаний с известными метками (ground truth). Он позволяет получить такие подробные метрики, как точность, прецизионность, отзыв и F1 score.
• Режим предсказания: Используется для запуска модели на новых, невидимых данных, чтобы сгенерировать предсказания. Он не предоставляет подробных показателей производительности, но позволяет тебе увидеть, как модель работает на реальных изображениях.

Running YOLO11 Predictions Without Custom Training

If you are interested in testing the basic YOLO11 model to understand whether it can be used for your application without custom training, you can use the prediction mode. While the model is pre-trained on datasets like COCO, running predictions on your own dataset can give you a quick sense of how well it might perform in your specific context.

Overfitting and Underfitting in Machine Learning

При тестировании модели машинного обучения, особенно в компьютерном зрении, важно следить за тем, чтобы не допустить переподгонки и недоподгонки. Эти проблемы могут существенно повлиять на то, насколько хорошо твоя модель работает с новыми данными.

Оверфиттинг

Оверфиттинг происходит, когда твоя модель слишком хорошо усваивает обучающие данные, включая шум и детали, которые не обобщаются на новые данные. В компьютерном зрении это означает, что твоя модель может отлично справляться с обучающими изображениями, но с трудом - с новыми.

Признаки чрезмерной подгонки

• High Training Accuracy, Low Validation Accuracy: If your model performs very well on training data but poorly on validation or test data, it's likely overfitting.
• Визуальный осмотр: Иногда можно заметить чрезмерную подгонку, если твоя модель слишком чувствительна к незначительным изменениям или несущественным деталям на изображениях.

Заниженная посадка

Недоподгонка возникает, когда твоя модель не может уловить основные закономерности в данных. В компьютерном зрении недонастроенная модель может даже не распознать правильно объекты на обучающих изображениях.

Признаки недостаточной посадки

• Низкая точность обучения: если твоя модель не может достичь высокой точности на тренировочном наборе, возможно, она недонастраивается.
• Визуальная мисклассификация: Постоянная неспособность распознать очевидные особенности или объекты говорит о недостаточной подгонке.

Баланс между чрезмерной и недостаточной подгонкой

Главное - найти баланс между чрезмерной и недостаточной подгонкой. В идеале модель должна хорошо работать как на обучающих, так и на проверочных наборах данных. Регулярный мониторинг производительности твоей модели с помощью метрик и визуальных проверок, а также применение правильных стратегий помогут тебе добиться наилучших результатов.

Утечка данных в компьютерном зрении и как ее избежать

Во время тестирования твоей модели важно помнить об утечке данных. Утечка данных происходит, когда информация, находящаяся за пределами обучающего набора данных, случайно используется для обучения модели. Модель может казаться очень точной во время обучения, но при утечке данных она не будет хорошо работать на новых, невидимых данных.

Почему происходит утечка данных

Утечку данных бывает непросто обнаружить, и часто она возникает из-за скрытых предубеждений в обучающих данных. Вот несколько распространенных способов, как это может произойти в компьютерном зрении:

• Перекос камеры: различные ракурсы, освещение, тени и движения камеры могут внести нежелательные детали.
• Предвзятость наложения: логотипы, временные метки или другие наложения на изображениях могут ввести модель в заблуждение.
• Предвзятое отношение к шрифтам и объектам: специфические шрифты или объекты, которые часто встречаются в определенных классах, могут исказить результаты обучения модели.
• Spatial Bias: Imbalances in foreground-background, bounding box distributions, and object locations can affect training.
• Label and Domain Bias: Неправильные метки или смещение типов данных могут привести к утечке информации.

Обнаружение утечки данных

Чтобы обнаружить утечку данных, ты можешь:

• Проверь производительность: Если результаты модели на удивление хороши, возможно, она протекает.
• Посмотри на важность характеристик: Если одна характеристика намного важнее других, это может указывать на утечку.
• Визуальная проверка: Дважды проверь, что решения модели имеют интуитивный смысл.
• Проверь разделение данных: Убедись, что данные были правильно разделены перед любой обработкой.

Предотвращение утечки данных

Чтобы предотвратить утечку данных, используй разнообразные наборы данных с изображениями или видео с разных камер и в разных условиях. Внимательно просмотри свои данные и убедись в отсутствии скрытых предубеждений, например, в том, что все положительные образцы были сделаны в определенное время суток. Избежание утечки данных поможет сделать твои модели компьютерного зрения более надежными и эффективными в реальных ситуациях.

Что происходит после тестирования модели

После тестирования твоей модели дальнейшие шаги зависят от результатов. Если твоя модель работает хорошо, ты можешь внедрить ее в реальную среду. Если же результаты неудовлетворительны, то тебе нужно будет внести улучшения. Это может включать в себя анализ ошибок, сбор большего количества данных, улучшение качества данных, корректировку гиперпараметров и переобучение модели.

Присоединяйся к разговору об искусственном интеллекте

Став частью сообщества энтузиастов компьютерного зрения, ты можешь помочь в решении проблем и более эффективном обучении. Вот несколько способов подключиться, обратиться за помощью и поделиться своими мыслями.

Общественные ресурсы

• GitHub Issues: Explore the YOLO11 GitHub repository and use the Issues tab to ask questions, report bugs, and suggest new features. The community and maintainers are very active and ready to help.
• Ultralytics Сервер Discord: Присоединяйся к серверуUltralytics Discord, чтобы общаться с другими пользователями и разработчиками, получать поддержку и делиться своим опытом.

Официальная документация

• Ultralytics YOLO11 Documentation: Check out the official YOLO11 documentation for detailed guides and helpful tips on various computer vision projects.

Эти ресурсы помогут тебе сориентироваться в трудностях и оставаться в курсе последних тенденций и практик в сообществе компьютерного зрения.

В кратком изложении

Building trustworthy computer vision models relies on rigorous model testing. By testing the model with previously unseen data, we can analyze it and spot weaknesses like overfitting and data leakage. Addressing these issues before deployment helps the model perform well in real-world applications. It's important to remember that model testing is just as crucial as model evaluation in guaranteeing the model's long-term success and effectiveness.

ВОПРОСЫ И ОТВЕТЫ

Каковы ключевые различия между оценкой моделей и их тестированием в компьютерном зрении?

Model evaluation and model testing are distinct steps in a computer vision project. Model evaluation involves using a labeled dataset to compute metrics such as accuracy, precision, recall, and F1 score, providing insights into the model's performance with a controlled dataset. Model testing, on the other hand, assesses the model's performance in real-world scenarios by applying it to new, unseen data, ensuring the model's learned behavior aligns with expectations outside the evaluation environment. For a detailed guide, refer to the steps in a computer vision project.

How can I test my Ultralytics YOLO11 model on multiple images?

To test your Ultralytics YOLO11 model on multiple images, you can use the prediction mode. This mode allows you to run the model on new, unseen data to generate predictions without providing detailed metrics. This is ideal for real-world performance testing on larger image sets stored in a folder. For evaluating performance metrics, use the validation mode instead.

Что мне делать, если моя модель компьютерного зрения показывает признаки чрезмерной или недостаточной подгонки?

Чтобы решить проблему чрезмерной подгонки:

• Regularization techniques like dropout.
• Увеличь размер тренировочного набора данных.
• Упрости архитектуру модели.

Чтобы решить проблему недостаточной подгонки:

• Используй более сложную модель.
• Предоставь больше актуальных функций.
• Increase training iterations or epochs.

Пересматривай неправильно классифицированные изображения, проводи тщательный анализ ошибок и регулярно отслеживай показатели производительности, чтобы поддерживать баланс. Чтобы узнать больше об этих понятиях, изучи наш раздел " Overfitting и Underfitting".

Как обнаружить и избежать утечки данных в компьютерном зрении?

Чтобы обнаружить утечку данных:

• Убедись, что производительность тестирования не является необычно высокой.
• Проверь важность характеристик, чтобы получить неожиданные выводы.
• Интуитивно пересматривай решения модели.
• Убедись в правильности разделения данных перед обработкой.

Чтобы избежать утечки данных:

• Используй разнообразные наборы данных с различными средами.
• Внимательно изучи данные на предмет скрытых предубеждений.
• Убедись, что информация между тренировочным и тестовым наборами не пересекается.

Подробные стратегии по предотвращению утечки данных ты найдешь в нашем разделе " Утечка данных в компьютерном зрении".

Какие шаги я должен предпринять после тестирования своей модели компьютерного зрения?

После тестирования, если производительность модели соответствует целям проекта, приступай к развертыванию. Если результаты неудовлетворительны, подумай:

• Анализ ошибок.
• Собирай более разнообразные и качественные данные.
• Hyperparameter tuning.
• Переобучение модели.

Получи информацию из раздела " Тестирование модели против оценки модели". Раздел " Оценка модели " поможет тебе усовершенствовать и повысить эффективность модели в реальных приложениях.

How do I run YOLO11 predictions without custom training?

You can run predictions using the pre-trained YOLO11 model on your dataset to see if it suits your application needs. Utilize the prediction mode to get a quick sense of performance results without diving into custom training.

📅 Created 3 months ago ✏️ Updated 11 days ago

Комментарии