Link to this sectionГлубокое погружение в показатели производительности#

Link to this sectionВведение#

Показатели производительности — это ключевые инструменты для оценки точности и эффективности моделей обнаружения объектов. Они проливают свет на то, насколько эффективно модель может определять и локализовать объекты на изображениях. Кроме того, они помогают понять, как модель справляется с ложноположительными и ложноотрицательными результатами. Эти выводы критически важны для оценки и улучшения работы модели. В этом руководстве мы изучим различные показатели производительности, связанные с YOLO26, их значимость и то, как их интерпретировать.

Link to this sectionПоказатели обнаружения объектов#

Давай начнем с обсуждения некоторых показателей, которые важны не только для YOLO26, но и широко применимы к различным моделям обнаружения объектов.

• Intersection over Union (IoU): IoU — это метрика, которая количественно определяет перекрытие между предсказанной рамкой ограничивающего прямоугольника и эталонной рамкой. Она играет фундаментальную роль в оценке точности локализации объектов.

• Average Precision (AP): AP вычисляет площадь под кривой «точность-полнота» (precision-recall curve), предоставляя единое значение, которое обобщает показатели точности и полноты модели.

• Mean Average Precision (mAP): mAP расширяет концепцию AP, вычисляя средние значения AP по нескольким классам объектов. Это полезно в сценариях многоклассового обнаружения объектов для комплексной оценки производительности модели.

• Precision и Recall: Precision (точность) количественно определяет долю истинно положительных результатов среди всех положительных предсказаний, оценивая способность модели избегать ложноположительных результатов. С другой стороны, Recall (полнота) вычисляет долю истинно положительных результатов среди всех фактически положительных, измеряя способность модели обнаруживать все экземпляры класса.

• F1 Score: F1 Score — это гармоническое среднее точности и полноты, обеспечивающее сбалансированную оценку производительности модели с учетом как ложноположительных, так и ложноотрицательных результатов.

Link to this sectionКак вычислить показатели для модели YOLO26#

Теперь мы можем изучить режим валидации YOLO26, который можно использовать для вычисления вышеупомянутых метрик оценки.

Использовать режим валидации просто. Как только у тебя будет обученная модель, ты сможешь вызвать функцию model.val(). Эта функция обработает набор данных для валидации и вернет множество показателей производительности. Но что означают эти показатели? И как тебе следует их интерпретировать?

Link to this sectionИнтерпретация вывода#

Давай разберем вывод функции model.val() и поймем каждый сегмент этого вывода.

Link to this sectionПоказатели по классам#

Одним из разделов вывода является поклассовая разбивка показателей производительности. Эта детальная информация полезна, когда ты пытаешься понять, насколько хорошо модель работает для каждого конкретного класса, особенно в наборах данных с разнообразным диапазоном категорий объектов. Для каждого класса в наборе данных предоставляется следующее:

• Class: Обозначает название класса объекта, например, "person" (человек), "car" (автомобиль) или "dog" (собака).

• Images: Этот показатель сообщает количество изображений в наборе для валидации, которые содержат данный класс объекта.

• Instances: Предоставляет счетчик того, сколько раз класс появляется на всех изображениях в наборе для валидации.

• Box(P, R, mAP50, mAP50-95): Этот показатель дает представление о производительности модели при обнаружении объектов:

  • P (Precision): Точность обнаруженных объектов, указывающая на то, сколько обнаружений было верными.

  • R (Recall): Способность модели идентифицировать все экземпляры объектов на изображениях.

  • mAP50: Mean Average Precision, вычисленный при пороге IoU 0.50. Это мера точности модели, учитывающая только «простые» обнаружения.

  • mAP50-95: Среднее значение Mean Average Precision, вычисленное при различных порогах IoU, от 0.50 до 0.95. Это дает полное представление о производительности модели на разных уровнях сложности обнаружения.

Link to this sectionПоказатели скорости#

Скорость вывода (inference) может быть не менее важной, чем точность, особенно в сценариях обнаружения объектов в реальном времени. В этом разделе приводится время, затраченное на различные этапы процесса валидации, от предварительной обработки до постобработки.

Link to this sectionОценка по показателям COCO#

Для пользователей, проводящих валидацию на наборе данных COCO, дополнительные показатели вычисляются с помощью скрипта оценки COCO. Эти метрики дают представление о точности и полноте при различных порогах IoU и для объектов разных размеров.

Link to this sectionВизуальные результаты#

Функция model.val() помимо создания числовых метрик также выдает визуальные результаты, которые могут обеспечить более интуитивное понимание работы модели. Вот разбивка визуальных выходов, которые ты можешь ожидать:

• Кривая F1-меры (BoxF1_curve.png): Эта кривая отображает F1-меру при различных порогах. Интерпретация этой кривой дает представление о балансе модели между ложноположительными и ложноотрицательными результатами при разных пороговых значениях.

• Кривая Precision-Recall (BoxPR_curve.png): Важная визуализация для любой задачи классификации, демонстрирующая компромисс между точностью (precision) и полнотой при различных порогах. Это становится особенно значимым при работе с несбалансированными классами.

• Кривая точности (BoxP_curve.png): Графическое представление значений точности при различных порогах. Эта кривая помогает понять, как меняется точность при изменении порога.

• Кривая полноты (BoxR_curve.png): Соответственно, этот график иллюстрирует, как значения полноты меняются при различных порогах.

• Матрица ошибок (confusion_matrix.png): Матрица ошибок дает детальный обзор результатов, показывая количество истинно положительных, истинно отрицательных, ложноположительных и ложноотрицательных результатов для каждого класса.

• Нормализованная матрица ошибок (confusion_matrix_normalized.png): Эта визуализация является нормализованной версией матрицы ошибок. Она представляет данные в пропорциях, а не в абсолютных значениях. Такой формат упрощает сравнение производительности по классам.

• Метки валидационного батча (val_batchX_labels.jpg): Эти изображения отображают эталонные метки для отдельных батчей из набора данных валидации. Они дают четкое представление о том, что представляют собой объекты и каковы их соответствующие расположения согласно набору данных.

• Предсказания валидационного батча (val_batchX_pred.jpg): В отличие от изображений с метками, эти визуальные материалы отображают предсказания, сделанные моделью YOLO26 для соответствующих батчей. Сравнивая их с изображениями меток, ты сможешь легко оценить, насколько хорошо модель обнаруживает и классифицирует объекты визуально.

Для задач детектирования, сегментации и оценки позы графики кривых имеют префикс в зависимости от типа метрики: при детектировании записываются кривые Box*, при сегментации — как Box*, так и Mask*, а при оценке позы — как Box*, так и Pose*.

Link to this sectionХранение результатов#

Для будущего обращения результаты сохраняются в директорию, обычно именуемую runs/detect/val.

Link to this sectionВыбор правильных метрик#

Выбор правильных метрик для оценки часто зависит от конкретного приложения.

• mAP: Подходит для общей оценки производительности модели.

• IoU: Необходим, когда критически важно точное расположение объекта.

• Precision (Точность): Важна, когда приоритетом является минимизация ложных обнаружений.

• Recall (Полнота): Жизненно важна, когда важно обнаружить каждый экземпляр объекта.

• F1 Score: Полезен, когда нужен баланс между точностью и полнотой.

Для приложений реального времени показатели скорости, такие как FPS (кадров в секунду) и задержка, критически важны для обеспечения своевременных результатов.

Link to this sectionИнтерпретация результатов#

Важно понимать метрики. Вот что могут означать некоторые из часто наблюдаемых низких показателей:

• Низкий mAP: Указывает на то, что модели могут потребоваться общие доработки.

• Низкий IoU: Модель может испытывать трудности с точным определением местоположения объектов. Могут помочь другие методы построения ограничивающих рамок.

• Низкая точность (Precision): Модель может обнаруживать слишком много несуществующих объектов. Настройка порогов уверенности может помочь уменьшить это.

• Низкая полнота (Recall): Модель может пропускать реальные объекты. Улучшение извлечения признаков или использование большего количества данных может помочь.

• Несбалансированный F1 Score: Существует разрыв между точностью и полнотой.

• AP для конкретных классов: Низкие баллы здесь могут выделить классы, с которыми модель испытывает трудности.

Link to this sectionПримеры использования#

Примеры из реальной жизни могут помочь прояснить, как эти метрики работают на практике.

Link to this sectionСлучай 1#

• Ситуация: mAP и F1 Score неоптимальны, но хотя Recall (полнота) хороший, Precision (точность) — нет.

• Интерпретация и действия: Может быть слишком много неверных обнаружений. Ужесточение порогов уверенности может сократить их количество, хотя это может также немного снизить полноту.

Link to this sectionСлучай 2#

• Ситуация: mAP и Recall (полнота) приемлемы, но IoU оставляет желать лучшего.

• Интерпретация и действия: Модель хорошо обнаруживает объекты, но, возможно, не локализует их точно. Улучшение предсказаний ограничивающих рамок может помочь.

Link to this sectionСлучай 3#

• Ситуация: У некоторых классов AP намного ниже, чем у других, даже при достойном общем mAP.

• Интерпретация и действия: Эти классы могут быть более сложными для модели. Использование большего количества данных для этих классов или настройка весов классов во время обучения могут быть полезными.

Link to this sectionОбщайся и сотрудничай#

Присоединение к сообществу энтузиастов и экспертов может усилить твой путь с YOLO26. Вот несколько направлений, которые могут способствовать обучению, устранению неполадок и налаживанию связей.

Link to this sectionВзаимодействуй с широким сообществом#

• GitHub Issues: В репозитории YOLO26 на GitHub есть вкладка Issues, где ты можешь задавать вопросы, сообщать об ошибках и предлагать новые функции. Сообщество и разработчики здесь очень активны, и это отличное место для получения помощи с конкретными проблемами.

• Сервер Ultralytics в Discord: У Ultralytics есть сервер в Discord, где ты можешь пообщаться с другими пользователями и разработчиками.

Link to this sectionОфициальная документация и ресурсы:#

• Документация Ultralytics YOLO26: Официальная документация содержит всесторонний обзор YOLO26, а также руководства по установке, использованию и устранению неполадок.

Использование этих ресурсов не только поможет тебе преодолеть любые трудности, но и позволит быть в курсе последних тенденций и передовых методов в сообществе YOLO26.

Link to this sectionЗаключение#

В этом руководстве мы внимательно рассмотрели основные показатели производительности для YOLO26. Эти метрики являются ключом к пониманию того, насколько хорошо работает модель, и жизненно важны для всех, кто стремится к тонкой настройке своих моделей. Они предлагают необходимую информацию для улучшений и гарантию того, что модель работает эффективно в ситуациях реальной жизни.

Помни, что сообщество YOLO26 и Ultralytics — это неоценимый актив. Взаимодействие с коллегами-разработчиками и экспертами может открыть двери к знаниям и решениям, не описанным в стандартной документации. Продолжая свой путь в обнаружении объектов, сохраняй дух обучения, экспериментируй с новыми стратегиями и делись своими результатами. Делая это, ты вносишь вклад в коллективную мудрость сообщества и обеспечиваешь его рост.

Link to this sectionFAQ#

Link to this sectionВ чем значимость Mean Average Precision (mAP) при оценке производительности модели YOLO26?#

Mean Average Precision (mAP) крайне важен для оценки моделей YOLO26, так как он предоставляет единую метрику, обобщающую точность и полноту по нескольким классам. mAP@0.50 измеряет точность при пороге IoU 0.50, фокусируясь на способности модели правильно обнаруживать объекты. mAP@0.50:0.95 усредняет точность по диапазону порогов IoU, предлагая комплексную оценку производительности обнаружения. Высокие баллы mAP указывают на то, что модель эффективно балансирует точность и полноту, что необходимо для таких приложений, как автономное вождение и системы наблюдения, где важны как точное обнаружение, так и минимальное количество ложных тревог.

Link to this sectionКак интерпретировать значение Intersection over Union (IoU) для обнаружения объектов YOLO26?#

Intersection over Union (IoU) измеряет перекрытие между предсказанными и эталонными ограничивающими рамками. Значения IoU варьируются от 0 до 1, где более высокие значения указывают на лучшую точность локализации. IoU 1.0 означает идеальное совпадение. Обычно порог IoU 0.50 используется для определения истинно положительных результатов в метриках, таких как mAP. Более низкие значения IoU предполагают, что модель испытывает трудности с точной локализацией объектов, что можно улучшить путем уточнения регрессии ограничивающих рамок или повышения точности аннотирования в твоем наборе данных для обучения.

Link to this sectionПочему F1 Score важен для оценки моделей YOLO26 при обнаружении объектов?#

F1 Score важен для оценки моделей YOLO26, потому что он предоставляет гармоническое среднее точности и полноты, балансируя как ложноположительные, так и ложноотрицательные результаты. Он особенно ценен при работе с несбалансированными наборами данных или в приложениях, где одной только точности или полноты недостаточно. Высокий F1 Score указывает на то, что модель эффективно обнаруживает объекты, минимизируя как пропущенные обнаружения, так и ложные тревоги, что делает ее подходящей для критически важных приложений, таких как системы безопасности и медицинская визуализация.

Link to this sectionКаковы ключевые преимущества использования Ultralytics YOLO26 для обнаружения объектов в реальном времени?#

Ultralytics YOLO26 предлагает множество преимуществ для обнаружения объектов в реальном времени:

• Скорость и эффективность: Оптимизирована для высокоскоростного вывода, подходит для приложений, требующих низкой задержки.
• Высокая точность: Продвинутый алгоритм обеспечивает высокие показатели mAP и IoU, балансируя точность и полноту.
• Гибкость: Поддерживает различные задачи, включая обнаружение объектов, сегментацию экземпляров, семантическую сегментацию и классификацию.
• Простота использования: Дружественные к пользователю интерфейсы, обширная документация и бесшовная интеграция с инструментами, такими как Ultralytics Platform (быстрый старт платформы).

Это делает YOLO26 идеальной для разнообразных приложений, от автономных транспортных средств до решений для умного города.

Link to this sectionКак показатели валидации из YOLO26 могут помочь улучшить производительность модели?#

Показатели валидации из YOLO26, такие как точность, полнота, mAP и IoU, помогают диагностировать и улучшать производительность модели, предоставляя выводы по различным аспектам обнаружения:

• Precision (Точность): Помогает идентифицировать и минимизировать ложноположительные результаты.
• Recall (Полнота): Гарантирует, что все релевантные объекты обнаружены.
• mAP: Предлагает общий снимок производительности, направляя к общим улучшениям.
• IoU: Помогает уточнить точность локализации объектов.

Анализируя эти показатели, можно устранять конкретные слабые места, такие как корректировка порогов уверенности для улучшения точности или сбор более разнообразных данных для повышения полноты. Для подробных объяснений этих показателей и того, как их интерпретировать, ознакомься с разделом Показатели обнаружения объектов и рассмотри возможность внедрения настройки гиперпараметров для оптимизации своей модели.