Начать

Рекомендации по оценке и тонкой настройке модели

После обучения модели YOLO следующий шаг — оценить, насколько хорошо она работает, и устранить её недостатки с помощью тонкой настройки. При оценке используются такие метрики, как mAP и IoU, чтобы количественно измерить точность. Тонкая настройка изменяет параметры обучения, помогая усилить слабые стороны модели и достичь цели проекта. В этом руководстве объясняется, какие метрики оценки важны, как их интерпретировать и как использовать полученные результаты.



Смотри: Оценка моделей и тонкая настройка | Советы по повышению средней точности

Оценка и тонкая настройка выполняются ближе к концу рабочего процесса проекта компьютерного зрения, когда обучение уже идёт и нужно убедиться, что модель точна, эффективна и готова к развёртыванию.

Основные метрики оценки#

Качество модели оценивают по разным метрикам. Эти метрики производительности дают чёткие числовые данные, которые помогают улучшить модель и убедиться, что она достигает поставленных целей.

Оценка уверенности#

Оценка уверенности показывает, насколько модель уверена, что обнаруженный объект принадлежит определённому классу. Она принимает значения от 0 до 1: чем выше значение, тем выше уверенность. Оценка уверенности помогает фильтровать предсказания: достоверными считаются только обнаружения, оценка уверенности которых превышает заданный порог.

Нет предсказаний?

Если при инференсе ты не видишь предсказаний и уже проверил всё остальное, попробуй снизить порог уверенности. Иногда порог слишком высок, и модель игнорирует достоверные предсказания. Снижение порога позволяет модели рассматривать больше вариантов. Возможно, такой результат не соответствует целям твоего проекта, но это хороший способ понять возможности модели и решить, как её донастроить.

Пересечение над объединением#

Intersection over Union (IoU) — метрика в задачах обнаружения объектов, которая измеряет степень перекрытия предсказанной ограничивающей рамки с эталонной. Значения IoU находятся в диапазоне от 0 до 1, где 1 означает полное совпадение. IoU важна, поскольку показывает, насколько точно предсказанные границы совпадают с фактическими границами объекта.

Intersection over Union Overview

Средняя точность по всем классам#

Mean Average Precision (mAP) показывает общую эффективность модели обнаружения объектов. Эта метрика учитывает точность обнаружения каждого класса объектов, усредняет полученные значения и выдаёт одно число, показывающее, насколько точно модель распознаёт и классифицирует объекты.

Чаще всего приводят две метрики mAP:

  • mAP50: измеряет среднюю точность при одном пороге IoU 0.5. Эта метрика проверяет, может ли модель правильно находить объекты при менее строгих требованиях к точности. Она показывает, находится ли объект примерно в правильном месте, без требования идеального позиционирования, и помогает оценить, насколько хорошо модель в целом обнаруживает объекты.
  • mAP50-95: усредняет значения mAP, рассчитанные при нескольких порогах IoU от 0.5 до 0.95 с шагом 0.05. Это более подробная и строгая метрика. Она даёт более полное представление о том, насколько точно модель находит объекты при разной степени строгости, и особенно полезна для задач, требующих точного обнаружения объектов.

К другим метрикам mAP относятся mAP75, использующая более строгий порог IoU 0.75, а также APS, APM и APL, оценивающие точность обнаружения малых, средних и крупных объектов.

Three ways to improve mAP: data quality, model optimization, and annotation process

Оценка модели YOLO26#

Оценить обученную модель YOLO26 можно с помощью режима валидации. Подробное описание расчёта и интерпретации каждой метрики смотри в руководстве Метрики производительности YOLO26.

Обработка изображений разных размеров#

Оценка модели на изображениях разных размеров помогает понять, как она работает на различных наборах данных. По умолчанию при валидации используется прямоугольная группировка (rect=True в model.val()): изображения группируются по соотношению сторон, а каждый батч дополняется до прямоугольной формы, поэтому прямоугольные изображения оцениваются без принудительного преобразования в квадрат.

Параметр imgsz задает размер изображения, используемый при валидации. Если не указать его явно, YOLO26 повторно использует значение, сохраненное в настройках модели (640 для официальных предварительно обученных моделей или размер, на котором обучалась пользовательская модель). При rect=True формы входных данных при валидации могут отличаться от predict (см. rect). Настрой imgsz с учетом размеров набора данных и доступной памяти GPU.

Доступ к метрикам YOLO26#

Чтобы подробно оценить качество модели, можно получить конкретные метрики несколькими строками кода на Python. Приведённый ниже фрагмент загружает модель, запускает валидацию и выводит наиболее полезные метрики.

Использование
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")

# Запусти валидацию на своём датасете
results = model.val(data="coco8.yaml")

# Общие метрики
print("mAP50-95:", results.box.map)  # mAP при IoU 0.50:0.95
print("mAP50:", results.box.map50)  # mAP при IoU 0.50
print("mAP75:", results.box.map75)  # mAP при IoU 0.75
print("Mean precision:", results.box.mp)
print("Mean recall:", results.box.mr)
print("Fitness:", results.box.fitness())  # взвешенная оценка для выбора модели

# Метрики по классам
print("Class indices evaluated:", results.box.ap_class_index)
print("Per-class mAP50-95:", results.box.maps)  # Для классов, отсутствующих в валидационной выборке, используется общее значение mAP

# Точность, полнота, F1, TP, FP и FN для каждого изображения
print("Per-image metrics:", results.box.image_metrics)

# Разбивка времени по этапам в миллисекундах на изображение
print("Timing breakdown (ms/image):", results.speed)

Обрати внимание: fitness() — это метод, и его нужно вызывать со скобками, а такие метрики, как map, map50 и mp, — свойства, к которым обращаются напрямую.

Атрибут results.box.image_metrics — это словарь для каждого изображения, где ключом служит путь к изображению относительно общего каталога изображений, а для каждого изображения хранятся precision, recall, f1, tp, fp и fn при IoU 0.5. Время предобработки, инференса, вычисления функции потерь и постобработки указывается отдельно в словаре results.speed. Вместе эти данные позволяют определить, с какими изображениями модель справляется хуже, и соответствующим образом её донастроить.

Дообучение модели#

Тонкая настройка — это адаптация параметров предварительно обученной модели для повышения эффективности на конкретной задаче или наборе данных. Этот процесс также называют дообучением модели: он помогает модели лучше понимать данные и предсказывать результаты, с которыми она столкнётся в реальных приложениях. Ориентируясь на результаты оценки, ты дообучаешь модель на собственных данных, меняя аргументы обучения, описанные в руководстве по тонкой настройке.

Разбиение изображений на фрагменты для обнаружения мелких объектов#

Тайлинг изображений может повысить точность обнаружения маленьких объектов. Разделяя большие изображения на сегменты поменьше, например разбивая изображения размером 1280x1280 на несколько сегментов 640x640, ты сохраняешь исходное разрешение и позволяешь модели обучаться на фрагментах высокого разрешения. Используй tile=True для тайлинга изображений высокого разрешения при обучении, валидации и предсказании. При обучении аннотации обрезаются по границам каждого тайла, а при валидации и предсказании результаты по тайлам объединяются в результаты для изображения целиком.

Заключение#

Оценка и дообучение превращают обученную модель в надёжную модель, готовую к развёртыванию: такие метрики, как mAP и IoU, выявляют слабые места, а целенаправленная корректировка параметров помогает их устранить. Начни с режима валидации, чтобы оценить качество работы модели, затем переобучи её с аргументами из руководства по дообучению и продолжай экспериментировать с новыми параметрами, методами и наборами данных. Если по ходу работы возникнут вопросы, задай их сообществу в репозитории Ultralytics на GitHub или на сервере Ultralytics в Discord.

Часто задаваемые вопросы#

  • Для оценки производительности модели YOLO26 важны такие метрики, как уверенность, пересечение над объединением (IoU) и средняя точность (mAP). Уверенность показывает, насколько модель уверена в классе каждого обнаруженного объекта. IoU оценивает, насколько предсказанная рамка совпадает с эталонной. Средняя точность (mAP) объединяет показатели точности по классам; два распространённых варианта — mAP50 и mAP50-95 с разными порогами IoU. Подробнее об этих метриках читай в руководстве по метрикам производительности YOLO26.

  • Тонкая настройка предобученной модели YOLO26 заключается в изменении её параметров для повышения производительности на конкретной задаче или наборе данных. Сначала оцени модель с помощью метрик, затем дообучи её на собственном наборе данных, используя предобученные веса. При оценке такие параметры, как rect=True, помогают эффективно работать с изображениями разных размеров.

  • Чтобы работать с изображениями разных размеров при оценке, используй валидацию с прямоугольными изображениями (rect=True, значение по умолчанию для model.val()): она группирует изображения по соотношению сторон и дополняет каждый пакет, а не приводит все изображения к квадрату. Параметр imgsz задаёт размер изображения для валидации; если не переопределить его, YOLO26 использует сохранённое значение модели (640 для официальных предварительно обученных моделей). Подбери значение imgsz с учётом набора данных и объёма памяти GPU. Подробнее см. в разделе о работе с изображениями разных размеров.

  • Чтобы повысить среднюю точность (mAP) модели YOLO26, выполни несколько шагов:

    1. Настройка гиперпараметров: экспериментируй с разными скоростями обучения, размерами пакета и аугментациями изображений.
    2. Аугментация данных: Используй такие методы, как Mosaic и MixUp, чтобы создавать разнообразные обучающие примеры.
    3. Разбиение изображений на фрагменты: Разделяй большие изображения на небольшие фрагменты, чтобы повысить точность обнаружения мелких объектов.

    Аргументы обучения для шагов 1 и 2 описаны в руководстве по дообучению, а шаг 3 — в разделе о разбиении изображений на фрагменты.

  • После запуска валидации получить доступ к метрикам оценки модели YOLO26 можно с помощью Python:

    Использование
    from ultralytics import YOLO
    
    # Загрузить модель
    model = YOLO("yolo26n.pt")
    
    # Запусти валидацию
    results = model.val(data="coco8.yaml")
    
    # Получи доступ к основным метрикам
    print("Mean average precision at IoU=0.50:", results.box.map50)
    print("Mean average precision at IoU=0.50:0.95:", results.box.map)
    print("Mean recall:", results.box.mr)
    print("Class indices evaluated:", results.box.ap_class_index)

    Анализ этих метрик поможет тебе дообучить и оптимизировать модель YOLO26. Подробнее читай в нашем руководстве по метрикам качества YOLO.

Комментарии2

Задай вопрос, поделись результатами или помоги кому-нибудь.

    1. Glenn JocherUltralytics

      @ILIAHHne63 to load a pretrained backbone while leaving the head unpretrained in YOLOv10, you can initialize the model with the pretrained weights and then manually reset the head layers. This allows you to retain the pretrained features of the backbone while training the head from scratch. For detailed steps, refer to the model fine-tuning section in our documentation. If you encounter any issues, ensure you're using the latest version of the package.