Начать

Валидация моделей с Ultralytics YOLO

Ultralytics YOLO ecosystem and integrations

Введение#

Проверка — важный этап конвейера машинного обучения, который позволяет оценить качество обученных моделей. Режим Val в Ultralytics YOLO26 предоставляет инструменты и метрики для оценки моделей обнаружения объектов и всех остальных поддерживаемых задач. В этом руководстве объясняется, как использовать режим Val, чтобы убедиться в точности и надёжности моделей.

Предварительные результаты валидации см. в предварительном обзоре ещё не выпущенной YOLO27.



Смотри: Руководство по режимам Ultralytics: валидация

Зачем проводить валидацию с Ultralytics YOLO?#

Причины использовать режим Val в YOLO26:

  • Точность: оценивай модель по точным метрикам, таким как mAP50, mAP75 и mAP50-95.
  • Удобство: Используй встроенные функции, которые запоминают настройки обучения и упрощают процесс проверки.
  • Гибкость: Валидируй модель на тех же или других наборах данных и изображениях другого размера.
  • Настройка гиперпараметров: Используй метрики валидации для точной настройки модели и повышения её производительности.

Ключевые возможности режима Val#

Ключевые возможности режима Val в YOLO26:

  • Автоматические настройки: Модели запоминают конфигурации обучения, что упрощает валидацию.
  • Поддержка множества метрик: Оценивай модель с помощью различных метрик точности.
  • CLI и Python API: Выполняй проверку через интерфейс командной строки или Python API — как тебе удобнее.
  • Совместимость с данными: Работает как с наборами данных, использованными при обучении, так и с пользовательскими наборами данных.
Совет
  • Модели YOLO26 автоматически запоминают настройки обучения, поэтому yolo val model=path/to/best.pt или YOLO("path/to/best.pt").val() выполняет валидацию с размером изображения, использовавшимся при обучении, на исходном наборе данных. Для официальных весов используется набор данных по умолчанию для соответствующей задачи; передай data, чтобы переопределить его.

Примеры использования#

Проверь точность обученной модели YOLO26n. Аргументы указывать не нужно: model сохраняет настройки обучения data и аргументы в атрибутах модели, поэтому path/to/best.pt проверяет модель на наборе данных, на котором она обучалась. В официальных весах записан путь к обучающему набору данных, которого нет на твоём компьютере, поэтому при предупреждении используется стандартный набор данных для этой задачи — coco8.yaml. Чтобы проверить модель на другом наборе данных, передай data.

Ошибка многопроцессорной обработки в Windows

В Windows при запуске валидации в виде скрипта может появиться RuntimeError. Чтобы устранить эту проблему, добавь блок if __name__ == "__main__": перед кодом валидации.

Пример
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")  # загрузить официальную модель
model = YOLO("path/to/best.pt")  # загрузить пользовательскую модель

# Валидировать модель
metrics = model.val()  # аргументы не нужны, набор данных и настройки сохранены
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # mAP50-95 для каждого класса; для классов, отсутствующих в валидационной выборке, используется общее значение mAP
metrics.box.ap_class_index  # Индексы классов, которые фактически оценивались
metrics.box.image_metrics  # словарь метрик для каждого изображения: precision, recall, F1, TP, FP и FN

Аргументы для валидации модели YOLO#

При проверке моделей YOLO можно изменить несколько аргументов, чтобы настроить процесс оценки. Эти аргументы управляют такими параметрами, как размер входного изображения, обработка пакетов и пороговые значения производительности. Ниже описан каждый аргумент.

АргументТипПо умолчаниюОписание
datastrNoneЗадаёт путь к YAML-файлу датасета (например, coco8.yaml), в котором должен быть указан путь к валидационным данным. Для классификации вместо этого указывается каталог датасета или встроенное имя датасета (например, imagenet10).
imgszint640Задаёт размер входных изображений. Перед обработкой все изображения приводятся к этому размеру. Большие размеры могут повысить точность для мелких объектов, но увеличивают время вычислений.
batchint16Задаёт количество изображений в пакете. Большие значения позволяют эффективнее использовать память GPU, но требуют больше VRAM. Выбирай значение с учётом доступных аппаратных ресурсов.
tilebool или intFalseЗапускает инференс с фиксированными тайлами и оценивает объединённые результаты по аннотациям исходного изображения целиком. True использует imgsz; положительное целое число задаёт размер тайла. Подробнее: Тайлинг изображений высокого разрешения.
save_jsonboolFalseЕсли True, сохраняет результаты в файл JSON для дальнейшего анализа, интеграции с другими инструментами или отправки на серверы оценки, например COCO. На наборах данных для обнаружения объектов он также оценивает предсказания с помощью faster-coco-eval и сообщает mAP для малых, средних и крупных объектов; во время обучения эти значения записываются как metrics/mAP_small(B), metrics/mAP_medium(B) и metrics/mAP_large(B) в results.csv. Для семантической сегментации вместо этого сохраняются PNG-маски классов в results/ с сохранением подкаталогов изображений.
conffloat0.001Задаёт минимальный порог уверенности для детекций. Низкие значения повышают полноту, но могут привести к большему количеству ложноположительных результатов. Кривые «точность–полнота», mAP и матрицы ошибок детекции используют это значение; более высокий conf, например 0.25, даёт матрицу, более близкую к выходу предсказания, но может снизить mAP. Итоговые показатели точности и полноты используют порог уверенности с максимальным F1, поэтому они могут отличаться от значений, рассчитанных по confusion_matrix.png. Для валидации OBB по умолчанию используется 0.01, чтобы снизить расход памяти.
ioufloat0.7Задаёт порог пересечения над объединением для подавления немаксимумов. Управляет удалением дублирующих детекций.
max_detint300Ограничивает максимальное количество обнаружений на изображение. Для detect, segment, pose и OBB значение 300 повышается до наибольшего количества размеченных объектов в проверяемой части датасета, если оно превышено на каком-либо изображении; выводится предупреждение. Любое другое значение сохраняется, при этом выводится предупреждение о возможном ограничении полноты, если на изображении превышен лимит.
quantizeint или strNoneТочность валидации: 16/"fp16" и 32/"fp32"/unset задают вычисления в FP16 или FP32 для моделей PyTorch и TorchScript (FP32 на CPU); для других форматов точность определяется артефактом модели и средой выполнения. На 16 OpenVINO по-прежнему округляет входные данные до FP16 на клиенте, а затем расширяет их обратно до FP32, не меняя точность среды выполнения. Квантование INT8/PTQ настраивается при экспорте, а затем применяется при валидации экспортированной модели. Заменяет устаревший флаг half.
devicestrNoneЗадаёт устройство для валидации (cpu, cuda:0, npu, npu:0 и т. д.). Если указано None, автоматически выбирается лучшее доступное устройство. Можно указать несколько устройств CUDA, разделив их запятыми. Модели OpenVINO и LiteRT запускаются с xpu и npu на GPU и NPU Intel; см. устройства для инференса, поддерживаемые каждым форматом.
dnnboolFalseЕсли True, использует модуль DNN OpenCV для инференса ONNX-модели — альтернативу методам инференса PyTorch.
plotsboolTrueЕсли установлено значение True, создаёт и сохраняет графики предсказаний и эталонных данных, матрицы ошибок и PR-кривые для визуальной оценки производительности модели.
classeslist[int]NoneЗадаёт список ID классов для оценки. Полезно, если при оценке нужно отфильтровать классы и сосредоточиться только на некоторых из них.
rectboolTrueЕсли True, группирует изображения с похожим соотношением сторон в батчи прямоугольной формы. Перед округлением каждого измерения вверх до кратного stride добавляет половину stride (для semantic дополнительная половина stride не добавляется). При stride 32 изображение размером 640×640 с imgsz=640 становится изображением 672×672 со смещением 16 px, тогда как predict использует размер 640×640, поэтому метрики могут различаться. rect=False дает такие же результаты, как predict, для квадратных изображений. Не применяется к depth и RT-DETR: они растягивают изображения до квадрата imgsz.
splitstr'val'Определяет часть датасета, используемую для валидации (val, test или train). Позволяет выбрать сегмент данных для оценки производительности.
fractionfloat, int или list1.0Подмножество проверяемой части датасета. Для списка [train, val, test] применяется элемент, соответствующий split (1 = вся часть датасета, целые числа больше 1 = количество изображений; для пропущенных элементов используется вся часть). Скалярное значение применяется только к split=train; тогда val и test используют всю часть датасета.
projectstrNoneНазвание каталога проекта, в котором сохраняются результаты валидации. Относительный путь указывается относительно runs_dir/<task>, а абсолютный используется без изменений.
namestrNoneИмя запуска валидации. Используется для создания подкаталога в папке проекта, где хранятся журналы и результаты валидации.
verboseboolTrueЕсли True, показывает подробную информацию о процессе валидации, включая метрики по классам, прогресс обработки пакетов и дополнительные сведения для отладки.
save_txtboolFalseЕсли True, сохраняет результаты детекции в текстовые файлы — по одному файлу на изображение. Полезно для дальнейшего анализа, пользовательской постобработки или интеграции с другими системами.
save_confboolFalseЕсли True, добавляет значения уверенности в сохраняемые текстовые файлы, когда включён параметр save_txt, предоставляя больше данных для анализа и фильтрации.
workersint8Количество рабочих потоков для загрузки данных. Большие значения могут ускорить предобработку данных, но повышают нагрузку на CPU. Значение 0 использует основной поток и может быть стабильнее в некоторых средах.
augmentboolFalseВключает аугментацию во время тестирования (TTA) при валидации. Инференс на преобразованных версиях входных данных может повысить точность детекции, но замедляет работу. Доступно только для моделей Ultralytics на PyTorch.
agnostic_nmsboolFalseВключает подавление немаксимумов без учёта классов, отфильтровывая перекрывающиеся рамки с более низкой оценкой независимо от предсказанного класса. Полезно для приложений, ориентированных на экземпляры. При инференсе без NMS (nms=False в YOLO26 или YOLOv10) это предотвращает только появление одного и того же обнаружения с несколькими метками классов (дубликаты с IoU=1.0) и не подавляет разные рамки на основе порога IoU.
single_clsboolFalseВо время валидации рассматривает все классы как один класс. Полезно для оценки модели в задачах бинарной детекции или когда различия между классами не важны.
visualizeboolFalseВизуализирует эталонные объекты, истинно-положительные, ложноположительные и ложноотрицательные результаты для каждого изображения. Полезно для отладки и интерпретации модели.
show_labelsboolTrueПоказывает метки классов на визуализациях валидации, если включён параметр visualize=True. Укажи False, чтобы нагляднее отображались совпадения и ошибки.
show_confboolTrueПоказывает оценки уверенности на визуализациях валидации, если включён параметр visualize=True. Укажи False, чтобы нагляднее отображались совпадения и ошибки.
compilebool или strFalseВключает компиляцию графа torch.compile в PyTorch 2.x с помощью backend='inductor'. Принимает значения True → "default", False → отключение или строковый режим, например "default", "reduce-overhead", "max-autotune-no-cudagraphs". Если режим не поддерживается, выполняется откат к eager-режиму с предупреждением.
channels_lastboolNoneИспользует формат памяти channels_last (NHWC) для нативной валидации PyTorch. None автоматически включает его на процессорах x86 с oneDNN в Linux и Windows при PyTorch 1.13 или новее, False отключает его, а True запрашивает его на поддерживаемых процессорах x86 или устройствах CUDA. Для ARM64, MPS, более старых версий PyTorch, процессоров без oneDNN и экспортированных форматов ничего не меняется; при валидации во время обучения сохраняется формат модели, используемый для обучения.
nmsbool, необязательноNoneПо умолчанию выполняет инференс по схеме «один ко многим» с NMS (None или True). Укажи False, чтобы использовать голову «один к одному» без NMS, если она доступна. Подробности см. в руководстве по сквозной детекции.

Настрой эти параметры с учётом своих потребностей и доступных ресурсов, чтобы найти подходящий баланс между точностью и скоростью оценки.

Геометрия прямоугольной валидации (rect)#

При проверке статических экспортированных моделей используется записанная форма входных данных (height, width), в том числе для экспорта с непропорциональными сторонами. Например, для YOLO("yolo26n.onnx").val(data="coco8.yaml") используются входные данные с формой 384×640, если модель была экспортирована с imgsz=(384, 640).

Для обнаружения объектов, сегментации экземпляров, оценки позы и OBB прямоугольная валидация (rect=True) округляет каждый размер пакета вверх с шагом ceil(shape * imgsz / stride + 0.5) * stride, где shape — нормализованная высота или ширина изображения в пакете. Полученный отступ распределяется поровну между противоположными сторонами. Например, квадратное изображение размером 640×640, валидируемое при imgsz=640 с шагом 32, использует вход размером 672×672 с отступом 16 px с каждой стороны, а predict() использует размер 640×640 без отступов.

Это различие может повлиять на метрики валидации. Для квадратных входных данных, размеры которых кратны шагу, model.val(rect=False) соответствует геометрии predict() и экспорта с фиксированным квадратным размером. Во время обучения эти задачи YOLO используют прямоугольные пакеты для валидации независимо от настройки обучения rect, поэтому model.train(rect=False) по-прежнему выбирает best.pt при прямоугольной валидации. Для других задач поведение отличается: семантическая сегментация не добавляет дополнительный отступ при валидации, для оценки глубины прямоугольная валидация отключена, классификация игнорирует rect, а RT-DETR использует собственный построитель набора данных с rect=False.

Пример валидации с аргументами#



Смотри: Как экспортировать результаты валидации модели в CSV, JSON, SQL, DataFrame Polars и другие форматы

Explore model validation and different export methods in Google Colab

В примерах ниже показана проверка моделей YOLO с пользовательскими аргументами в Python и CLI.

Пример
from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")

# Настроить параметры валидации
metrics = model.val(data="coco8.yaml", imgsz=640, batch=16, conf=0.25, iou=0.7, device="0")
Экспортировать ConfusionMatrix

Результаты матрицы ошибок также можно экспортировать в разных форматах, например в виде DataFrame:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

results = model.val(data="coco8.yaml", plots=True)
print(results.confusion_matrix.to_df())
Precision, recall и F1 для каждого изображения

При валидации для каждого изображения сохраняются метрики точности, полноты, F1, TP, FP и FN (при пороге IoU 0.5). После завершения валидации получи к ним доступ через results.box.image_metrics для детекции и OBB, results.seg.image_metrics для сегментации и results.pose.image_metrics для поз.

from ultralytics import YOLO

# Загрузить модель
model = YOLO("yolo26n.pt")

# Валидировать модель и получить метрики для каждого изображения
results = model.val(data="coco8.yaml")

# Ключи — это пути относительно общего каталога изображений, например 'image1.jpg' или 'a/image1.jpg'.
print(results.box.image_metrics)
# Output: {'image1.jpg': {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}, ...}

# Получить метрики для конкретного изображения
results.box.image_metrics["image1.jpg"]  # {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}

Каждая запись в image_metrics содержит следующие ключи:

КлючОписание
precisionОценка precision для изображения (tp / (tp + fp)).
recallОценка recall для изображения (tp / (tp + fn)).
f1Гармоническое среднее precision и recall.
tpКоличество истинно положительных результатов для изображения.
fpКоличество ложноположительных результатов для изображения.
fnКоличество ложноотрицательных результатов для изображения.

Эта функция доступна для задач детекции, сегментации, поз и OBB.

Возвращаемый объект метрик также предоставляет вспомогательные функции экспорта из DataExportMixin для последующего анализа:

МетодТип возвращаемого значенияОписание
summary()List[Dict[str, Any]]Возвращает результаты валидации в виде списка словарей, по одному на строку.
to_df()DataFrameВозвращает результаты валидации в виде структурированного DataFrame Polars.
to_csv()strЭкспортирует результаты валидации в формате CSV и возвращает строку CSV.
to_json()strЭкспортирует результаты валидации в формате JSON и возвращает строку JSON.

Для задач детекции, сегментации, семантической сегментации, оценки позы и OBB возвращается по одной строке на каждый класс в метках валидационной выборки, поэтому to_csv() и to_json() содержат метрики по классам:

ЗадачаСтолбцы по классам
детекцияClass, Images, Instances, Box-P, Box-R, Box-F1, mAP50, mAP75, mAP50-95
сегментацияСтолбцы детекции, затем Mask-P, Mask-R, Mask-F1, Mask-mAP50, Mask-mAP75, Mask-mAP50-95
семантическая сегментацияClass, Images, Pixels, IoU, mIoU и pixel_acc (оба глобальные), class_pixel_acc
оценка позыСтолбцы детекции, затем Pose-P, Pose-R, Pose-F1, Pose-mAP50, Pose-mAP75, Pose-mAP50-95
OBBСтолбцы детекции

Оценка глубины возвращает одну строку с delta1, delta2, delta3, abs_rel, rmse и silog, а классификация — одну строку с top1_acc и top5_acc.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
metrics = model.val(data="coco8-seg.yaml")
metrics.to_csv()  # по одной строке на класс с метриками рамок и масок

Что дальше#

Устраивают метрики? Экспортируй модель в формат для развёртывания. Если точность недостаточна, вернись к обучению, использовав другие гиперпараметры или больше обучающих данных.

Часто задаваемые вопросы#

  • Чтобы валидировать модель YOLO26, используй режим Val от Ultralytics. Например, с помощью Python API можно загрузить модель и запустить валидацию:

    from ultralytics import YOLO
    
    # Загрузить модель
    model = YOLO("yolo26n.pt")
    
    # Валидировать модель
    metrics = model.val()
    print(metrics.box.map)  # map50-95

    Вместо этого можно воспользоваться интерфейсом командной строки (CLI):

    yolo detect val model=yolo26n.pt data=coco8.yaml

    Чтобы дополнительно настроить валидацию, можно изменить различные аргументы, например imgsz, batch и conf, как в режиме Python, так и в CLI. Полный список параметров см. в разделе «Аргументы для валидации модели YOLO».

  • Для оценки производительности модели валидация YOLO26 предоставляет несколько ключевых метрик. К ним относятся:

    • mAP50 (средняя точность при пороге IoU 0.5)
    • mAP75 (средняя точность при пороге IoU 0.75)
    • mAP50-95 (средняя точность для нескольких порогов IoU от 0.5 до 0.95)

    С помощью Python API получить эти метрики можно так:

    metrics = model.val()  # предполагается, что `model` уже загружена
    print(metrics.box.map)  # mAP50-95
    print(metrics.box.map50)  # mAP50
    print(metrics.box.map75)  # mAP75
    print(metrics.box.maps)  # mAP50-95 для каждого класса; для классов, отсутствующих в валидационной выборке, используется общее значение mAP
    print(metrics.box.ap_class_index)  # Индексы классов, которые фактически оценивались
    print(metrics.box.image_metrics)  # словарь метрик для каждого изображения: precision, recall, F1, TP, FP и FN

    Изучи все эти метрики, чтобы получить полную оценку производительности.

  • Использование Ultralytics YOLO для валидации даёт несколько преимуществ:

    • Точность: YOLO26 предоставляет точные метрики производительности, включая mAP50, mAP75 и mAP50-95.
    • Удобство: Модели запоминают настройки обучения, что упрощает валидацию.
    • Гибкость: Можно проводить валидацию на тех же или других наборах данных и изображениях другого размера.
    • Настройка гиперпараметров: Метрики валидации помогают точнее настраивать модели для повышения производительности.

    Эти преимущества помогают тщательно оценивать модели и оптимизировать их.

  • Да, модель YOLO26 можно валидировать на пользовательском наборе данных. Укажи аргумент data со ссылкой на YAML-файл набора данных, в котором должен быть указан путь к данным для валидации. Для классификации вместо этого укажи каталог набора данных или название встроенного набора данных (например, imagenet10).

    Примечание

    Проверка выполняется с использованием имён классов самой модели. Их можно посмотреть с помощью model.names; эти имена могут отличаться от заданных в наборе данных.

    Пример на Python:

    from ultralytics import YOLO
    
    # Загрузить модель
    model = YOLO("yolo26n.pt")
    
    # Валидировать на пользовательском наборе данных
    metrics = model.val(data="path/to/your/custom_dataset.yaml")
    print(metrics.box.map)  # map50-95

    Пример с использованием CLI:

    yolo val model=yolo26n.pt data=path/to/your/custom_dataset.yaml

    Другие параметры настройки валидации см. в разделе «Пример валидации с аргументами».

  • Чтобы сохранить результаты валидации в файл JSON, при запуске валидации задай аргумент save_json равным True. Это можно сделать как через Python API, так и через CLI.

    Пример на Python:

    from ultralytics import YOLO
    
    # Загрузить модель
    model = YOLO("yolo26n.pt")
    
    # Сохранить результаты валидации в JSON
    metrics = model.val(save_json=True)

    Пример с использованием CLI:

    yolo val model=yolo26n.pt save_json=True

    Для наборов данных детекции save_json=True также сообщает mAP для маленьких, средних и больших объектов с помощью faster-coco-eval. Подробнее см. в разделе «Аргументы для валидации модели YOLO».

Комментарии279

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. BedoHatemGitHub

    I have a couple of models (a mix of object detection and segmentation), so I want to run them on the same validation dataset to compare them properly. The exact tasks for the seg and obj-det models are the same at a certain level, so I'm aware that seg models give a B-Box and Mask, while obj-det gives just a B-Box.

    With that said, will a segmentation dataset work on both seg and obj-det models ? Or should i make a seg and a obj-det version of the same dataset, so i can use it to equally validate the models ?

    Thanks in Advance

    1
    1. BedoHatemGitHub

      I tested it. It seems you can use a segmentation dataset to validate an obj-det model, as the seg datasets include B-Boxes and Masks of the classes.

      1
    2. Glenn JocherUltralytics(изменено)

      @BedoHatem yes, you're correct! Segmentation datasets can be used to validate object detection models because they contain the bounding box annotations needed for detection evaluation. The segmentation masks are simply ignored when the dataset is used with a detection model.

      This flexibility is an advantage of the YOLO annotation format - the additional segmentation data doesn't interfere with detection evaluation. For the most accurate comparison between models, using the same validation dataset ensures you're evaluating performance on exactly the same ground truth data.

      @417dq the recall reported by val() is taken at the confidence value that maximizes F1, while the confusion matrix is built at the validation conf (0.001 by default) with an IoU matching threshold of 0.45, so the two can differ. The metrics output from val() is the reference for your model's performance.

  2. CyedenGitHub

    请问如果验针集是已经被多尺度分割了,那么再进行验证的时候imgsz应该设置为不同尺度验证的逻辑吗?例如: if name == 'main': model = YOLO(r'C:\Users\Lazy\Desktop\yolo_detect\weights\best.pt')

    multi_scale_sizes = [640, 800, 1024, 1280] 
    
    for size in multi_scale_sizes:
        model.val(
            data='ultralytics/cfg/datasets/DOTAv1.yaml',
            split='val',
            imgsz=size,
            batch=16,
            project='runs/val',
            name=f'v8n-obb-LSKNet_prev8x-obbpt_{size}',
        )
    1
    1. Glenn JocherUltralytics

      @Cyeden for multi-scale validation, you can indeed set imgsz to different scales within a loop. This approach allows you to evaluate the model's performance across various image sizes. Your implementation looks correct. Ensure you are using the latest version of the Ultralytics package to avoid any potential issues. For more details, you can refer to the validation documentation.

  3. YunYeTangGitHub

    hi, when I use yolov8-obb to validate DOTAv1, I found that confusion matrix is empty. Does it mean that confusion matrix is not supported in OBB validation?

    1
    1. Glenn JocherUltralytics(изменено)

      Hi there! 👋

      The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with pip install -U ultralytics and re-run validation with plots=True. If it is still empty, please share your yolo checks output and the validation command so we can look into it.

      In the meantime, you can still rely on the other validation metrics such as mAP, precision, and recall.

    2. Glenn JocherUltralytics(изменено)

      Hey there! 🚀

      Thank you for reaching out! The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with pip install -U ultralytics and re-run validation with plots=True; if it is still empty, share your yolo checks output and validation command so we can look into it.

      For a comprehensive evaluation you can also rely on the other metrics provided during validation, such as mAP, precision, and recall. Cheers! 🌟

    1. Glenn JocherUltralytics

      It looks like you’re on the Chinese locale (the URL contains "/zh/"). Remove "/zh/" to view the English version, or use the top‑right language selector (GB English) and hard‑refresh; also ensure your browser’s auto‑translate is disabled.

    2. Glenn JocherUltralytics

      Thanks for the detailed description—that behavior sounds like a docs locale‑routing bug on our side rather than anything you can fix locally; we’ll get it forwarded to the web/docs team, and in the meantime could you confirm whether going directly to the English URL Model Validation with Ultralytics YOLO (English) still forces you back to Chinese and share your OS + browser version so we can reproduce it?

    3. Glenn JocherUltralytics

      Thanks for the extra details—that confirms this is an issue on the docs side, likely tied to your system/browser language being Chinese and our locale detection forcing /zh/ even when you pick English. I’ve passed this to the web/docs team to investigate; as a temporary workaround you can try using a browser whose interface language is set to English (or move English to the top of Chrome’s language preferences) so the site stops auto‑redirecting to the Chinese locale.

  4. AA278-HUBGitHub

    I have a model trained on a dataset containing four classes (car, bus, motorbike, and trunk). Now, I have a new dataset with only one class (vehicle). How can I validate this model using the new dataset, given that I only care about whether the model can identify the vehicle and its position, without concern for the specific type of vehicle?

    1. Glenn JocherUltralytics

      @liujixingit save_txt writes normalized YOLO xywh (center x/y, width, height) relative to the original image size; recover pixel xyxy via the original W,H then center→corner conversion, e.g.:

      # line format: class x y w h [conf]
      cls, x, y, w, h, *rest = map(float, line.split())
      x1 = (x - w/2) * W; y1 = (y - h/2) * H
      x2 = (x + w/2) * W; y2 = (y + h/2) * H

      Function details are in the save_one_txt reference and the save_txt format is noted under Validation settings.

      @carlos-cell To get APs/APm/APl, run COCO-style evaluation with JSON saving and check the printed COCO summary:

      yolo detect val model=yolo11n.pt data=coco.yaml save_json=True

      This triggers COCO eval inside validation; see COCO evaluation in val and the size-specific metrics overview in the Performance metrics deep dive.

      @AA278-HUB For “any vehicle” validation, use single-class evaluation so all types collapse to one:

      metrics = model.val(data='vehicle.yaml', single_cls=True, agnostic_nms=True)

      Argument behavior is documented in the Val mode arguments.

      @AA278-HUB You don’t need code changes for the above, but if you must customize matching/metrics, start from DetectionValidator and the val() entry point: see the DetectionValidator reference and the val() method in engine/model.py; if proposing a PR, please keep scope minimal and include tests.

  5. liujixingitGitHub

    YOLOv8 调用验证功能开启save_txt后保存的坐标如何还原到原图,我尝试了直接×原图宽高,还原的坐标是错误的。save_txt保存的结果是相对什么计算得出的归一化坐标?

    1. CherishzyhGitHub
      1. the document shows that 'iou' is the threshold for NMS.Is it also a threshold for calculate the confusion matrix? eg. I hope that if the IoU between the prediction and the ground truth is greater than 0.2, it will be considered a true positive (TP). At the same time, does the NMS threshold also have to be 0.2?
    2. CherishzyhGitHub
      1. For confidence threshold, if I set it to 0.1, that mean all bboxes with a score lower than 0.1 will be removed when calculate the PR-curve?. If so, does it will also be remove in result json or txt ?
    3. Glenn JocherUltralytics

      @Cherishzyh great questions:

      1. The iou argument in val() controls NMS overlap removal only; it does not change the IoU used to determine TP/FP or mAP. Metrics are computed over fixed IoU thresholds 0.50–0.95. If you need evaluation at IoU=0.2, export predictions and compute custom metrics offline. See the Performance Metrics deep dive.

      2. The conf argument is a minimum score filter. Setting conf=0.1 removes all predictions with score < 0.1 prior to evaluation and from saved outputs (save_json/save_txt). You can still access PR data from the results object:

      from ultralytics import YOLO
      model = YOLO("yolo11n.pt")
      res = model.val(conf=0.1, iou=0.7, save_json=True, save_txt=True, plots=True)
      print(res.box.p_curve)  # precision curve vs score thresholds
      print(res.box.r_curve)  # recall curve vs score thresholds

      Argument details are in the Val mode arguments.

  6. lauravchrobakGitHub

    When I run validate without setting plots=True I still get the f1, PR curve plots in the val folder. Potentially the default for this flag is actually true despite it being false in the table above?

  7. sea190GitHub

    The question about val of yoloworld, and I used my custom dataset, and I make sure the format of ma dataset is corret. While when I run the val.py the code still validate the categories of COCO Dataset instead of my dataset? How can I solve this problem?

    1. ihciabGitHub

      You can try specifying the path of the validation set. When calling the val function, specify model.val(data=‘your_data’)

    2. Glenn JocherUltralytics

      @sea190 for YOLO-World validation with custom datasets, ensure your dataset YAML file correctly defines the class names and paths. YOLO-World may default to COCO categories if the dataset configuration isn't properly specified. Try:

      model.val(data='path/to/your/custom_dataset.yaml')

      Make sure your YAML file includes the correct names field with your custom class names and verify the val path points to your validation images and labels. If issues persist, check that your dataset follows the expected format for YOLO-World validation.