Ultralytics YOLO27:
Get Started

Бенчмарк Ultralytics#

COCO не репрезентативен для многих реальных задач компьютерного зрения. Ultralytics Benchmark — это эталонный набор данных для оценки обобщающей способности моделей на 37 тщательно отобранных наборах данных для обнаружения объектов с высококачественной разметкой ограничивающих рамок. Области применения набора данных включают анализ медицинских изображений, дистанционное зондирование, дорожное движение, документы, пользовательские интерфейсы, розничную торговлю, машинное зрение, сельское хозяйство, спорт, дикую природу, подводную съёмку и обнаружение отходов. Типы сенсоров включают RGB, объективы типа «рыбий глаз», тепловой инфракрасный диапазон, рентгеновские снимки, MRI, ультразвук, микроскопию и радар с синтезированной апертурой (SAR).

Отобранные наборы данных размещены на платформе Ultralytics.

Кандидатные наборы данных проверялись на точные и почти полные дубликаты изображений между обучающими и валидационными выборками. Найденные пары проверялись вручную; подтверждённые утечки между выборками удалялись, а затронутый набор данных заменялся.

Наборы данных#

ОбластьДатчик / тип изображенийДатасетКлассы
Аэрофотосъёмка/ДЗЗСпутниковые изображения RGBОбнаружение нефтехранилищ Airbus1: резервуар для хранения нефти
Документы/интерфейсыИзображения RGB и сканированные страницыЭлементы документа AnnoPage25: химическая формула/уравнение, символ/логотип, фотография, рисунок, график, карта, математическое выражение, музыкальная нотация, изображение, декоративный элемент, надпись, план этажа, штрихкод/QR-код, печать, реклама, рукописная заметка, схема, таблица, виньетка и фриз
СпортКамера RGBОбнаружение баскетбольного кольца2: баскетбольный мяч, баскетбольная сетка
Вождение/дорожное движениеДорожная камера RGBCEYMO11: полоса для автобусов, велосипедная полоса, ромб, распределительная коробка, стрелка налево, пешеходный переход, стрелка направо, стрелка прямо, снижение скорости, стрелка прямо и налево, стрелка прямо и направо
МедицинаМРТМРТ опухолей мозга Cheng3: менингиома, глиома, опухоль гипофиза
МедицинаКамера глазного днаПоражения сетчатки DDR4: твёрдые экссудаты, кровоизлияния, микроаневризмы, мягкие экссудаты
ПромышленностьПромышленная камера линейного сканированияDeepPCB6: обрыв, короткое замыкание, скол, выступ, медь, отверстие
МедицинаСтоматологический рентгенDENTEX4: ретинированный зуб, кариес, периапикальное поражение, глубокий кариес
ПромышленностьПромышленная камера RGBDSPCBSD9: короткое замыкание, выступ, посторонняя медь, обрыв, скол, пробой отверстия, царапина на проводнике, посторонний объект на проводнике, посторонний объект в материале основания
ДругаяЭгоцентрическая камера RGBEgoHands4: own_left, own_right, other_left, other_right
ДругаяКамера для съёмки дикой природы RGB и инфракрасного диапазонаENA2422 класса: дикие животные, люди, домашние животные и транспортные средства
Вождение/дорожное движениеПанорамная камера RGBFisheye8K5: автобус, велосипед, автомобиль, пешеход, грузовик
Документы/интерфейсыЦифровые и отсканированные планыFloorPlanCAD30 классов архитектурных проёмов, мебели, бытовой техники, сантехники, лестниц, лифтов и эскалаторов
МедицинаРентгенGRAZPEDWRI-DX9: аномалия кости, поражение кости, инородное тело, перелом, металл, реакция надкостницы, pronatorsign, мягкие ткани, текст
Документы/интерфейсыЦифровые снимки экранаПользовательский интерфейс GroundCUA9: кнопка, информационный дисплей, элементы ввода, меню, навигация, прочее, боковая панель, визуальные элементы, неизвестно
Сельское хозяйствоПолевой камера RGBGWHD 20211: колос пшеницы
Аэрофотосъёмка/ДЗЗБПЛА с тепловизионной камеройHIT-UAV5: человек, автомобиль, велосипед, другое транспортное средство, игнорируемая область
МедицинаРентгеновский досмотрРентгеновский набор данных IED11 классов: взрывчатка, батарея, ноутбук, пейджер, мобильный телефон, рация и модифицированные устройства
МедицинаЭндоскоп RGBПолипы Kvasir-SEG1: полип
Вождение/дорожное движениеТепловизионная съёмкаLLVIP1: человек
Аэрофотосъёмка/ДЗЗМультиспектральные изображения в 8 диапазонахМультиспектральный набор данных MODA8: автомобиль, фургон, грузовик, автобус, трицикл, велосипед, велосипед с навесом, пешеход
Сельское хозяйствоКамера RGBPlantDoc29 классов болезней сельскохозяйственных культур и растений
СпортВидеокадры RGBТеннисный мяч RacketVision1: теннисный мяч
Вождение/дорожное движениеДорожная камера RGBRDD20225: продольная трещина, поперечная трещина, сетка трещин, другие повреждения, выбоина
Розничная торговляКамера RGB на кассеТовары на кассе RPC200 классов товаров на кассе: упакованные продукты, напитки, молоко, консервы, шоколад, жевательная резинка, конфеты, приправы, средства гигиены, салфетки и канцелярские товары
ДругаяПодводная камера RGBПодводный набор данных RUOD10: голотурии, морские ежи, морские гребешки, морские звёзды, рыбы, кораллы, дайверы, каракатицы, черепахи, медузы
ПромышленностьКамера RGBSafe Human 1717 классов людей, частей тела, инструментов и средств индивидуальной защиты
Аэрофотосъёмка/ДЗЗКамера БПЛА RGBSeaDronesSee6: игнорируемый объект, пловец, лодка, гидроцикл, спасательные средства, буй
Розничная торговляКамера RGB в розничном магазинеSKU-110K1: товар на полке
СпортЦветная широковещательная камераSoccerDB3: игрок, мяч, ворота
Аэрофотосъёмка/ДЗЗСинтезно-апертурный радар (SAR)SSDD SAR Ship1: корабль
ДругаяКамера RGBTACO Litter28 классов материалов и объектов мусора
МедицинаРентген грудной клеткиTBX11K2: активный туберкулёз, перенесённый туберкулёз лёгких
МедицинаУльтразвуковое исследованиеTN5000 Thyroid Ultrasound2: доброкачественная опухоль, злокачественная опухоль
МедицинаСветовая микроскопияTXL-PBC Blood Cells3: лейкоциты, эритроциты, тромбоциты
ДругаяКамера RGBUEC School Lunch Food21 класс продуктов и напитков для школьных обедов
Аэрофотосъёмка/ДЗЗКамера БПЛА RGBVisDrone10: пешеход, люди, велосипед, автомобиль, фургон, грузовик, трицикл, трицикл с навесом, автобус, мотоцикл

Оценка#

  • Возьми до 1 000 изображений из каждого обучающего сплита, сохрани полный валидационный сплит и исключи тестовый сплит с помощью fraction=[1000, 1.0, 0.0].
  • Независимо дообучи один и тот же предварительно обученный чекпойнт на каждом датасете в течение 100 эпох с patience 100, seed 0, batch 16 и четырьмя воркерами. Размер изображений — 640 пикселей. Seed 0 не обеспечивает полной детерминированности, поэтому для YOLO27m и YOLO27l указано среднее значение по 3 таким запускам.
  • Включи переназначение классов, формат channels-last и вывод JSON с предсказаниями, отключив построение графиков.
  • Оцени лучший чекпойнт каждого датасета и повторно используй сохранённый max_det, который учитывает наибольшее число объектов в этом датасете.
  • Для mAP50-95 по размерам умножь площади боксов разметки и предсказаний на (640 / max(image_width, image_height)) ** 2, прежде чем применять диапазоны COCO для малых, средних и крупных объектов.
  • Придай всем датасетам одинаковый вес. Каждая метрика размера учитывает только датасеты, в которых не менее 10 объектов соответствующего диапазона.

Макро-mAP — это sum(dataset validation mAP50-95) / 37. Метрики рассчитаны по сохранённым предсказаниям каждого датасета.

Результаты бенчмарка#

Метрики представлены как макроусреднённые значения по 37 валидационным сплитам в процентах.

РазмерМодельmAP50-95ТочностьПолнотаmAP50-95-SmAP50-95-MmAP50-95-L
L/XYOLO27l55.5078.8374.9038.1755.7563.36
L/XYOLO26x49.8576.7468.6134.4450.5451.69
L/XYOLO26l49.7275.0569.3134.4950.1651.72
L/XYOLO11l48.5374.2268.3331.9150.7150.77
L/XYOLOv5l48.0374.1167.7831.7349.7949.87
L/XYOLOv8l48.0273.9568.8032.0549.0449.56
L/XYOLOv8x47.6775.6666.4631.1249.6049.69
L/XYOLOv5x47.3574.6967.9631.2749.3949.76
L/XYOLO11x47.2473.6967.0831.2248.5749.24
MYOLO27m53.3875.8572.9535.9653.4061.40
MYOLO26m49.4276.2368.3132.9150.0251.32
MYOLOv5m48.1974.2168.0731.6849.6751.93
MYOLO11m48.1573.7268.5632.1449.7650.75
MYOLOv8m47.9973.8668.1530.7349.6151.97
SYOLO27s51.2376.9670.7434.2051.4754.74
SYOLO11s47.7874.7267.6629.5349.6950.69
SYOLO26s47.4774.3566.7331.5647.7250.58
SYOLOv8s47.3573.9767.5430.9048.4750.15
SYOLOv5s47.3073.9767.0230.4749.0750.10
NYOLO27n49.2574.8668.4931.9349.3053.20
NYOLO11n46.1972.8365.6928.3547.5150.66
NYOLOv8n45.8972.2965.5628.5647.5549.22
NYOLOv5n45.0971.6964.9928.6146.7948.14
NYOLO26n44.0870.0963.2028.6944.5247.96

Бенчмаркинг#

Используй ветку main Ultralytics и укажи ULTRALYTICS_API_KEY для доступа к датасету:

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo27n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# В основной ветке используются диапазоны размеров для исходных площадей. В этом бенчмарке площади GT и предсказаний отдельно масштабируются
# на (640 / max(image_width, image_height)) ** 2 перед вычислением AP для каждого диапазона размеров.

Цитирование#

Если ты используешь Ultralytics Benchmark в своей работе, укажи в цитировании статью Ultralytics YOLO26:

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}
Участники

Комментарии