Бенчмарк Ultralytics#
COCO не репрезентативен для многих реальных задач компьютерного зрения. Ultralytics Benchmark — это эталонный набор данных для оценки обобщающей способности моделей на 37 тщательно отобранных наборах данных для обнаружения объектов с высококачественной разметкой ограничивающих рамок. Области применения набора данных включают анализ медицинских изображений, дистанционное зондирование, дорожное движение, документы, пользовательские интерфейсы, розничную торговлю, машинное зрение, сельское хозяйство, спорт, дикую природу, подводную съёмку и обнаружение отходов. Типы сенсоров включают RGB, объективы типа «рыбий глаз», тепловой инфракрасный диапазон, рентгеновские снимки, MRI, ультразвук, микроскопию и радар с синтезированной апертурой (SAR).
Отобранные наборы данных размещены на платформе Ultralytics.
Кандидатные наборы данных проверялись на точные и почти полные дубликаты изображений между обучающими и валидационными выборками. Найденные пары проверялись вручную; подтверждённые утечки между выборками удалялись, а затронутый набор данных заменялся.
Наборы данных#
| Область | Датчик / тип изображений | Датасет | Классы |
|---|---|---|---|
| Аэрофотосъёмка/ДЗЗ | Спутниковые изображения RGB | Обнаружение нефтехранилищ Airbus | 1: резервуар для хранения нефти |
| Документы/интерфейсы | Изображения RGB и сканированные страницы | Элементы документа AnnoPage | 25: химическая формула/уравнение, символ/логотип, фотография, рисунок, график, карта, математическое выражение, музыкальная нотация, изображение, декоративный элемент, надпись, план этажа, штрихкод/QR-код, печать, реклама, рукописная заметка, схема, таблица, виньетка и фриз |
| Спорт | Камера RGB | Обнаружение баскетбольного кольца | 2: баскетбольный мяч, баскетбольная сетка |
| Вождение/дорожное движение | Дорожная камера RGB | CEYMO | 11: полоса для автобусов, велосипедная полоса, ромб, распределительная коробка, стрелка налево, пешеходный переход, стрелка направо, стрелка прямо, снижение скорости, стрелка прямо и налево, стрелка прямо и направо |
| Медицина | МРТ | МРТ опухолей мозга Cheng | 3: менингиома, глиома, опухоль гипофиза |
| Медицина | Камера глазного дна | Поражения сетчатки DDR | 4: твёрдые экссудаты, кровоизлияния, микроаневризмы, мягкие экссудаты |
| Промышленность | Промышленная камера линейного сканирования | DeepPCB | 6: обрыв, короткое замыкание, скол, выступ, медь, отверстие |
| Медицина | Стоматологический рентген | DENTEX | 4: ретинированный зуб, кариес, периапикальное поражение, глубокий кариес |
| Промышленность | Промышленная камера RGB | DSPCBSD | 9: короткое замыкание, выступ, посторонняя медь, обрыв, скол, пробой отверстия, царапина на проводнике, посторонний объект на проводнике, посторонний объект в материале основания |
| Другая | Эгоцентрическая камера RGB | EgoHands | 4: own_left, own_right, other_left, other_right |
| Другая | Камера для съёмки дикой природы RGB и инфракрасного диапазона | ENA24 | 22 класса: дикие животные, люди, домашние животные и транспортные средства |
| Вождение/дорожное движение | Панорамная камера RGB | Fisheye8K | 5: автобус, велосипед, автомобиль, пешеход, грузовик |
| Документы/интерфейсы | Цифровые и отсканированные планы | FloorPlanCAD | 30 классов архитектурных проёмов, мебели, бытовой техники, сантехники, лестниц, лифтов и эскалаторов |
| Медицина | Рентген | GRAZPEDWRI-DX | 9: аномалия кости, поражение кости, инородное тело, перелом, металл, реакция надкостницы, pronatorsign, мягкие ткани, текст |
| Документы/интерфейсы | Цифровые снимки экрана | Пользовательский интерфейс GroundCUA | 9: кнопка, информационный дисплей, элементы ввода, меню, навигация, прочее, боковая панель, визуальные элементы, неизвестно |
| Сельское хозяйство | Полевой камера RGB | GWHD 2021 | 1: колос пшеницы |
| Аэрофотосъёмка/ДЗЗ | БПЛА с тепловизионной камерой | HIT-UAV | 5: человек, автомобиль, велосипед, другое транспортное средство, игнорируемая область |
| Медицина | Рентгеновский досмотр | Рентгеновский набор данных IED | 11 классов: взрывчатка, батарея, ноутбук, пейджер, мобильный телефон, рация и модифицированные устройства |
| Медицина | Эндоскоп RGB | Полипы Kvasir-SEG | 1: полип |
| Вождение/дорожное движение | Тепловизионная съёмка | LLVIP | 1: человек |
| Аэрофотосъёмка/ДЗЗ | Мультиспектральные изображения в 8 диапазонах | Мультиспектральный набор данных MODA | 8: автомобиль, фургон, грузовик, автобус, трицикл, велосипед, велосипед с навесом, пешеход |
| Сельское хозяйство | Камера RGB | PlantDoc | 29 классов болезней сельскохозяйственных культур и растений |
| Спорт | Видеокадры RGB | Теннисный мяч RacketVision | 1: теннисный мяч |
| Вождение/дорожное движение | Дорожная камера RGB | RDD2022 | 5: продольная трещина, поперечная трещина, сетка трещин, другие повреждения, выбоина |
| Розничная торговля | Камера RGB на кассе | Товары на кассе RPC | 200 классов товаров на кассе: упакованные продукты, напитки, молоко, консервы, шоколад, жевательная резинка, конфеты, приправы, средства гигиены, салфетки и канцелярские товары |
| Другая | Подводная камера RGB | Подводный набор данных RUOD | 10: голотурии, морские ежи, морские гребешки, морские звёзды, рыбы, кораллы, дайверы, каракатицы, черепахи, медузы |
| Промышленность | Камера RGB | Safe Human 17 | 17 классов людей, частей тела, инструментов и средств индивидуальной защиты |
| Аэрофотосъёмка/ДЗЗ | Камера БПЛА RGB | SeaDronesSee | 6: игнорируемый объект, пловец, лодка, гидроцикл, спасательные средства, буй |
| Розничная торговля | Камера RGB в розничном магазине | SKU-110K | 1: товар на полке |
| Спорт | Цветная широковещательная камера | SoccerDB | 3: игрок, мяч, ворота |
| Аэрофотосъёмка/ДЗЗ | Синтезно-апертурный радар (SAR) | SSDD SAR Ship | 1: корабль |
| Другая | Камера RGB | TACO Litter | 28 классов материалов и объектов мусора |
| Медицина | Рентген грудной клетки | TBX11K | 2: активный туберкулёз, перенесённый туберкулёз лёгких |
| Медицина | Ультразвуковое исследование | TN5000 Thyroid Ultrasound | 2: доброкачественная опухоль, злокачественная опухоль |
| Медицина | Световая микроскопия | TXL-PBC Blood Cells | 3: лейкоциты, эритроциты, тромбоциты |
| Другая | Камера RGB | UEC School Lunch Food | 21 класс продуктов и напитков для школьных обедов |
| Аэрофотосъёмка/ДЗЗ | Камера БПЛА RGB | VisDrone | 10: пешеход, люди, велосипед, автомобиль, фургон, грузовик, трицикл, трицикл с навесом, автобус, мотоцикл |
Оценка#
- Возьми до 1 000 изображений из каждого обучающего сплита, сохрани полный валидационный сплит и исключи тестовый сплит с помощью
fraction=[1000, 1.0, 0.0]. - Независимо дообучи один и тот же предварительно обученный чекпойнт на каждом датасете в течение 100 эпох с patience 100, seed 0, batch 16 и четырьмя воркерами. Размер изображений — 640 пикселей. Seed 0 не обеспечивает полной детерминированности, поэтому для YOLO27m и YOLO27l указано среднее значение по 3 таким запускам.
- Включи переназначение классов, формат channels-last и вывод JSON с предсказаниями, отключив построение графиков.
- Оцени лучший чекпойнт каждого датасета и повторно используй сохранённый
max_det, который учитывает наибольшее число объектов в этом датасете. - Для mAP50-95 по размерам умножь площади боксов разметки и предсказаний на
(640 / max(image_width, image_height)) ** 2, прежде чем применять диапазоны COCO для малых, средних и крупных объектов. - Придай всем датасетам одинаковый вес. Каждая метрика размера учитывает только датасеты, в которых не менее 10 объектов соответствующего диапазона.
Макро-mAP — это sum(dataset validation mAP50-95) / 37. Метрики рассчитаны по сохранённым предсказаниям каждого датасета.
Результаты бенчмарка#
Метрики представлены как макроусреднённые значения по 37 валидационным сплитам в процентах.
| Размер | Модель | mAP50-95 | Точность | Полнота | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Бенчмаркинг#
Используй ветку main Ultralytics и укажи ULTRALYTICS_API_KEY для доступа к датасету:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# В основной ветке используются диапазоны размеров для исходных площадей. В этом бенчмарке площади GT и предсказаний отдельно масштабируются
# на (640 / max(image_width, image_height)) ** 2 перед вычислением AP для каждого диапазона размеров.Цитирование#
Если ты используешь Ultralytics Benchmark в своей работе, укажи в цитировании статью Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


