Бенчмарк Ultralytics

103

Airbus Oil Storage Detection

ultralytics

PublicDetect

SPOT satellite images of oil storage tank farms worldwide at about 1.2 m resolution, released by Airbus. Source: Jeff Faudi, Airbus, "Airbus Oil Storage Detection" dataset, Kaggle 2021; kaggle.com/datasets/airbusgeo/airbus-oil-storage-detection-dataset.

1 class143.5 MBOct 23, 2026

oil storage tank

COCO не репрезентативен для многих реальных задач компьютерного зрения. Ultralytics Benchmark — это эталонный набор данных для оценки обобщающей способности моделей на 37 тщательно отобранных наборах данных для обнаружения объектов с высококачественной разметкой ограничивающих рамок. Области применения набора данных включают анализ медицинских изображений, дистанционное зондирование, дорожное движение, документы, пользовательские интерфейсы, розничную торговлю, машинное зрение, сельское хозяйство, спорт, дикую природу, подводную съёмку и обнаружение отходов. Типы сенсоров включают RGB, объективы типа «рыбий глаз», тепловой инфракрасный диапазон, рентгеновские снимки, MRI, ультразвук, микроскопию и радар с синтезированной апертурой (SAR).

Подготовленные датасеты размещены на платформе Ultralytics. Таблица лидеров VLM ранжирует модели «зрение — язык» и детекторы с открытым словарём по точности, стоимости и скорости на изображениях из 36 этих датасетов.

Кандидатные наборы данных проверялись на точные и почти полные дубликаты изображений между обучающими и валидационными выборками. Найденные пары проверялись вручную; подтверждённые утечки между выборками удалялись, а затронутый набор данных заменялся.

Наборы данных#

Оценка#

• Возьми до 1 000 изображений из каждого обучающего сплита, сохрани полный валидационный сплит и исключи тестовый сплит с помощью fraction=[1000, 1.0, 0.0].
• Независимо дообучи один и тот же предварительно обученный чекпойнт на каждом датасете в течение 100 эпох с patience 100, seed 0, batch 16 и четырьмя воркерами. Размер изображений — 640 пикселей. Seed 0 не обеспечивает полной детерминированности, поэтому для YOLO27m и YOLO27l указано среднее значение по 3 таким запускам.
• Включи переназначение классов, формат channels-last и вывод JSON с предсказаниями, отключив построение графиков.
• Оцени лучший чекпойнт каждого датасета и повторно используй сохранённый max_det, который учитывает наибольшее число объектов в этом датасете.
• Применяй игнорируемые области, как в наборе инструментов VisDrone DET: отбрасывай предсказания и метки, которые игнорируемая область покрывает как минимум наполовину. Это 1 378 официальных игнорируемых областей VisDrone и 7 боксов ignored region из HIT-UAV; после этого класс HIT-UAV удаляется.
• Чтобы рассчитать mAP_50-95 отдельно для разных размеров, перед применением категорий COCO для малых, средних и крупных объектов умножь площади эталонных и предсказанных рамок на (640 / max(image_width, image_height)) ** 2.
• Придай всем датасетам одинаковый вес. Каждая метрика размера учитывает только датасеты, в которых не менее 10 объектов соответствующего диапазона.

Макро-mAP — это sum(dataset validation mAP50-95) / 37. Метрики рассчитаны по сохранённым предсказаниям каждого датасета.

Результаты бенчмарка#

Метрики представляют собой макроусреднённые значения по 37 валидационным подмножествам и указаны в процентах. YOLO27 — ещё не выпущенная предварительная версия; её веса пока недоступны.

Бенчмаркинг#

Используй ветку main Ultralytics и укажи ULTRALYTICS_API_KEY для доступа к датасету:

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo26n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# В основной ветке используются диапазоны размеров для исходных площадей. В этом бенчмарке площади GT и предсказаний отдельно масштабируются
# на (640 / max(image_width, image_height)) ** 2 перед оценкой AP для конкретного размера и применяет игнорируемые области VisDrone и
# игнорируемые области HIT-UAV. Этот фрагмент не делает ни того, ни другого.

Цитирование#

Если ты используешь Ultralytics Benchmark в своей работе, укажи в цитировании статью Ultralytics YOLO26:

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}