Ultralytics 基准测试

103

Airbus Oil Storage Detection

ultralytics

PublicDetect

SPOT satellite images of oil storage tank farms worldwide at about 1.2 m resolution, released by Airbus. Source: Jeff Faudi, Airbus, "Airbus Oil Storage Detection" dataset, Kaggle 2021; kaggle.com/datasets/airbusgeo/airbus-oil-storage-detection-dataset.

1 class143.5 MBOct 23, 2026

oil storage tank

COCO 无法代表许多真实世界的计算机视觉任务。Ultralytics 基准测试是一套基准数据集，用于衡量模型在 37 个经过筛选的目标检测数据集上的泛化能力，这些数据集都带有高质量的边界框标注。数据领域涵盖医学图像分析、遥感、交通、文档、用户界面、零售、机器视觉、农业、体育、野生动物、水下成像和废弃物检测。传感器类型包括 RGB、鱼眼、热红外、X 射线、MRI、超声、显微成像和合成孔径雷达 (SAR)。

整理后的数据集托管在 Ultralytics Platform 上。 VLM 排行榜根据准确率、成本和速度，对 36 个数据集中图像上的视觉语言模型和开放词汇检测器进行排名。

我们检查了候选数据集在训练集和验证集划分中是否存在完全重复或近似重复的图像。我们对标记出的图像对进行了审核，并移除了确认存在数据集划分泄漏的图像，或替换了受影响的数据集。

数据集#

领域	传感器 / 影像类型	数据集	类别
航空影像/遥感	RGB 卫星影像	Airbus 储油罐检测	1：储油罐
文档/用户界面	RGB 图像和扫描页面	AnnoPage 文档元素	25 类：化学式/方程式、符号/标志、照片、绘图、图表、地图、数学表达式、乐谱、图像、装饰、铭文、平面图、条形码/二维码、印章、广告、手写便条、示意图、表格、插图和饰带
体育	RGB 相机	篮球篮筐检测	2 类：篮球、篮球网
驾驶/交通	RGB 道路摄像头	CEYMO	11 类：公交车道、自行车道、菱形标记、接线盒、左转箭头、人行横道、右转箭头、直行箭头、减速、直行并左转箭头、直行并右转箭头
医疗	MRI	Cheng 脑肿瘤 MRI	3 类：脑膜瘤、胶质瘤、垂体瘤
医疗	彩色眼底相机	DDR 病灶	4 类：硬性渗出物、出血、微动脉瘤、软性渗出物
工业	线扫描工业相机	DeepPCB	6 类：开路、短路、鼠咬、毛刺、铜箔、针孔
医疗	牙科 X 射线	DENTEX	4 类：阻生牙、龋齿、根尖周病变、深龋
工业	RGB 工业相机	DSPCBSD	9 类：短路、毛刺、铜箔异物、开路、鼠咬、孔洞破损、导线划伤、导线异物、基材异物
其他	RGB 第一人称视角相机	EgoHands	4 类：自己的左手、自己的右手、他人的左手、他人的右手
其他	RGB 和红外野外相机	ENA24	22 个野生动物、人物、家畜和车辆类别
驾驶/交通	RGB 鱼眼相机	Fisheye8K	5 类：公交车、自行车、汽车、行人、卡车
文档/用户界面	数字版和扫描版平面图	FloorPlanCAD	30 个类别，涵盖建筑开口、家具、电器、卫浴设施、楼梯、电梯和自动扶梯
医疗	X 射线	GRAZPEDWRI-DX	9 类：骨异常、骨病变、异物、骨折、金属、骨膜反应、旋前征、软组织、文本
文档/用户界面	数字截图	GroundCUA 用户界面	9 类：按钮、信息显示、输入元素、菜单、导航、其他、侧边栏、视觉元素、未知
农业	RGB 野外相机	GWHD 2021	1 类：麦穗
航空影像/遥感	热红外无人机	HIT-UAV	5：人员、汽车、自行车、其他车辆、忽略区域（不参与评分）
医疗	安检 X 射线	IED X 射线	11 个类别，涵盖爆炸物、电池、笔记本电脑、寻呼机、手机、对讲机和改装设备
医疗	RGB 内窥镜	Kvasir-SEG 息肉	1 类：息肉
驾驶/交通	热红外	LLVIP	1 类：人物
航空影像/遥感	8 波段多光谱影像	MODA 多光谱	8 类：汽车、厢式货车、卡车、公交车、三轮车、自行车、带遮阳篷的自行车、行人
农业	RGB 相机	PlantDoc	29 个作物叶片和植物病害类别
体育	RGB 视频帧	RacketVision 网球	1 类：网球
驾驶/交通	RGB 道路摄像头	RDD2022	5 类：纵向裂缝、横向裂缝、龟裂、其他路面损坏、坑洞
零售	RGB 收银台摄像头	RPC 零售结账	200 个收银商品类别，涵盖包装食品、饮料、牛奶、罐头食品、巧克力、口香糖、糖果、调味品、卫生用品、纸巾和文具
其他	RGB 水下相机	RUOD 水下数据集	10 类：海参、海胆、扇贝、海星、鱼、珊瑚、潜水员、乌贼、海龟、水母
工业	RGB 相机	Safe Human 17	17 个人物、身体部位、工具和个人防护装备类别
航空影像/遥感	RGB 无人机相机	SeaDronesSee	6 类：忽略、游泳者、船、摩托艇、救生设备、浮标
零售	RGB 零售摄像头	SKU-110K	1：货架商品
体育	RGB 广播摄像机	SoccerDB	3：球员、球、球门
航空影像/遥感	合成孔径雷达 (SAR)	SSDD SAR Ship	1：船舶
其他	RGB 相机	TACO Litter	28 类垃圾材料和物品
医疗	胸部 X 光片	TBX11K	2：活动性肺结核、陈旧性肺结核
医疗	超声	TN5000 Thyroid Ultrasound	2：良性、恶性
医疗	光学显微镜	TXL-PBC Blood Cells	3：白细胞、红细胞、血小板
其他	RGB 相机	UEC School Lunch Food	21 类学校午餐食品和饮料
航空影像/遥感	RGB 无人机相机	VisDrone	10：行人、人群、自行车、汽车、面包车、卡车、三轮车、载货三轮车、公交车、摩托车

评估#

从每个训练划分中最多抽取 1,000 张图像，保留完整的验证划分，并使用 fraction=[1000, 1.0, 0.0] 排除测试划分。
在每个数据集上分别使用同一个预训练检查点进行微调，训练 100 个 epoch，patience 设为 100，seed 设为 0，batch 设为 16，workers 设为 4。图像尺寸为 640 像素。seed 0 并非完全确定，因此 YOLO27m 和 YOLO27l 报告这类运行 3 次的平均值。
启用类别重映射、channels-last 和预测 JSON 输出，并禁用绘图。
评估每个数据集的最佳检查点，并复用其保存的 max_det，该值对应其最大目标数量。
按照 VisDrone DET 工具包的方式应用忽略区域：对于被忽略区域覆盖至少一半的预测和标签，将其丢弃。这些区域包括 VisDrone 官方提供的 1,378 个忽略区域和 HIT-UAV 的 7 个 ignored region 框，随后移除 HIT-UAV 类别。
要计算按尺寸划分的 mAP_50-95，请先将真实标注框和预测框的面积乘以 (640 / max(image_width, image_height)) ** 2，再应用 COCO 的小、中、大目标划分标准。
为每个数据集赋予相同权重。每项尺寸指标仅纳入该分箱中至少有 10 个目标的数据集。

宏平均 mAP 为 sum(dataset validation mAP50-95) / 37。指标根据每个数据集保存的预测结果计算。

基准测试结果#

各项指标是 37 个验证子集的宏平均值，以百分比表示。YOLO27 目前尚未发布，仍处于预览阶段；其权重尚不可用。

大小	模型	mAP_50-95	精确率	召回率	mAP_50-95-S	mAP_50-95-M	mAP_50-95-L
L/X	YOLO27l	55.97	79.11	75.14	38.52	55.90	64.64
L/X	YOLO26x	50.19	76.93	69.08	34.89	50.78	52.15
L/X	YOLO26l	50.05	75.28	69.53	34.96	50.37	52.25
L/X	YOLO11l	48.71	74.26	68.50	32.29	50.84	51.14
L/X	YOLOv5l	48.25	74.03	68.16	32.15	49.89	50.27
L/X	YOLOv8l	48.22	74.15	69.14	32.44	49.14	49.98
L/X	YOLOv8x	47.94	76.00	66.82	31.60	49.85	50.16
L/X	YOLOv5x	47.58	75.05	68.15	31.66	49.60	50.18
L/X	YOLO11x	47.49	73.75	67.50	31.64	48.82	49.66
M	YOLO27m	53.68	76.66	73.20	36.47	53.65	61.30
M	YOLO26m	49.74	76.23	68.74	33.40	50.29	51.78
M	YOLOv5m	48.41	74.34	68.39	32.12	49.78	52.39
M	YOLO11m	48.39	73.87	68.85	32.62	49.87	51.23
M	YOLOv8m	48.25	73.89	68.69	31.21	49.73	52.41
S	YOLO27s	51.76	76.68	71.46	35.19	51.68	54.53
S	YOLO11s	48.00	75.00	67.85	29.98	49.81	51.13
S	YOLO26s	47.77	74.24	67.23	32.00	47.91	51.00
S	YOLOv5s	47.55	74.18	67.37	30.95	49.13	50.57
S	YOLOv8s	47.53	74.27	67.68	31.38	48.52	50.57
N	YOLO27n	49.32	75.46	68.82	32.41	49.27	54.05
N	YOLO11n	46.37	72.86	65.94	28.76	47.53	51.05
N	YOLOv8n	46.09	72.53	65.89	29.02	47.61	49.62
N	YOLOv5n	45.29	71.77	65.21	29.03	46.83	48.59
N	YOLO26n	44.37	70.25	63.40	29.12	44.77	48.39

基准测试#

使用 Ultralytics 的 main 分支，并设置 ULTRALYTICS_API_KEY 以访问数据集：

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo26n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# 主分支报告按原始面积划分的尺寸分箱。此基准测试会单独缩放 GT 和预测面积
# 按 (640 / max(image_width, image_height)) ** 2 缩放后再计算特定尺寸的 AP，并应用 VisDrone 和
# HIT-UAV 忽略区域。此代码片段两者都没有执行。

引用#

如果你在工作中使用 Ultralytics Benchmark，请引用Ultralytics YOLO26 论文：

引用

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}

贡献者