Ultralytics 基准测试#
COCO 无法代表许多真实世界的计算机视觉任务。Ultralytics 基准测试是一套基准数据集,用于衡量模型在 37 个经过筛选的目标检测数据集上的泛化能力,这些数据集都带有高质量的边界框标注。数据领域涵盖医学图像分析、遥感、交通、文档、用户界面、零售、机器视觉、农业、体育、野生动物、水下成像和废弃物检测。传感器类型包括 RGB、鱼眼、热红外、X 射线、MRI、超声、显微成像和合成孔径雷达 (SAR)。
经过筛选的数据集托管在 Ultralytics Platform 上。
我们检查了候选数据集在训练集和验证集划分中是否存在完全重复或近似重复的图像。我们对标记出的图像对进行了审核,并移除了确认存在数据集划分泄漏的图像,或替换了受影响的数据集。
数据集#
| 领域 | 传感器 / 影像类型 | 数据集 | 类别 |
|---|---|---|---|
| 航空影像/遥感 | RGB 卫星影像 | Airbus 储油罐检测 | 1:储油罐 |
| 文档/用户界面 | RGB 图像和扫描页面 | AnnoPage 文档元素 | 25 类:化学式/方程式、符号/标志、照片、绘图、图表、地图、数学表达式、乐谱、图像、装饰、铭文、平面图、条形码/二维码、印章、广告、手写便条、示意图、表格、插图和饰带 |
| 体育 | RGB 相机 | 篮球篮筐检测 | 2 类:篮球、篮球网 |
| 驾驶/交通 | RGB 道路摄像头 | CEYMO | 11 类:公交车道、自行车道、菱形标记、接线盒、左转箭头、人行横道、右转箭头、直行箭头、减速、直行并左转箭头、直行并右转箭头 |
| 医疗 | MRI | Cheng 脑肿瘤 MRI | 3 类:脑膜瘤、胶质瘤、垂体瘤 |
| 医疗 | 彩色眼底相机 | DDR 病灶 | 4 类:硬性渗出物、出血、微动脉瘤、软性渗出物 |
| 工业 | 线扫描工业相机 | DeepPCB | 6 类:开路、短路、鼠咬、毛刺、铜箔、针孔 |
| 医疗 | 牙科 X 射线 | DENTEX | 4 类:阻生牙、龋齿、根尖周病变、深龋 |
| 工业 | RGB 工业相机 | DSPCBSD | 9 类:短路、毛刺、铜箔异物、开路、鼠咬、孔洞破损、导线划伤、导线异物、基材异物 |
| 其他 | RGB 第一人称视角相机 | EgoHands | 4 类:自己的左手、自己的右手、他人的左手、他人的右手 |
| 其他 | RGB 和红外野外相机 | ENA24 | 22 个野生动物、人物、家畜和车辆类别 |
| 驾驶/交通 | RGB 鱼眼相机 | Fisheye8K | 5 类:公交车、自行车、汽车、行人、卡车 |
| 文档/用户界面 | 数字版和扫描版平面图 | FloorPlanCAD | 30 个类别,涵盖建筑开口、家具、电器、卫浴设施、楼梯、电梯和自动扶梯 |
| 医疗 | X 射线 | GRAZPEDWRI-DX | 9 类:骨异常、骨病变、异物、骨折、金属、骨膜反应、旋前征、软组织、文本 |
| 文档/用户界面 | 数字截图 | GroundCUA 用户界面 | 9 类:按钮、信息显示、输入元素、菜单、导航、其他、侧边栏、视觉元素、未知 |
| 农业 | RGB 野外相机 | GWHD 2021 | 1 类:麦穗 |
| 航空影像/遥感 | 热红外无人机 | HIT-UAV | 5 类:人物、汽车、自行车、其他车辆、忽略区域 |
| 医疗 | 安检 X 射线 | IED X 射线 | 11 个类别,涵盖爆炸物、电池、笔记本电脑、寻呼机、手机、对讲机和改装设备 |
| 医疗 | RGB 内窥镜 | Kvasir-SEG 息肉 | 1 类:息肉 |
| 驾驶/交通 | 热红外 | LLVIP | 1 类:人物 |
| 航空影像/遥感 | 8 波段多光谱影像 | MODA 多光谱 | 8 类:汽车、厢式货车、卡车、公交车、三轮车、自行车、带遮阳篷的自行车、行人 |
| 农业 | RGB 相机 | PlantDoc | 29 个作物叶片和植物病害类别 |
| 体育 | RGB 视频帧 | RacketVision 网球 | 1 类:网球 |
| 驾驶/交通 | RGB 道路摄像头 | RDD2022 | 5 类:纵向裂缝、横向裂缝、龟裂、其他路面损坏、坑洞 |
| 零售 | RGB 收银台摄像头 | RPC 零售结账 | 200 个收银商品类别,涵盖包装食品、饮料、牛奶、罐头食品、巧克力、口香糖、糖果、调味品、卫生用品、纸巾和文具 |
| 其他 | RGB 水下相机 | RUOD 水下数据集 | 10 类:海参、海胆、扇贝、海星、鱼、珊瑚、潜水员、乌贼、海龟、水母 |
| 工业 | RGB 相机 | Safe Human 17 | 17 个人物、身体部位、工具和个人防护装备类别 |
| 航空影像/遥感 | RGB 无人机相机 | SeaDronesSee | 6 类:忽略、游泳者、船、摩托艇、救生设备、浮标 |
| 零售 | RGB 零售摄像头 | SKU-110K | 1:货架商品 |
| 体育 | RGB 广播摄像机 | SoccerDB | 3:球员、球、球门 |
| 航空影像/遥感 | 合成孔径雷达 (SAR) | SSDD SAR Ship | 1:船舶 |
| 其他 | RGB 相机 | TACO Litter | 28 类垃圾材料和物品 |
| 医疗 | 胸部 X 光片 | TBX11K | 2:活动性肺结核、陈旧性肺结核 |
| 医疗 | 超声 | TN5000 Thyroid Ultrasound | 2:良性、恶性 |
| 医疗 | 光学显微镜 | TXL-PBC Blood Cells | 3:白细胞、红细胞、血小板 |
| 其他 | RGB 相机 | UEC School Lunch Food | 21 类学校午餐食品和饮料 |
| 航空影像/遥感 | RGB 无人机相机 | VisDrone | 10:行人、人群、自行车、汽车、面包车、卡车、三轮车、载货三轮车、公交车、摩托车 |
评估#
- 从每个训练划分中最多抽取 1,000 张图像,保留完整的验证划分,并使用
fraction=[1000, 1.0, 0.0]排除测试划分。 - 在每个数据集上分别使用同一个预训练检查点进行微调,训练 100 个 epoch,patience 设为 100,seed 设为 0,batch 设为 16,workers 设为 4。图像尺寸为 640 像素。seed 0 并非完全确定,因此 YOLO27m 和 YOLO27l 报告这类运行 3 次的平均值。
- 启用类别重映射、channels-last 和预测 JSON 输出,并禁用绘图。
- 评估每个数据集的最佳检查点,并复用其保存的
max_det,该值对应其最大目标数量。 - 计算特定尺寸的 mAP50-95 时,在应用 COCO 的 Small、Medium 和 Large 分箱前,将真实标注框和预测框的面积乘以
(640 / max(image_width, image_height)) ** 2。 - 为每个数据集赋予相同权重。每项尺寸指标仅纳入该分箱中至少有 10 个目标的数据集。
宏平均 mAP 为 sum(dataset validation mAP50-95) / 37。指标根据每个数据集保存的预测结果计算。
基准测试结果#
指标为 37 个验证划分的宏平均值,以百分比表示。
| 大小 | 模型 | mAP50-95 | 精确率 | 召回率 | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
基准测试#
使用 Ultralytics 的 main 分支,并设置 ULTRALYTICS_API_KEY 以访问数据集:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# 主分支报告按原始面积划分的尺寸分箱。此基准测试会单独缩放 GT 和预测面积
# 在计算特定尺寸的 AP 之前,按 (640 / max(image_width, image_height)) ** 2 缩放。引用#
如果你在工作中使用 Ultralytics Benchmark,请引用Ultralytics YOLO26 论文:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


