Ultralytics Benchmark#
COCOは、実環境における多くのコンピュータビジョンタスクを代表するものではありません。Ultralytics Benchmarkは、高品質なバウンディングボックスラベルを備えた、厳選された37の物体検出データセットを対象に、モデルの汎化性能を測定するためのベンチマークデータセットです。対象分野には、医用画像解析、リモートセンシング、交通、文書、ユーザーインターフェース、小売、マシンビジョン、農業、スポーツ、野生生物、水中画像、ごみ検出が含まれます。センサーの種類には、RGB、魚眼、熱赤外線、X線、MRI、超音波、顕微鏡、合成開口レーダー(SAR)が含まれます。
厳選されたデータセットはUltralytics Platformでホストされています。
候補データセットについて、トレーニング分割と検証分割間で完全一致および類似する画像がないか確認しました。フラグが付いたペアをレビューし、分割間のデータ漏洩が確認された場合は該当データを削除するか、影響を受けたデータセットを置き換えました。
データセット#
| 分野 | センサー/画像 | データセット | クラス |
|---|---|---|---|
| 航空/リモートセンシング | RGB衛星画像 | Airbus Oil Storage Detection | 1:石油貯蔵タンク |
| 文書/UI | RGB画像およびスキャンページ | AnnoPage document elements | 25:化学式/方程式、記号/ロゴ、写真、図面、グラフ、地図、数式、楽譜、画像、装飾、銘文、間取り図、バーコード/QRコード、スタンプ、広告、手書きメモ、図、表、ビネット、フリーズ |
| スポーツ | RGBカメラ | Basketball Hoop Detection | 2:バスケットボール、バスケットゴールのネット |
| 運転/交通 | RGB道路カメラ | CEYMO | 11:バス専用レーン、自転車レーン、ひし形、交差点ボックス、左矢印、横断歩道、右矢印、直進矢印、徐行、直進・左折矢印、直進・右折矢印 |
| 医療 | MRI | Cheng Brain Tumor MRI | 3:髄膜腫、神経膠腫、下垂体腫瘍 |
| 医療 | カラー眼底カメラ | DDR Lesion | 4:硬性白斑、出血、微小動脈瘤、軟性白斑 |
| 産業 | ラインスキャン産業用カメラ | DeepPCB | 6:断線、短絡、マウスバイト、突起、銅箔、ピンホール |
| 医療 | 歯科X線 | DENTEX | 4:埋伏歯、う蝕、根尖病変、深いう蝕 |
| 産業 | RGB産業用カメラ | DSPCBSD | 9:短絡、突起、銅箔異常、断線、マウスバイト、穴あき、導体の傷、導体上の異物、基材上の異物 |
| その他 | RGB一人称視点カメラ | EgoHands | 4:own_left、own_right、other_left、other_right |
| その他 | RGB・赤外線トレイルカメラ | ENA24 | 野生生物、人、家畜、車両の22クラス |
| 運転/交通 | RGB魚眼カメラ | Fisheye8K | 5:バス、自転車、自動車、歩行者、トラック |
| 文書/UI | デジタル図面およびスキャン図面 | FloorPlanCAD | 建築物の開口部、家具、家電、浴室設備、階段、エレベーター、エスカレーターの30クラス |
| 医療 | X線 | GRAZPEDWRI-DX | 9:骨異常、骨病変、異物、骨折、金属、骨膜反応、回内筋サイン、軟部組織、テキスト |
| 文書/UI | デジタルスクリーンショット | GroundCUA UI | 9:ボタン、情報表示、入力要素、メニュー、ナビゲーション、その他、サイドバー、視覚要素、不明 |
| 農業 | RGB圃場カメラ | GWHD 2021 | 1:小麦の穂 |
| 航空/リモートセンシング | 熱赤外線UAV | HIT-UAV | 5:人、自動車、自転車、その他の車両、無視領域 |
| 医療 | セキュリティ用X線 | IED X-ray | 爆発物、バッテリー、ノートPC、ポケベル、携帯電話、トランシーバー、改造機器の11クラス |
| 医療 | RGB内視鏡 | Kvasir-SEG Polyp | 1:ポリープ |
| 運転/交通 | 熱赤外線 | LLVIP | 1:人 |
| 航空/リモートセンシング | 8バンドマルチスペクトル画像 | MODA Multispectral | 8:自動車、バン、トラック、バス、三輪車、自転車、ひさし付き自転車、歩行者 |
| 農業 | RGBカメラ | PlantDoc | 作物の葉および植物病害の29クラス |
| スポーツ | RGB動画フレーム | RacketVision Tennis Ball | 1:テニスボール |
| 運転/交通 | RGB道路カメラ | RDD2022 | 5:縦ひび割れ、横ひび割れ、亀甲状ひび割れ、その他の損傷、ポットホール |
| 小売 | RGBレジカメラ | RPC Retail Checkout | 包装食品、飲料、牛乳、缶詰、チョコレート、ガム、キャンディ、調味料、衛生用品、ティッシュ、文房具を対象とするレジ商品200クラス |
| その他 | RGB水中カメラ | RUOD Underwater | 10:ナマコ、ウニ、ホタテ、ヒトデ、魚、サンゴ、ダイバー、コウイカ、カメ、クラゲ |
| 産業 | RGBカメラ | Safe Human 17 | 人、身体部位、工具、個人用保護具の17クラス |
| 航空/リモートセンシング | RGB UAVカメラ | SeaDronesSee | 6:無視対象、泳者、ボート、水上バイク、救命器具、ブイ |
| 小売 | RGB小売カメラ | SKU-110K | 1: 棚上の商品 |
| スポーツ | RGB放送用カメラ | SoccerDB | 3: 選手、ボール、ゴール |
| 航空/リモートセンシング | 合成開口レーダー (SAR) | SSDD SAR 船舶 | 1: 船舶 |
| その他 | RGBカメラ | TACO ごみ | ごみの素材と物体の28クラス |
| 医療 | 胸部X線 | TBX11K | 2: 活動性結核、陳旧性肺結核 |
| 医療 | 超音波 | TN5000 甲状腺超音波 | 2: 良性、悪性 |
| 医療 | 光学顕微鏡 | TXL-PBC 血球 | 3: 白血球、赤血球、血小板 |
| その他 | RGBカメラ | UEC 学校給食食品 | 学校給食の食べ物と飲み物の21クラス |
| 航空/リモートセンシング | RGB UAVカメラ | VisDrone | 10: 歩行者、人、自転車、車、バン、トラック、三輪車、屋根付き三輪車、バス、バイク |
評価#
- 各トレーニングスプリットから最大1,000枚の画像をサンプリングし、検証スプリット全体を保持して、テストスプリットを除外します
fraction=[1000, 1.0, 0.0]を使用します。 - 同じ事前学習済みチェックポイントを各データセットで個別にファインチューニングし、patience 100、seed 0、batch 16、workers 4で100エポック学習します。画像サイズは640ピクセルです。seed 0では完全な再現性が得られないため、YOLO27mとYOLO27lではこの条件での3回の実行の平均値を報告します。
- クラスのリマッピング、channels-last、予測JSONの出力を有効にし、プロットを無効にします。
- 各データセットの最良のチェックポイントを評価し、保存された
max_detを再利用します。これは、そのデータセットで最大の物体数を考慮したものです。 - サイズ別mAP50-95を算出するには、COCOのSmall、Medium、Largeの区分を適用する前に、正解データと予測ボックスの面積に
(640 / max(image_width, image_height)) ** 2を掛けます。 - すべてのデータセットを均等に重み付けします。各サイズ指標には、その区分に10個以上の物体が含まれるデータセットのみを使用します。
マクロmAPはsum(dataset validation mAP50-95) / 37です。指標は各データセットの保存済み予測から算出されます。
ベンチマーク結果#
指標は37の検証スプリットにおけるマクロ平均で、パーセンテージで報告されます。
| サイズ | モデル | mAP50-95 | 適合率 | 再現率 | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
ベンチマーク評価#
データセットにアクセスするには、Ultralyticsのmainブランチを使用し、ULTRALYTICS_API_KEYを設定します。
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# メインブランチでは、元の面積に基づくサイズ区分が報告されます。このベンチマークでは、GTと予測の面積を個別にスケーリングします
# サイズ別APを評価する前に、(640 / max(image_width, image_height)) ** 2を掛けます。引用#
Ultralytics Benchmarkを使用した場合は、Ultralytics YOLO26論文を引用してください。
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


