Ultralytics YOLO27: ウェイティングリストに登録してください。
はじめる

Ultralytics Benchmark

COCOは、実環境における多くのコンピュータビジョンタスクを代表するものではありません。Ultralytics Benchmarkは、高品質なバウンディングボックスラベルを備えた、厳選された37の物体検出データセットを対象に、モデルの汎化性能を測定するためのベンチマークデータセットです。対象分野には、医用画像解析、リモートセンシング、交通、文書、ユーザーインターフェース、小売、マシンビジョン、農業、スポーツ、野生生物、水中画像、ごみ検出が含まれます。センサーの種類には、RGB、魚眼、熱赤外線、X線、MRI、超音波、顕微鏡、合成開口レーダー(SAR)が含まれます。

厳選されたデータセットはUltralytics Platformでホストされています。 VLMリーダーボードでは、これらのデータセットのうち36種類の画像を対象に、視覚言語モデルとオープンボキャブラリー検出モデルを精度、コスト、速度でランキングしています。

候補データセットについて、トレーニング分割と検証分割間で完全一致および類似する画像がないか確認しました。フラグが付いたペアをレビューし、分割間のデータ漏洩が確認された場合は該当データを削除するか、影響を受けたデータセットを置き換えました。

データセット#

分野センサー/画像データセットクラス
航空/リモートセンシングRGB衛星画像Airbus Oil Storage Detection1:石油貯蔵タンク
文書/UIRGB画像およびスキャンページAnnoPage document elements25:化学式/方程式、記号/ロゴ、写真、図面、グラフ、地図、数式、楽譜、画像、装飾、銘文、間取り図、バーコード/QRコード、スタンプ、広告、手書きメモ、図、表、ビネット、フリーズ
スポーツRGBカメラBasketball Hoop Detection2:バスケットボール、バスケットゴールのネット
運転/交通RGB道路カメラCEYMO11:バス専用レーン、自転車レーン、ひし形、交差点ボックス、左矢印、横断歩道、右矢印、直進矢印、徐行、直進・左折矢印、直進・右折矢印
医療MRICheng Brain Tumor MRI3:髄膜腫、神経膠腫、下垂体腫瘍
医療カラー眼底カメラDDR Lesion4:硬性白斑、出血、微小動脈瘤、軟性白斑
産業ラインスキャン産業用カメラDeepPCB6:断線、短絡、マウスバイト、突起、銅箔、ピンホール
医療歯科X線DENTEX4:埋伏歯、う蝕、根尖病変、深いう蝕
産業RGB産業用カメラDSPCBSD9:短絡、突起、銅箔異常、断線、マウスバイト、穴あき、導体の傷、導体上の異物、基材上の異物
その他RGB一人称視点カメラEgoHands4:own_left、own_right、other_left、other_right
その他RGB・赤外線トレイルカメラENA24野生生物、人、家畜、車両の22クラス
運転/交通RGB魚眼カメラFisheye8K5:バス、自転車、自動車、歩行者、トラック
文書/UIデジタル図面およびスキャン図面FloorPlanCAD建築物の開口部、家具、家電、浴室設備、階段、エレベーター、エスカレーターの30クラス
医療X線GRAZPEDWRI-DX9:骨異常、骨病変、異物、骨折、金属、骨膜反応、回内筋サイン、軟部組織、テキスト
文書/UIデジタルスクリーンショットGroundCUA UI9:ボタン、情報表示、入力要素、メニュー、ナビゲーション、その他、サイドバー、視覚要素、不明
農業RGB圃場カメラGWHD 20211:小麦の穂
航空/リモートセンシング熱赤外線UAVHIT-UAV5: 人、車、自転車、その他の車両、無視領域(評価対象外)
医療セキュリティ用X線IED X-ray爆発物、バッテリー、ノートPC、ポケベル、携帯電話、トランシーバー、改造機器の11クラス
医療RGB内視鏡Kvasir-SEG Polyp1:ポリープ
運転/交通熱赤外線LLVIP1:人
航空/リモートセンシング8バンドマルチスペクトル画像MODA Multispectral8:自動車、バン、トラック、バス、三輪車、自転車、ひさし付き自転車、歩行者
農業RGBカメラPlantDoc作物の葉および植物病害の29クラス
スポーツRGB動画フレームRacketVision Tennis Ball1:テニスボール
運転/交通RGB道路カメラRDD20225:縦ひび割れ、横ひび割れ、亀甲状ひび割れ、その他の損傷、ポットホール
小売RGBレジカメラRPC Retail Checkout包装食品、飲料、牛乳、缶詰、チョコレート、ガム、キャンディ、調味料、衛生用品、ティッシュ、文房具を対象とするレジ商品200クラス
その他RGB水中カメラRUOD Underwater10:ナマコ、ウニ、ホタテ、ヒトデ、魚、サンゴ、ダイバー、コウイカ、カメ、クラゲ
産業RGBカメラSafe Human 17人、身体部位、工具、個人用保護具の17クラス
航空/リモートセンシングRGB UAVカメラSeaDronesSee6:無視対象、泳者、ボート、水上バイク、救命器具、ブイ
小売RGB小売カメラSKU-110K1: 棚上の商品
スポーツRGB放送用カメラSoccerDB3: 選手、ボール、ゴール
航空/リモートセンシング合成開口レーダー (SAR)SSDD SAR 船舶1: 船舶
その他RGBカメラTACO ごみごみの素材と物体の28クラス
医療胸部X線TBX11K2: 活動性結核、陳旧性肺結核
医療超音波TN5000 甲状腺超音波2: 良性、悪性
医療光学顕微鏡TXL-PBC 血球3: 白血球、赤血球、血小板
その他RGBカメラUEC 学校給食食品学校給食の食べ物と飲み物の21クラス
航空/リモートセンシングRGB UAVカメラVisDrone10: 歩行者、人、自転車、車、バン、トラック、三輪車、屋根付き三輪車、バス、バイク

評価#

  • 各トレーニングスプリットから最大1,000枚の画像をサンプリングし、検証スプリット全体を保持して、テストスプリットを除外します fraction=[1000, 1.0, 0.0] を使用します。
  • 同じ事前学習済みチェックポイントを各データセットで個別にファインチューニングし、patience 100、seed 0、batch 16、workers 4で100エポック学習します。画像サイズは640ピクセルです。seed 0では完全な再現性が得られないため、YOLO27mとYOLO27lではこの条件での3回の実行の平均値を報告します。
  • クラスのリマッピング、channels-last、予測JSONの出力を有効にし、プロットを無効にします。
  • 各データセットの最良のチェックポイントを評価し、保存されたmax_detを再利用します。これは、そのデータセットで最大の物体数を考慮したものです。
  • VisDrone DET toolkitと同様に無視領域を適用します。無視領域が半分以上を覆う予測とラベルを除外します。これらはVisDroneの公式な無視領域1,378個と、HIT-UAVのignored regionボックス7個です。その後、HIT-UAVのクラスを削除します。
  • サイズ別mAP50-95を計算するには、COCOのSmall、Medium、Largeの区分を適用する前に、正解ボックスと予測ボックスの面積に(640 / max(image_width, image_height)) ** 2を掛けます。
  • すべてのデータセットを均等に重み付けします。各サイズ指標には、その区分に10個以上の物体が含まれるデータセットのみを使用します。

マクロmAPはsum(dataset validation mAP50-95) / 37です。指標は各データセットの保存済み予測から算出されます。

ベンチマーク結果#

指標は37の検証分割にわたるマクロ平均で、パーセンテージとして報告されます。YOLO27は未リリースのプレビューであり、重みはまだ利用できません。

サイズモデルmAP50-95適合率再現率mAP50-95-SmAP50-95-MmAP50-95-L
L/XYOLO27l55.9779.1175.1438.5255.9064.64
L/XYOLO26x50.1976.9369.0834.8950.7852.15
L/XYOLO26l50.0575.2869.5334.9650.3752.25
L/XYOLO11l48.7174.2668.5032.2950.8451.14
L/XYOLOv5l48.2574.0368.1632.1549.8950.27
L/XYOLOv8l48.2274.1569.1432.4449.1449.98
L/XYOLOv8x47.9476.0066.8231.6049.8550.16
L/XYOLOv5x47.5875.0568.1531.6649.6050.18
L/XYOLO11x47.4973.7567.5031.6448.8249.66
MYOLO27m53.6876.6673.2036.4753.6561.30
MYOLO26m49.7476.2368.7433.4050.2951.78
MYOLOv5m48.4174.3468.3932.1249.7852.39
MYOLO11m48.3973.8768.8532.6249.8751.23
MYOLOv8m48.2573.8968.6931.2149.7352.41
SYOLO27s51.7676.6871.4635.1951.6854.53
SYOLO11s48.0075.0067.8529.9849.8151.13
SYOLO26s47.7774.2467.2332.0047.9151.00
SYOLOv5s47.5574.1867.3730.9549.1350.57
SYOLOv8s47.5374.2767.6831.3848.5250.57
NYOLO27n49.3275.4668.8232.4149.2754.05
NYOLO11n46.3772.8665.9428.7647.5351.05
NYOLOv8n46.0972.5365.8929.0247.6149.62
NYOLOv5n45.2971.7765.2129.0346.8348.59
NYOLO26n44.3770.2563.4029.1244.7748.39

ベンチマーク評価#

データセットにアクセスするには、Ultralyticsのmainブランチを使用し、ULTRALYTICS_API_KEYを設定します。

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo26n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# メインブランチでは、元の面積に基づくサイズ区分が報告されます。このベンチマークでは、GTと予測の面積を個別にスケーリングします
# サイズ別APを評価する前に (640 / max(image_width, image_height)) ** 2 でスケーリングし、VisDroneと
# HIT-UAVの無視領域を適用します。このスニペットはどちらも行いません。

引用#

Ultralytics Benchmarkを使用した場合は、Ultralytics YOLO26論文を引用してください。

引用
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}
コントリビューター

コメント

質問したり、結果を共有したり、ほかの人をサポートしたりできます。