Ultralytics Benchmark
COCO, gerçek dünyadaki birçok bilgisayarlı görü görevini temsil etmez. Ultralytics Benchmark, yüksek kaliteli sınırlayıcı kutu etiketlerine sahip, özenle seçilmiş 37 nesne algılama veri kümesinde model genellenebilirliğini ölçmek için kullanılan bir kıyaslama veri kümesidir. Veri kümesinin alanları arasında tıbbi görüntü analizi, uzaktan algılama, trafik, belgeler, kullanıcı arayüzleri, perakende, makine görüşü, tarım, spor, yaban hayatı, su altı görüntüleme ve atık algılama yer alır. Sensör türleri arasında RGB, balıkgözü, termal kızılötesi, X-ışını, MRI, ultrason, mikroskopi ve sentetik açıklıklı radar (SAR) bulunur.
Derlenmiş veri kümeleri Ultralytics Platform üzerinde barındırılır. VLM liderlik tablosu, bu veri kümelerinden 36'sındaki görüntüler üzerinde görsel dil modellerini ve açık sözcük dağarcıklı algılayıcıları doğruluk, maliyet ve hıza göre sıralar.
Aday veri kümeleri, eğitim ve doğrulama bölümlerindeki tam ve yakın kopya görüntüler açısından kontrol edildi. İşaretlenen çiftler incelendi; doğrulanan bölüm sızıntıları giderildi veya etkilenen veri kümesi değiştirildi.
Veri Kümeleri#
| Alan | Sensör / görüntü türü | Veri kümesi | Sınıflar |
|---|---|---|---|
| Hava görüntüleri/RS | RGB uydu görüntüleri | Airbus Petrol Depolama Algılama | 1: petrol depolama tankı |
| Belge/Kullanıcı arayüzü | RGB görüntüler ve taranmış sayfalar | AnnoPage belge öğeleri | 25: kimyasal formül/denklem, sembol/logo, fotoğraf, çizim, grafik, harita, matematiksel ifade, müzik notasyonu, görsel, dekorasyon, yazıt, kat planı, barkod/QR kodu, damga, reklam, el yazısı not, şema, tablo, vinyet ve friz |
| Spor | RGB kamera | Basketbol Potası Algılama | 2: basketbol topu, basketbol filesi |
| Sürüş/Trafik | RGB yol kamerası | CEYMO | 11: otobüs şeridi, bisiklet şeridi, baklava dilimi, buat, sola ok, yaya geçidi, sağa ok, düz ok, yavaş, düz-sol ok, düz-sağ ok |
| Tıp | MRI | Cheng Beyin Tümörü MRI | 3: menenjiyom, gliom, hipofiz |
| Tıp | Renkli fundus kamerası | DDR Lezyon | 4: sert eksüdalar, kanamalar, mikroanevrizmalar, yumuşak eksüdalar |
| Endüstri | Doğrusal taramalı endüstriyel kamera | DeepPCB | 6: açık devre, kısa devre, fare ısırığı, çıkıntı, bakır, iğne deliği |
| Tıp | Diş röntgeni | DENTEX | 4: gömülü diş, çürük, periapikal lezyon, derin çürük |
| Endüstri | RGB endüstriyel kamera | DSPCBSD | 9: kısa devre, çıkıntı, istenmeyen bakır, açık devre, fare ısırığı, delik taşması, iletken çizilmesi, iletkende yabancı madde, taban malzemesinde yabancı madde |
| Diğer | RGB birinci şahıs kamerası | EgoHands | 4: own_left, own_right, other_left, other_right |
| Diğer | RGB ve kızılötesi iz kamerası | ENA24 | 22 yaban hayatı, insan, evcil hayvan ve araç sınıfı |
| Sürüş/Trafik | RGB balıkgözü kamera | Fisheye8K | 5: Otobüs, Bisiklet, Otomobil, Yaya, Kamyon |
| Belge/Kullanıcı arayüzü | Dijital ve taranmış planlar | FloorPlanCAD | Mimari açıklık, mobilya, ev aleti, banyo donanımı, merdiven, asansör ve yürüyen merdiven sınıflarından 30'u |
| Tıp | X-ışını | GRAZPEDWRI-DX | 9: kemik anomalisi, kemik lezyonu, yabancı cisim, kırık, metal, periosteal reaksiyon, pronator işareti, yumuşak doku, metin |
| Belge/Kullanıcı arayüzü | Dijital ekran görüntüleri | GroundCUA kullanıcı arayüzü | 9: Düğme, Bilgi Görüntüleme, Giriş Öğeleri, Menü, Gezinme, Diğerleri, Kenar Çubuğu, Görsel Öğeler, Bilinmiyor |
| Tarım | RGB tarla kamerası | GWHD 2021 | 1: wheat_head |
| Hava görüntüleri/RS | Termal kızılötesi İHA | HIT-UAV | 5: kişi, otomobil, bisiklet, diğer araç, yok sayılan bölge (puanlanmaz) |
| Tıp | Güvenlik X-ışını | IED X-ışını | Patlayıcı, pil, dizüstü bilgisayar, çağrı cihazı, cep telefonu, telsiz ve değiştirilmiş cihaz sınıflarından 11'i |
| Tıp | RGB endoskop | Kvasir-SEG Polip | 1: polip |
| Sürüş/Trafik | Termal kızılötesi | LLVIP | 1: kişi |
| Hava görüntüleri/RS | 8 bantlı çok spektrumlu görüntüler | MODA Çok Spektrumlu | 8: otomobil, minibüs, kamyon, otobüs, üç tekerlekli bisiklet, bisiklet, tenteli bisiklet, yaya |
| Tarım | RGB kamera | PlantDoc | Mahsul yaprağı ve bitki hastalığı sınıflarından 29'u |
| Spor | RGB video kareleri | RacketVision Tenis Topu | 1: tenis topu |
| Sürüş/Trafik | RGB yol kamerası | RDD2022 | 5: boyuna çatlak, enine çatlak, timsah sırtı çatlağı, diğer bozulma, çukur |
| Perakende | RGB kasa kamerası | RPC Perakende Kasa | Paketli gıda, içecek, süt, konserve, çikolata, sakız, şekerleme, çeşni, hijyen ürünleri, mendiller ve kırtasiye ürünlerini kapsayan 200 kasa ürünü sınıfı |
| Diğer | RGB su altı kamerası | RUOD Su Altı | 10: deniz hıyarı, deniz kestanesi, tarak, denizyıldızı, balık, mercanlar, dalgıç, mürekkep balığı, kaplumbağa, denizanası |
| Endüstri | RGB kamera | Safe Human 17 | İnsan, vücut bölümü, alet ve kişisel koruyucu ekipman sınıflarından 17'si |
| Hava görüntüleri/RS | RGB İHA kamerası | SeaDronesSee | 6: göz ardı edilen, yüzücü, tekne, jetski, life_saving_appliances, şamandıra |
| Perakende | RGB perakende kamerası | SKU-110K | 1: raf ürünü |
| Spor | RGB yayın kamerası | SoccerDB | 3: oyuncu, top, kale |
| Hava görüntüleri/RS | Sentetik açıklıklı radar (SAR) | SSDD SAR Ship | 1: gemi |
| Diğer | RGB kamera | TACO Litter | 28 çöp malzemesi ve nesne sınıfı |
| Tıp | Göğüs röntgeni | TBX11K | 2: Aktif Tüberküloz, Eski Akciğer Tüberkülozu |
| Tıp | Ultrason | TN5000 Thyroid Ultrasound | 2: iyi huylu, kötü huylu |
| Tıp | Işık mikroskopisi | TXL-PBC Blood Cells | 3: beyaz kan hücreleri, kırmızı kan hücreleri, trombositler |
| Diğer | RGB kamera | UEC School Lunch Food | 21 okul öğle yemeği yiyecek ve içecek sınıfı |
| Hava görüntüleri/RS | RGB İHA kamerası | VisDrone | 10: yaya, insanlar, bisiklet, araba, minibüs, kamyon, üç tekerlekli bisiklet, tenteli üç tekerlekli bisiklet, otobüs, motosiklet |
Değerlendirme#
- Her eğitim bölümünden en fazla 1.000 görüntü örnekle, doğrulama bölümünün tamamını koru ve test bölümünü
fraction=[1000, 1.0, 0.0]ile hariç tut. - Aynı önceden eğitilmiş kontrol noktasını her veri kümesinde bağımsız olarak 100 epoch boyunca, patience 100, seed 0, batch 16 ve dört worker ile ince ayarla. Görüntüler 640 piksel kullanır. Seed 0 tam olarak belirlenimci olmadığından YOLO27m ve YOLO27l, bu tür 3 çalışmanın ortalamasını raporlar.
- Sınıf eşlemesini, kanallar-sonda düzenini ve tahminlerin JSON çıktısını etkinleştir; grafikleri devre dışı bırak.
- Her veri kümesinin en iyi kontrol noktasını değerlendir ve en yüksek nesne sayısını hesaba katan kayıtlı
max_detdeğerini yeniden kullan. - Yok sayma bölgelerini VisDrone DET araç setindeki gibi uygula: yok sayılan bir bölgenin en az yarısını kapladıkları durumlarda tahminleri ve etiketleri çıkar. Bunlar VisDrone'un resmi 1.378 yok sayma bölgesi ile HIT-UAV'ın 7
ignored regionkutusudur; ardından HIT-UAV sınıfı kaldırılır. - Boyuta özgü mAP50-95 için, COCO Küçük, Orta ve Büyük gruplarını belirlemeden önce gerçek değer ve tahmin kutularının alanlarını
(640 / max(image_width, image_height)) ** 2ile çarp. - Her veri kümesine eşit ağırlık ver. Her boyut metriğine yalnızca ilgili aralıkta en az 10 nesne bulunan veri kümeleri dahil edilir.
Makro mAP, sum(dataset validation mAP50-95) / 37 değeridir. Metrikler, her veri kümesinin kayıtlı tahminlerinden hesaplanır.
Kıyaslama sonuçları#
Metrikler, 37 doğrulama bölümünün makro ortalamalarıdır ve yüzde olarak raporlanır. YOLO27 henüz yayımlanmamış bir önizlemedir; ağırlıkları henüz mevcut değildir.
| Boyut | Model | mAP50-95 | Kesinlik | Duyarlılık | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.97 | 79.11 | 75.14 | 38.52 | 55.90 | 64.64 |
| L/X | YOLO26x | 50.19 | 76.93 | 69.08 | 34.89 | 50.78 | 52.15 |
| L/X | YOLO26l | 50.05 | 75.28 | 69.53 | 34.96 | 50.37 | 52.25 |
| L/X | YOLO11l | 48.71 | 74.26 | 68.50 | 32.29 | 50.84 | 51.14 |
| L/X | YOLOv5l | 48.25 | 74.03 | 68.16 | 32.15 | 49.89 | 50.27 |
| L/X | YOLOv8l | 48.22 | 74.15 | 69.14 | 32.44 | 49.14 | 49.98 |
| L/X | YOLOv8x | 47.94 | 76.00 | 66.82 | 31.60 | 49.85 | 50.16 |
| L/X | YOLOv5x | 47.58 | 75.05 | 68.15 | 31.66 | 49.60 | 50.18 |
| L/X | YOLO11x | 47.49 | 73.75 | 67.50 | 31.64 | 48.82 | 49.66 |
| M | YOLO27m | 53.68 | 76.66 | 73.20 | 36.47 | 53.65 | 61.30 |
| M | YOLO26m | 49.74 | 76.23 | 68.74 | 33.40 | 50.29 | 51.78 |
| M | YOLOv5m | 48.41 | 74.34 | 68.39 | 32.12 | 49.78 | 52.39 |
| M | YOLO11m | 48.39 | 73.87 | 68.85 | 32.62 | 49.87 | 51.23 |
| M | YOLOv8m | 48.25 | 73.89 | 68.69 | 31.21 | 49.73 | 52.41 |
| S | YOLO27s | 51.76 | 76.68 | 71.46 | 35.19 | 51.68 | 54.53 |
| S | YOLO11s | 48.00 | 75.00 | 67.85 | 29.98 | 49.81 | 51.13 |
| S | YOLO26s | 47.77 | 74.24 | 67.23 | 32.00 | 47.91 | 51.00 |
| S | YOLOv5s | 47.55 | 74.18 | 67.37 | 30.95 | 49.13 | 50.57 |
| S | YOLOv8s | 47.53 | 74.27 | 67.68 | 31.38 | 48.52 | 50.57 |
| N | YOLO27n | 49.32 | 75.46 | 68.82 | 32.41 | 49.27 | 54.05 |
| N | YOLO11n | 46.37 | 72.86 | 65.94 | 28.76 | 47.53 | 51.05 |
| N | YOLOv8n | 46.09 | 72.53 | 65.89 | 29.02 | 47.61 | 49.62 |
| N | YOLOv5n | 45.29 | 71.77 | 65.21 | 29.03 | 46.83 | 48.59 |
| N | YOLO26n | 44.37 | 70.25 | 63.40 | 29.12 | 44.77 | 48.39 |
Kıyaslama#
Veri kümesine erişmek için ULTRALYTICS_API_KEY ayarıyla Ultralytics'in main dalını kullan:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo26n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# Ana dal, yerel alan boyutu aralıklarını raporlar. Bu kıyaslama, gerçek değer ve tahmin alanlarını ayrıca ölçeklendirir
# boyuta özgü AP puanlamasından önce (640 / max(image_width, image_height)) ** 2 ile çarpar ve VisDrone ile
# HIT-UAV yok sayma bölgelerini uygular. Bu kod parçası bunların ikisini de yapmaz.Atıf#
Çalışmanda Ultralytics Benchmark'ı kullanıyorsan lütfen Ultralytics YOLO26 makalesine atıfta bulun:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}Yorumlar
Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.



