Ultralytics Benchmark#
COCO ist für viele praxisnahe Aufgaben im Bereich Computer Vision nicht repräsentativ. Ultralytics Benchmark ist ein Benchmark-Datensatz, mit dem die Generalisierungsfähigkeit von Modellen anhand von 37 sorgfältig zusammengestellten Objekterkennungsdatensätzen mit hochwertigen Begrenzungsrahmen gemessen wird. Die Bereiche umfassen medizinische Bildanalyse, Fernerkundung, Verkehr, Dokumente, Benutzeroberflächen, Einzelhandel, industrielle Bildverarbeitung, Landwirtschaft, Sport, Wildtiere, Unterwasseraufnahmen und Abfallerkennung. Zu den Sensortypen zählen RGB, Fischaugen-, thermische Infrarot-, Röntgen-, MRT-, Ultraschall- und Mikroskopieaufnahmen sowie Radar mit synthetischer Apertur (SAR).
Die zusammengestellten Datensätze werden auf der Ultralytics Platform gehostet.
Mögliche Datensätze wurden in den Trainings- und Validierungssplits auf identische und nahezu identische Bilder geprüft. Markierte Bildpaare wurden überprüft; bestätigte Überschneidungen zwischen den Splits wurden entfernt oder der betroffene Datensatz wurde ersetzt.
Datensätze#
| Bereich | Sensor / Bildmaterial | Datensatz | Klassen |
|---|---|---|---|
| Luftbild/Fernerkundung | RGB-Satellitenbilder | Erkennung von Öllagern auf Airbus-Bildern | 1: Öllagertank |
| Dokument/Benutzeroberfläche | RGB-Bilder und gescannte Seiten | Dokumentelemente von AnnoPage | 25: chemische Formel/Gleichung, Symbol/Logo, Foto, Zeichnung, Diagramm, Karte, mathematischer Ausdruck, Notenschrift, Bild, Dekoration, Inschrift, Grundriss, Barcode/QR-Code, Stempel, Werbung, handschriftliche Notiz, Schaubild, Tabelle, Vignette und Fries |
| Sport | RGB-Kamera | Erkennung von Basketballkörben | 2: Basketball, Basketballnetz |
| Fahren/Verkehr | RGB-Straßenkamera | CEYMO | 11: Busspur, Radweg, Raute, Anschlusskasten, Pfeil nach links, Fußgängerüberweg, Pfeil nach rechts, Pfeil geradeaus, langsam, Pfeil geradeaus-links, Pfeil geradeaus-rechts |
| Medizin | MRT | Cheng-MRT-Gehirntumor | 3: Meningeom, Gliom, Hypophyse |
| Medizin | Farb-Funduskamera | DDR-Läsionen | 4: harte Exsudate, Blutungen, Mikroaneurysmen, weiche Exsudate |
| Industrie | Industrielle Zeilenkamera | DeepPCB | 6: Unterbrechung, Kupfergrat, Fremdkupfer, Leiterbahnunterbrechung, Mausfraß, Nadelloch |
| Medizin | Zahnröntgen | DENTEX | 4: retinierter Zahn, Karies, periapikale Läsion, tiefe Karies |
| Industrie | Industrielle RGB-Kamera | DSPCBSD | 9: Kurzschluss, Kupfergrat, Fremdkupfer, Unterbrechung, Mausfraß, Lochrandfehler, Kratzer auf Leiterbahn, Fremdkörper auf Leiterbahn, Fremdkörper im Basismaterial |
| Sonstiges | Egocentrische RGB-Kamera | EgoHands | 4: own_left, own_right, other_left, other_right |
| Sonstiges | RGB- und Infrarot-Wildkamera | ENA24 | 22 Klassen aus den Bereichen Wildtiere, Personen, Haustiere und Fahrzeuge |
| Fahren/Verkehr | RGB-Fischaugenkamera | Fisheye8K | 5: Bus, Fahrrad, Auto, Fußgänger, Lastwagen |
| Dokument/Benutzeroberfläche | Digitale und gescannte Pläne | FloorPlanCAD | 30 Klassen für architektonische Öffnungen, Möbel, Haushaltsgeräte, Badezimmereinrichtungen, Treppen, Aufzüge und Rolltreppen |
| Medizin | Röntgen | GRAZPEDWRI-DX | 9: Knochenanomalie, Knochenläsion, Fremdkörper, Fraktur, Metall, Periostreaktion, Pronatorzeichen, Weichteilgewebe, Text |
| Dokument/Benutzeroberfläche | Digitale Bildschirmfotos | GroundCUA-Benutzeroberfläche | 9: Schaltfläche, Informationsanzeige, Eingabeelemente, Menü, Navigation, Sonstiges, Seitenleiste, visuelle Elemente, Unbekannt |
| Landwirtschaft | RGB-Feldkamera | GWHD 2021 | 1: Weizenähre |
| Luftbild/Fernerkundung | Thermischer Infrarot-UAV | HIT-UAV | 5: Person, Auto, Fahrrad, sonstiges Fahrzeug, ignorierter Bereich |
| Medizin | Sicherheitsröntgen | IED-Röntgen | 11 Klassen für Sprengstoffe, Batterien, Laptops, Pager, Mobiltelefone, Walkie-Talkies und modifizierte Geräte |
| Medizin | RGB-Endoskop | Kvasir-SEG-Polypen | 1: Polyp |
| Fahren/Verkehr | Thermisches Infrarot | LLVIP | 1: Person |
| Luftbild/Fernerkundung | Multispektrale 8-Band-Bilder | MODA Multispektral | 8: Auto, Lieferwagen, Lastwagen, Bus, Dreirad, Fahrrad, Fahrrad mit Vordach, Fußgänger |
| Landwirtschaft | RGB-Kamera | PlantDoc | 29 Klassen für Nutzpflanzenblätter und Pflanzenkrankheiten |
| Sport | RGB-Videobilder | RacketVision-Tennisball | 1: Tennisball |
| Fahren/Verkehr | RGB-Straßenkamera | RDD2022 | 5: Längsriss, Querriss, Netzriss, sonstiger Straßenschaden, Schlagloch |
| Einzelhandel | RGB-Kassenscannerkamera | RPC-Kassenerkennung im Einzelhandel | 200 Produktklassen für Kassenbereiche, darunter verpackte Lebensmittel, Getränke, Milch, Konserven, Schokolade, Kaugummi, Süßigkeiten, Gewürze, Hygieneartikel, Taschentücher und Schreibwaren |
| Sonstiges | RGB-Unterwasserkamera | RUOD Unterwasser | 10: Seegurke, Seeigel, Jakobsmuschel, Seestern, Fisch, Korallen, Taucher, Sepia, Schildkröte, Qualle |
| Industrie | RGB-Kamera | Safe Human 17 | 17 Klassen für Personen, Körperteile, Werkzeuge und persönliche Schutzausrüstung |
| Luftbild/Fernerkundung | RGB-UAV-Kamera | SeaDronesSee | 6: ignoriert, Schwimmer, Boot, Jetski, Rettungsmittel, Boje |
| Einzelhandel | RGB-Einzelhandelskamera | SKU-110K | 1: Regalprodukt |
| Sport | RGB-Broadcastkamera | SoccerDB | 3: Spieler, Ball, Tor |
| Luftbild/Fernerkundung | Synthetisches Aperturradar (SAR) | SSDD SAR Ship | 1: Schiff |
| Sonstiges | RGB-Kamera | TACO Litter | 28 Klassen für Abfallmaterialien und -objekte |
| Medizin | Röntgenaufnahme des Brustkorbs | TBX11K | 2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis |
| Medizin | Ultraschall | TN5000 Thyroid Ultrasound | 2: gutartig, bösartig |
| Medizin | Lichtmikroskopie | TXL-PBC Blood Cells | 3: weiße Blutkörperchen, rote Blutkörperchen, Blutplättchen |
| Sonstiges | RGB-Kamera | UEC School Lunch Food | 21 Klassen für Speisen und Getränke in Schulmittagessen |
| Luftbild/Fernerkundung | RGB-UAV-Kamera | VisDrone | 10: Fußgänger, Personen, Fahrrad, Auto, Van, Lastwagen, Dreirad, überdachtes Dreirad, Bus, Motorrad |
Auswertung#
- Ziehe aus jeder Trainingsaufteilung bis zu 1.000 Bilder, behalte die vollständige Validierungsaufteilung bei und schließe die Testaufteilung aus mit
fraction=[1000, 1.0, 0.0]. - Trainiere denselben vortrainierten Checkpoint für jedes Dataset separat 100 Epochen lang mit patience 100, seed 0, batch 16 und vier Workern nach. Die Bilder haben eine Größe von 640 Pixeln. Seed 0 ist nicht vollständig deterministisch, daher geben YOLO27m und YOLO27l den Mittelwert aus 3 solchen Läufen an.
- Aktiviere die Klassenumzuordnung, das Speicherformat channels-last und die Ausgabe von Vorhersagen im JSON-Format; deaktiviere dabei die Diagramme.
- Werte den besten Checkpoint jedes Datasets aus und verwende dessen gespeichertes
max_deterneut, das die größte Anzahl an Objekten berücksichtigt. - Multipliziere für mAP50-95 nach Größe die Flächen der Ground-Truth- und Vorhersage-Boxen mit
(640 / max(image_width, image_height)) ** 2, bevor du sie den COCO-Kategorien Small, Medium und Large zuordnest. - Gewichte jedes Dataset gleich. Jede Größenmetrik umfasst nur Datasets mit mindestens 10 Objekten in der jeweiligen Kategorie.
Der Makro-mAP ist sum(dataset validation mAP50-95) / 37. Die Metriken werden anhand der gespeicherten Vorhersagen jedes Datasets berechnet.
Benchmark-Ergebnisse#
Die Metriken sind Makromittelwerte über die 37 Validierungsaufteilungen und werden als Prozentsätze angegeben.
| Größe | Modell | mAP50-95 | Precision | Recall | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Benchmarking#
Verwende den Branch main von Ultralytics und setze ULTRALYTICS_API_KEY, um auf das Dataset zuzugreifen:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# Der Haupt-Branch verwendet Größenkategorien mit nativer Fläche. Dieser Benchmark skaliert GT- und Vorhersageflächen separat
# mit (640 / max(image_width, image_height)) ** 2, bevor AP nach Größe berechnet wird.Zitat#
Wenn du Ultralytics Benchmark in deiner Arbeit verwendest, zitiere bitte das Ultralytics-YOLO26-Paper:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


