Ultralytics YOLO27:
Get Started

Ultralytics Benchmark#

COCO ist für viele praxisnahe Aufgaben im Bereich Computer Vision nicht repräsentativ. Ultralytics Benchmark ist ein Benchmark-Datensatz, mit dem die Generalisierungsfähigkeit von Modellen anhand von 37 sorgfältig zusammengestellten Objekterkennungsdatensätzen mit hochwertigen Begrenzungsrahmen gemessen wird. Die Bereiche umfassen medizinische Bildanalyse, Fernerkundung, Verkehr, Dokumente, Benutzeroberflächen, Einzelhandel, industrielle Bildverarbeitung, Landwirtschaft, Sport, Wildtiere, Unterwasseraufnahmen und Abfallerkennung. Zu den Sensortypen zählen RGB, Fischaugen-, thermische Infrarot-, Röntgen-, MRT-, Ultraschall- und Mikroskopieaufnahmen sowie Radar mit synthetischer Apertur (SAR).

Die zusammengestellten Datensätze werden auf der Ultralytics Platform gehostet.

Mögliche Datensätze wurden in den Trainings- und Validierungssplits auf identische und nahezu identische Bilder geprüft. Markierte Bildpaare wurden überprüft; bestätigte Überschneidungen zwischen den Splits wurden entfernt oder der betroffene Datensatz wurde ersetzt.

Datensätze#

BereichSensor / BildmaterialDatensatzKlassen
Luftbild/FernerkundungRGB-SatellitenbilderErkennung von Öllagern auf Airbus-Bildern1: Öllagertank
Dokument/BenutzeroberflächeRGB-Bilder und gescannte SeitenDokumentelemente von AnnoPage25: chemische Formel/Gleichung, Symbol/Logo, Foto, Zeichnung, Diagramm, Karte, mathematischer Ausdruck, Notenschrift, Bild, Dekoration, Inschrift, Grundriss, Barcode/QR-Code, Stempel, Werbung, handschriftliche Notiz, Schaubild, Tabelle, Vignette und Fries
SportRGB-KameraErkennung von Basketballkörben2: Basketball, Basketballnetz
Fahren/VerkehrRGB-StraßenkameraCEYMO11: Busspur, Radweg, Raute, Anschlusskasten, Pfeil nach links, Fußgängerüberweg, Pfeil nach rechts, Pfeil geradeaus, langsam, Pfeil geradeaus-links, Pfeil geradeaus-rechts
MedizinMRTCheng-MRT-Gehirntumor3: Meningeom, Gliom, Hypophyse
MedizinFarb-FunduskameraDDR-Läsionen4: harte Exsudate, Blutungen, Mikroaneurysmen, weiche Exsudate
IndustrieIndustrielle ZeilenkameraDeepPCB6: Unterbrechung, Kupfergrat, Fremdkupfer, Leiterbahnunterbrechung, Mausfraß, Nadelloch
MedizinZahnröntgenDENTEX4: retinierter Zahn, Karies, periapikale Läsion, tiefe Karies
IndustrieIndustrielle RGB-KameraDSPCBSD9: Kurzschluss, Kupfergrat, Fremdkupfer, Unterbrechung, Mausfraß, Lochrandfehler, Kratzer auf Leiterbahn, Fremdkörper auf Leiterbahn, Fremdkörper im Basismaterial
SonstigesEgocentrische RGB-KameraEgoHands4: own_left, own_right, other_left, other_right
SonstigesRGB- und Infrarot-WildkameraENA2422 Klassen aus den Bereichen Wildtiere, Personen, Haustiere und Fahrzeuge
Fahren/VerkehrRGB-FischaugenkameraFisheye8K5: Bus, Fahrrad, Auto, Fußgänger, Lastwagen
Dokument/BenutzeroberflächeDigitale und gescannte PläneFloorPlanCAD30 Klassen für architektonische Öffnungen, Möbel, Haushaltsgeräte, Badezimmereinrichtungen, Treppen, Aufzüge und Rolltreppen
MedizinRöntgenGRAZPEDWRI-DX9: Knochenanomalie, Knochenläsion, Fremdkörper, Fraktur, Metall, Periostreaktion, Pronatorzeichen, Weichteilgewebe, Text
Dokument/BenutzeroberflächeDigitale BildschirmfotosGroundCUA-Benutzeroberfläche9: Schaltfläche, Informationsanzeige, Eingabeelemente, Menü, Navigation, Sonstiges, Seitenleiste, visuelle Elemente, Unbekannt
LandwirtschaftRGB-FeldkameraGWHD 20211: Weizenähre
Luftbild/FernerkundungThermischer Infrarot-UAVHIT-UAV5: Person, Auto, Fahrrad, sonstiges Fahrzeug, ignorierter Bereich
MedizinSicherheitsröntgenIED-Röntgen11 Klassen für Sprengstoffe, Batterien, Laptops, Pager, Mobiltelefone, Walkie-Talkies und modifizierte Geräte
MedizinRGB-EndoskopKvasir-SEG-Polypen1: Polyp
Fahren/VerkehrThermisches InfrarotLLVIP1: Person
Luftbild/FernerkundungMultispektrale 8-Band-BilderMODA Multispektral8: Auto, Lieferwagen, Lastwagen, Bus, Dreirad, Fahrrad, Fahrrad mit Vordach, Fußgänger
LandwirtschaftRGB-KameraPlantDoc29 Klassen für Nutzpflanzenblätter und Pflanzenkrankheiten
SportRGB-VideobilderRacketVision-Tennisball1: Tennisball
Fahren/VerkehrRGB-StraßenkameraRDD20225: Längsriss, Querriss, Netzriss, sonstiger Straßenschaden, Schlagloch
EinzelhandelRGB-KassenscannerkameraRPC-Kassenerkennung im Einzelhandel200 Produktklassen für Kassenbereiche, darunter verpackte Lebensmittel, Getränke, Milch, Konserven, Schokolade, Kaugummi, Süßigkeiten, Gewürze, Hygieneartikel, Taschentücher und Schreibwaren
SonstigesRGB-UnterwasserkameraRUOD Unterwasser10: Seegurke, Seeigel, Jakobsmuschel, Seestern, Fisch, Korallen, Taucher, Sepia, Schildkröte, Qualle
IndustrieRGB-KameraSafe Human 1717 Klassen für Personen, Körperteile, Werkzeuge und persönliche Schutzausrüstung
Luftbild/FernerkundungRGB-UAV-KameraSeaDronesSee6: ignoriert, Schwimmer, Boot, Jetski, Rettungsmittel, Boje
EinzelhandelRGB-EinzelhandelskameraSKU-110K1: Regalprodukt
SportRGB-BroadcastkameraSoccerDB3: Spieler, Ball, Tor
Luftbild/FernerkundungSynthetisches Aperturradar (SAR)SSDD SAR Ship1: Schiff
SonstigesRGB-KameraTACO Litter28 Klassen für Abfallmaterialien und -objekte
MedizinRöntgenaufnahme des BrustkorbsTBX11K2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis
MedizinUltraschallTN5000 Thyroid Ultrasound2: gutartig, bösartig
MedizinLichtmikroskopieTXL-PBC Blood Cells3: weiße Blutkörperchen, rote Blutkörperchen, Blutplättchen
SonstigesRGB-KameraUEC School Lunch Food21 Klassen für Speisen und Getränke in Schulmittagessen
Luftbild/FernerkundungRGB-UAV-KameraVisDrone10: Fußgänger, Personen, Fahrrad, Auto, Van, Lastwagen, Dreirad, überdachtes Dreirad, Bus, Motorrad

Auswertung#

  • Ziehe aus jeder Trainingsaufteilung bis zu 1.000 Bilder, behalte die vollständige Validierungsaufteilung bei und schließe die Testaufteilung aus mit fraction=[1000, 1.0, 0.0].
  • Trainiere denselben vortrainierten Checkpoint für jedes Dataset separat 100 Epochen lang mit patience 100, seed 0, batch 16 und vier Workern nach. Die Bilder haben eine Größe von 640 Pixeln. Seed 0 ist nicht vollständig deterministisch, daher geben YOLO27m und YOLO27l den Mittelwert aus 3 solchen Läufen an.
  • Aktiviere die Klassenumzuordnung, das Speicherformat channels-last und die Ausgabe von Vorhersagen im JSON-Format; deaktiviere dabei die Diagramme.
  • Werte den besten Checkpoint jedes Datasets aus und verwende dessen gespeichertes max_det erneut, das die größte Anzahl an Objekten berücksichtigt.
  • Multipliziere für mAP50-95 nach Größe die Flächen der Ground-Truth- und Vorhersage-Boxen mit (640 / max(image_width, image_height)) ** 2, bevor du sie den COCO-Kategorien Small, Medium und Large zuordnest.
  • Gewichte jedes Dataset gleich. Jede Größenmetrik umfasst nur Datasets mit mindestens 10 Objekten in der jeweiligen Kategorie.

Der Makro-mAP ist sum(dataset validation mAP50-95) / 37. Die Metriken werden anhand der gespeicherten Vorhersagen jedes Datasets berechnet.

Benchmark-Ergebnisse#

Die Metriken sind Makromittelwerte über die 37 Validierungsaufteilungen und werden als Prozentsätze angegeben.

GrößeModellmAP50-95PrecisionRecallmAP50-95-SmAP50-95-MmAP50-95-L
L/XYOLO27l55.5078.8374.9038.1755.7563.36
L/XYOLO26x49.8576.7468.6134.4450.5451.69
L/XYOLO26l49.7275.0569.3134.4950.1651.72
L/XYOLO11l48.5374.2268.3331.9150.7150.77
L/XYOLOv5l48.0374.1167.7831.7349.7949.87
L/XYOLOv8l48.0273.9568.8032.0549.0449.56
L/XYOLOv8x47.6775.6666.4631.1249.6049.69
L/XYOLOv5x47.3574.6967.9631.2749.3949.76
L/XYOLO11x47.2473.6967.0831.2248.5749.24
MYOLO27m53.3875.8572.9535.9653.4061.40
MYOLO26m49.4276.2368.3132.9150.0251.32
MYOLOv5m48.1974.2168.0731.6849.6751.93
MYOLO11m48.1573.7268.5632.1449.7650.75
MYOLOv8m47.9973.8668.1530.7349.6151.97
SYOLO27s51.2376.9670.7434.2051.4754.74
SYOLO11s47.7874.7267.6629.5349.6950.69
SYOLO26s47.4774.3566.7331.5647.7250.58
SYOLOv8s47.3573.9767.5430.9048.4750.15
SYOLOv5s47.3073.9767.0230.4749.0750.10
NYOLO27n49.2574.8668.4931.9349.3053.20
NYOLO11n46.1972.8365.6928.3547.5150.66
NYOLOv8n45.8972.2965.5628.5647.5549.22
NYOLOv5n45.0971.6964.9928.6146.7948.14
NYOLO26n44.0870.0963.2028.6944.5247.96

Benchmarking#

Verwende den Branch main von Ultralytics und setze ULTRALYTICS_API_KEY, um auf das Dataset zuzugreifen:

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo27n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# Der Haupt-Branch verwendet Größenkategorien mit nativer Fläche. Dieser Benchmark skaliert GT- und Vorhersageflächen separat
# mit (640 / max(image_width, image_height)) ** 2, bevor AP nach Größe berechnet wird.

Zitat#

Wenn du Ultralytics Benchmark in deiner Arbeit verwendest, zitiere bitte das Ultralytics-YOLO26-Paper:

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}
Mitwirkende

Kommentare