Ultralytics Benchmark

103

Airbus Oil Storage Detection

ultralytics

PublicDetect

SPOT satellite images of oil storage tank farms worldwide at about 1.2 m resolution, released by Airbus. Source: Jeff Faudi, Airbus, "Airbus Oil Storage Detection" dataset, Kaggle 2021; kaggle.com/datasets/airbusgeo/airbus-oil-storage-detection-dataset.

1 class143.5 MBOct 23, 2026

oil storage tank

COCO ist für viele praxisnahe Aufgaben im Bereich Computer Vision nicht repräsentativ. Ultralytics Benchmark ist ein Benchmark-Datensatz, mit dem die Generalisierungsfähigkeit von Modellen anhand von 37 sorgfältig zusammengestellten Objekterkennungsdatensätzen mit hochwertigen Begrenzungsrahmen gemessen wird. Die Bereiche umfassen medizinische Bildanalyse, Fernerkundung, Verkehr, Dokumente, Benutzeroberflächen, Einzelhandel, industrielle Bildverarbeitung, Landwirtschaft, Sport, Wildtiere, Unterwasseraufnahmen und Abfallerkennung. Zu den Sensortypen zählen RGB, Fischaugen-, thermische Infrarot-, Röntgen-, MRT-, Ultraschall- und Mikroskopieaufnahmen sowie Radar mit synthetischer Apertur (SAR).

Die kuratierten Datensätze werden auf der Ultralytics Platform gehostet. Die VLM-Bestenliste ordnet Vision-Language-Modelle und Detektoren mit offenem Vokabular anhand von Genauigkeit, Kosten und Geschwindigkeit auf Bildern aus 36 dieser Datensätze.

Mögliche Datensätze wurden in den Trainings- und Validierungssplits auf identische und nahezu identische Bilder geprüft. Markierte Bildpaare wurden überprüft; bestätigte Überschneidungen zwischen den Splits wurden entfernt oder der betroffene Datensatz wurde ersetzt.

Datensätze#

Auswertung#

• Ziehe aus jeder Trainingsaufteilung bis zu 1.000 Bilder, behalte die vollständige Validierungsaufteilung bei und schließe die Testaufteilung aus mit fraction=[1000, 1.0, 0.0].
• Trainiere denselben vortrainierten Checkpoint für jedes Dataset separat 100 Epochen lang mit patience 100, seed 0, batch 16 und vier Workern nach. Die Bilder haben eine Größe von 640 Pixeln. Seed 0 ist nicht vollständig deterministisch, daher geben YOLO27m und YOLO27l den Mittelwert aus 3 solchen Läufen an.
• Aktiviere die Klassenumzuordnung, das Speicherformat channels-last und die Ausgabe von Vorhersagen im JSON-Format; deaktiviere dabei die Diagramme.
• Werte den besten Checkpoint jedes Datasets aus und verwende dessen gespeichertes max_det erneut, das die größte Anzahl an Objekten berücksichtigt.
• Wende Ignorierbereiche wie im VisDrone-DET-Toolkit an: Verwerfe Vorhersagen und Labels, die zu mindestens der Hälfte von einem Ignorierbereich abgedeckt werden. Das sind die 1.378 offiziellen Ignorierbereiche von VisDrone und die 7 Boxen von HIT-UAV mit ignored region; anschließend wird die HIT-UAV-Klasse entfernt.
• Um die größenabhängige mAP_50-95 zu berechnen, multipliziere die Flächen der Referenz- und Vorhersageboxen mit (640 / max(image_width, image_height)) ** 2, bevor du sie den COCO-Kategorien Klein, Mittel und Groß zuordnest.
• Gewichte jedes Dataset gleich. Jede Größenmetrik umfasst nur Datasets mit mindestens 10 Objekten in der jeweiligen Kategorie.

Der Makro-mAP ist sum(dataset validation mAP50-95) / 37. Die Metriken werden anhand der gespeicherten Vorhersagen jedes Datasets berechnet.

Benchmark-Ergebnisse#

Die Kennzahlen sind makrogemittelte Prozentwerte über die 37 Validierungssplits. YOLO27 ist eine noch nicht veröffentlichte Vorschauversion; die Gewichte sind noch nicht verfügbar.

Benchmarking#

Verwende den Branch main von Ultralytics und setze ULTRALYTICS_API_KEY, um auf das Dataset zuzugreifen:

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo26n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# Der Haupt-Branch verwendet Größenkategorien mit nativer Fläche. Dieser Benchmark skaliert GT- und Vorhersageflächen separat
# um (640 / max(image_width, image_height)) ** 2 vor der Bewertung der größenabhängigen AP, und berücksichtigt die Ignorierbereiche von VisDrone und
# die Ignorierbereiche von HIT-UAV. Dieser Codeausschnitt macht beides nicht.

Zitat#

Wenn du Ultralytics Benchmark in deiner Arbeit verwendest, zitiere bitte das Ultralytics-YOLO26-Paper:

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}