Roboflow 100 Datensatz

Roboflow 100, entwickelt von Roboflow entwickelt und von Intel gesponsert, ist ein bahnbrechender Benchmark zur Objekterkennung. Er umfasst 100 verschiedene Datensätze, die aus über 90.000 öffentlichen Datensätzen ausgewählt wurden. Mit diesem Benchmark soll die Anpassungsfähigkeit von Modellen in verschiedenen Bereichen wie dem Gesundheitswesen, Luftbildern und Videospielen getestet werden.

Hauptmerkmale

• Enthält 100 Datensätze aus sieben Bereichen: Luftbild, Videospiele, Mikroskopie, Unterwasser, Dokumente, Elektromagnetik und reale Welt.
• Der Benchmark umfasst 224.714 Bilder in 805 Klassen, die in über 11.170 Stunden beschriftet wurden.
• Alle Bilder werden auf 640x640 Pixel verkleinert, wobei darauf geachtet wird, dass keine Mehrdeutigkeit der Klassen entsteht und unterrepräsentierte Klassen herausgefiltert werden.
• Die Annotationen enthalten Bounding Boxes für Objekte und eignen sich daher zum Trainieren und Bewerten von Objekterkennungsmodellen.

Struktur des Datensatzes

Der Roboflow 100-Datensatz ist in sieben Kategorien unterteilt, jede mit einem eigenen Satz von Datensätzen, Bildern und Klassen:

• Luftbilder: Besteht aus 7 Datensätzen mit insgesamt 9.683 Bildern, die 24 verschiedene Klassen abdecken.
• Videospiele: Enthält 7 Datensätze mit 11.579 Bildern in 88 Klassen.
• Mikroskopisch: Umfasst 11 Datensätze mit 13.378 Bildern, die 28 Klassen abdecken.
• Unterwasser: Enthält 5 Datensätze, die 18.003 Bilder in 39 Klassen umfassen.
• Dokumente: Besteht aus 8 Datensätzen mit 24.813 Bildern, die in 90 Klassen unterteilt sind.
• Elektromagnetisch: Besteht aus 12 Datensätzen mit insgesamt 36.381 Bildern in 41 Klassen.
• Reale Welt: Die größte Kategorie mit 50 Datensätzen, die 110.615 Bilder in 495 Klassen enthalten.

Diese Struktur ermöglicht ein vielfältiges und umfangreiches Testfeld für Modelle zur Objekterkennung, das reale Anwendungsszenarien widerspiegelt.

Benchmarking

Beim Datensatz-Benchmarking wird die Leistung von Machine-Learning-Modellen auf bestimmten Datensätzen anhand von standardisierten Kennzahlen wie Genauigkeit, durchschnittlicher Präzision und F1-Score bewertet.

from pathlib import Path
import shutil
import os
from ultralytics.utils.benchmarks import RF100Benchmark

# Initialize RF100Benchmark and set API key
benchmark = RF100Benchmark()
benchmark.set_key(api_key="YOUR_ROBOFLOW_API_KEY")

# Parse dataset and define file paths
names, cfg_yamls = benchmark.parse_dataset()
val_log_file = Path("ultralytics-benchmarks") / "validation.txt"
eval_log_file = Path("ultralytics-benchmarks") / "evaluation.txt"

# Run benchmarks on each dataset in RF100
for ind, path in enumerate(cfg_yamls):
    path = Path(path)
    if path.exists():
        # Fix YAML file and run training
        benchmark.fix_yaml(str(path))
        os.system(f'yolo detect train data={path} model=yolov8s.pt epochs=1 batch=16')

        # Run validation and evaluate
        os.system(f'yolo detect val data={path} model=runs/detect/train/weights/best.pt > {val_log_file} 2>&1')
        benchmark.evaluate(str(path), str(val_log_file), str(eval_log_file), ind)

        # Remove the 'runs' directory
        runs_dir = Path.cwd() / "runs"
        shutil.rmtree(runs_dir)
    else:
        print("YAML file path does not exist")
        continue

print("RF100 Benchmarking completed!")

Anwendungen

Roboflow 100 ist von unschätzbarem Wert für verschiedene Anwendungen in den Bereichen Computer Vision und Deep Learning. Forscher und Ingenieure können diesen Benchmark nutzen, um:

• Evaluiere die Leistung von Objekterkennungsmodellen in einem Multi-Domain-Kontext.
• Teste die Anpassungsfähigkeit der Modelle an reale Szenarien, die über die normale Objekterkennung hinausgehen.
• Vergleiche die Fähigkeiten von Objekterkennungsmodellen mit verschiedenen Datensätzen, z. B. aus dem Gesundheitswesen, Luftbildern und Videospielen.

Weitere Ideen und Inspirationen für praktische Anwendungen findest du in unseren Leitfäden für praktische Projekte.

Verwendung

Der Roboflow 100 Datensatz ist sowohl auf GitHub als auch auf Roboflow Universe verfügbar.

Du kannst direkt über das Roboflow 100 GitHub Repository darauf zugreifen. Außerdem hast du auf Roboflow Universe die Möglichkeit, einzelne Datensätze herunterzuladen, indem du einfach auf den Export-Button in jedem Datensatz klickst.

Beispieldaten und Anmerkungen

Roboflow 100 besteht aus Datensätzen mit verschiedenen Bildern und Videos, die aus unterschiedlichen Blickwinkeln und in verschiedenen Bereichen aufgenommen wurden. Hier ein Blick auf Beispiele für kommentierte Bilder im RF100-Benchmark.

Die Vielfalt im Roboflow 100 Benchmark, die oben zu sehen ist, ist ein bedeutender Fortschritt gegenüber den traditionellen Benchmarks, die sich oft auf die Optimierung einer einzigen Metrik innerhalb eines begrenzten Bereichs konzentrieren.

Zitate und Danksagungen

Wenn du den Roboflow 100-Datensatz in deiner Forschungs- oder Entwicklungsarbeit verwendest, zitiere bitte das folgende Dokument:

@misc{2211.13523,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Eprint = {arXiv:2211.13523},
}

Unser Dank gilt dem Team von Roboflow und allen Mitwirkenden für ihre harte Arbeit bei der Erstellung und Pflege des Roboflow 100 Datensatzes.

Wenn du an weiteren Datensätzen interessiert bist, um deine Projekte zur Objekterkennung und zum maschinellen Lernen zu verbessern, kannst du unsere umfangreiche Datensatzsammlung besuchen.

Kommentare