Roboflow Ensemble de données 100

Roboflow 100, parrainé par Intelest un ensemble de données de référence révolutionnaire pour la détection d'objets. Il comprend 100 ensembles de données divers échantillonnés parmi plus de 90 000 ensembles de données publiques disponibles sur Roboflow Universe. Ce benchmark est spécialement conçu pour tester l'adaptabilité des modèles de vision artificielle, tels que les modèlesYOLO 'Ultralytics , à divers domaines, notamment les soins de santé, l'imagerie aérienne et les jeux vidéo.

Caractéristiques principales

• Divers domaines: Comprend 100 ensembles de données dans sept domaines distincts : Aérien, jeux vidéo, microscopique, sous-marin, documents, électromagnétique et monde réel.
• Échelle: Le benchmark comprend 224 714 images réparties en 805 classes, ce qui représente plus de 11 170 heures de travail d'étiquetage des données.
• Normalisation: Toutes les images sont prétraitées et redimensionnées à 640x640 pixels pour une évaluation cohérente.
• Évaluation propre: Se concentre sur l'élimination de l'ambiguïté des classes et filtre les classes sous-représentées afin d'assurer une évaluation plus propre du modèle.
• Annotations: Comprend des boîtes de délimitation pour les objets, adaptées à l'entraînement et à l'évaluation des modèles de détection d'objets à l'aide de métriques telles que mAP.

Structure de l'ensemble de données

L'ensemble de données Roboflow 100 est organisé en sept catégories, chacune contenant une collection unique d'ensembles de données, d'images et de classes :

• Aérien: 7 ensembles de données, 9 683 images, 24 classes.
• Jeux vidéo: 7 ensembles de données, 11 579 images, 88 classes.
• Microscopique: 11 ensembles de données, 13 378 images, 28 classes.
• Sous l'eau: 5 ensembles de données, 18 003 images, 39 classes.
• Documents: 8 ensembles de données, 24 813 images, 90 classes.
• Électromagnétique: 12 ensembles de données, 36 381 images, 41 classes.
• Monde réel: 50 ensembles de données, 110 615 images, 495 classes.

Cette structure fournit un terrain d'essai diversifié et étendu pour les modèles de détection d'objets, reflétant un large éventail de scénarios d'application du monde réel trouvés dans diverses solutionsUltralytics .

Analyse comparative

L'étalonnage des ensembles de données consiste à évaluer les performances des modèles d'apprentissage automatique sur des ensembles de données spécifiques à l'aide de mesures normalisées. Les mesures les plus courantes sont la précision, la précision moyenne (mAP) et le score F1. Pour en savoir plus, consultez notre guide sur les mesures de performance deYOLO .

import os
import shutil
from pathlib import Path

from ultralytics.utils.benchmarks import RF100Benchmark

# Initialize RF100Benchmark and set API key
benchmark = RF100Benchmark()
benchmark.set_key(api_key="YOUR_ROBOFLOW_API_KEY")

# Parse dataset and define file paths
names, cfg_yamls = benchmark.parse_dataset()
val_log_file = Path("ultralytics-benchmarks") / "validation.txt"
eval_log_file = Path("ultralytics-benchmarks") / "evaluation.txt"

# Run benchmarks on each dataset in RF100
for ind, path in enumerate(cfg_yamls):
    path = Path(path)
    if path.exists():
        # Fix YAML file and run training
        benchmark.fix_yaml(str(path))
        os.system(f"yolo detect train data={path} model=yolo11s.pt epochs=1 batch=16")

        # Run validation and evaluate
        os.system(f"yolo detect val data={path} model=runs/detect/train/weights/best.pt > {val_log_file} 2>&1")
        benchmark.evaluate(str(path), str(val_log_file), str(eval_log_file), ind)

        # Remove the 'runs' directory
        runs_dir = Path.cwd() / "runs"
        shutil.rmtree(runs_dir)
    else:
        print("YAML file path does not exist")
        continue

print("RF100 Benchmarking completed!")

Applications

Roboflow 100 est inestimable pour diverses applications liées à la vision par ordinateur et à l'apprentissage profond. Les chercheurs et les ingénieurs peuvent tirer parti de ce benchmark pour :

• Évaluer les performances des modèles de détection d'objets dans un contexte multi-domaine.
• Tester l'adaptabilité et la robustesse des modèles aux scénarios du monde réel au-delà des ensembles de données de référence courants tels que COCO ou PASCAL VOC.
• Comparer les capacités des modèles de détection d'objets dans divers ensembles de données, y compris dans des domaines spécialisés tels que les soins de santé, l'imagerie aérienne et les jeux vidéo.
• Comparer les performances du modèle entre différentes architectures de réseaux neuronaux et techniques d'optimisation.
• Identifier les défis spécifiques au domaine qui peuvent nécessiter des conseils de formation de modèles spécialisés ou des approches de réglage fin telles que l'apprentissage par transfert.

Pour plus d'idées et d'inspiration sur les applications réelles, explorez nos guides sur les projets pratiques ou consultez Ultralytics HUB pour une formation et un déploiement simplifiés des modèles.

Utilisation

L'ensemble de données Roboflow 100, y compris les métadonnées et les liens de téléchargement, est disponible sur le site officiel de la Commission européenne. Dépôt GitHub Roboflow 100. Vous pouvez accéder à l'ensemble des données et les utiliser directement à partir de là pour vos besoins d'analyse comparative. Les Ultralytics RF100Benchmark simplifie le processus de téléchargement et de préparation de ces ensembles de données en vue de leur utilisation avec les modèles Ultralytics .

Exemples de données et d'annotations

Roboflow 100 se compose d'ensembles de données contenant diverses images capturées sous différents angles et dans différents domaines. Vous trouverez ci-dessous des exemples d'images annotées incluses dans le benchmark RF100, qui illustrent la variété des objets et des scènes. Des techniques telles que l'augmentation des données permettent d'améliorer encore la diversité au cours de la formation.

La diversité observée dans le benchmark Roboflow 100 représente une avancée significative par rapport aux benchmarks traditionnels, qui se concentrent souvent sur l'optimisation d'une seule métrique dans un domaine limité. Cette approche globale permet de développer des modèles de vision par ordinateur plus robustes et plus polyvalents, capables d'être performants dans une multitude de scénarios différents.

Citations et remerciements

Si vous utilisez l'ensemble de données Roboflow 100 dans vos travaux de recherche ou de développement, veuillez citer l'article original :

@misc{rf100benchmark,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Year = {2022},
    Eprint = {arXiv:2211.13523},
    url = {https://arxiv.org/abs/2211.13523}
}

Nous exprimons notre gratitude à l'équipe Roboflow et à tous les contributeurs pour leurs efforts considérables dans la création et le maintien de l'ensemble de données Roboflow 100 en tant que ressource précieuse pour la communauté de la vision par ordinateur.

Si vous souhaitez explorer d'autres ensembles de données pour améliorer vos projets de détection d'objets et d'apprentissage automatique, n'hésitez pas à visiter notre collection complète d'ensembles de données, qui comprend une variété d'autres ensembles de données de détection.

FAQ

Qu'est-ce que l'ensemble de données Roboflow 100 et pourquoi est-il important pour la détection d'objets ?

L'ensemble de données Roboflow 100 est une référence pour les modèles de détection d'objets. Il comprend 100 ensembles de données divers provenant de Roboflow Universe, couvrant des domaines tels que les soins de santé, l'imagerie aérienne et les jeux vidéo. Son importance réside dans le fait qu'il fournit un moyen normalisé de tester l'adaptabilité et la robustesse des modèles dans un large éventail de scénarios du monde réel, allant au-delà des repères traditionnels, souvent limités à un domaine.

Quels sont les domaines couverts par l'ensemble de données Roboflow 100 ?

L'ensemble de données Roboflow 100 couvre sept domaines différents, ce qui pose des défis uniques aux modèles de détection d'objets:

1. Aérien: 7 ensembles de données (par exemple, images satellites, vues de drones).
2. Jeux vidéo: 7 ensembles de données (par exemple, des objets provenant de divers environnements de jeu).
3. Microscopique: 11 ensembles de données (par exemple, cellules, particules).
4. Sous l'eau: 5 ensembles de données (par exemple, vie marine, objets immergés).
5. Documents: 8 ensembles de données (par exemple, régions de texte, éléments de formulaire).
6. Électromagnétique: 12 ensembles de données (par exemple, signatures radar, visualisations de données spectrales).
7. Monde réel: 50 ensembles de données (une vaste catégorie comprenant des objets quotidiens, des scènes, des commerces de détail, etc.)

Cette variété fait de RF100 une excellente ressource pour évaluer la généralisation des modèles de vision par ordinateur.

Que dois-je inclure lorsque je cite l'ensemble de données Roboflow 100 dans ma recherche ?

Lorsque vous utilisez l'ensemble de données Roboflow 100, veuillez citer l'article original afin d'en créditer les créateurs. Voici la citation BibTeX recommandée :

@misc{rf100benchmark,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Year = {2022},
    Eprint = {arXiv:2211.13523},
    url = {https://arxiv.org/abs/2211.13523}
}

Pour une exploration plus approfondie, nous vous invitons à visiter notre collection complète d'ensembles de données ou à parcourir d'autres ensembles de données de détection compatibles avec les modèles Ultralytics .

📅C réé il y a 1 an ✏️ Mis à jour il y a 26 jours

Commentaires