はじめる

Roboflow 100データセット

Intelが協賛するRoboflow 100(RF100)は、100種類の多様なデータセットで構成される物体検出ベンチマークです。ヘルスケア、航空画像、ビデオゲームなど、さまざまな分野にUltralytics YOLOモデルなどのコンピュータービジョンモデルがどれほど適応できるかをテストする目的で設計されています。

Roboflow 100 diverse object detection benchmark

主な機能#

  • 多様な分野: 航空画像、ビデオゲーム、顕微鏡画像、水中、ドキュメント、電磁気、実世界の7つの異なる分野にわたる100のデータセットが含まれています。
  • 規模: このベンチマークは、805クラスにわたる224,714枚の画像で構成されており、合計で11,170時間を超えるデータラベリング作業に相当します。
  • 標準化: 一貫した評価のため、すべての画像は前処理され、640x640ピクセルにリサイズされています。
  • クリーンな評価: クラスの曖昧さをなくし、サンプル数の少ないクラスを除外することで、より明確なモデル評価を実現します。
  • アノテーション: 物体のバウンディングボックスを含み、トレーニングや、mAPなどの指標を用いた物体検出モデルの評価に適しています。

データセットの構成#

Roboflow 100データセットは7つのカテゴリに分類され、それぞれに固有のデータセット、画像、クラスが含まれています。

  • 航空画像: 7データセット、画像9,683枚、24クラス。
  • ビデオゲーム: 7データセット、画像11,579枚、88クラス。
  • 顕微鏡画像: 11データセット、画像13,378枚、28クラス。
  • 水中: 5データセット、画像18,003枚、39クラス。
  • ドキュメント: 8データセット、画像24,813枚、90クラス。
  • 電磁気: 12データセット、画像36,381枚、41クラス。
  • 実世界: 50データセット、画像110,615枚、495クラス。

この構成により、物体検出モデルを幅広く試験できる、多様で大規模な環境が実現します。また、さまざまなUltralytics Solutionsで見られる、幅広い実世界のアプリケーションシナリオを反映しています。

ベンチマーク評価#

データセットのベンチマーク評価では、標準化された指標を用いて、特定のデータセット上での機械学習モデルの性能を評価します。一般的な指標には、精度、平均適合率(mAP)、F1スコアなどがあります。詳しくは、YOLO性能指標ガイドをご覧ください。

ベンチマーク結果

すべての出力は単一のruns/<task>/multitrain/ディレクトリにまとめられます。各データセットは専用のサブディレクトリ(専用のresults.pngを含む)でファインチューニングされ、データセットごとの指標と平均指標は、multitrain_results.pngの棒グラフとともにmultitrain_results.jsonに書き込まれます。model.train()の呼び出しは、プログラムからアクセスできる{dataset: metrics}ディクショナリも返します。

ベンチマーク評価の例

以下のスクリプトは、Roboflowからdatasets_links.txtに記載されたRoboflow 100のデータセットをダウンロードし、1つのベースモデル(例: YOLO26n)をコレクション全体でファインチューニングする処理を、1回のmodel.train()呼び出しで実行します。データセットのリストを渡すと、ベースモデルは各データセットで順番にファインチューニングされ、データセット間の結果が自動的に可視化されます。

import re
from pathlib import Path

from roboflow import Roboflow

from ultralytics import YOLO
from ultralytics.utils import ASSETS_URL, LOGGER, YAML
from ultralytics.utils.downloads import safe_download

# Download the RF100 datasets (requires a Roboflow API key)
rf = Roboflow(api_key="YOUR_ROBOFLOW_API_KEY")
safe_download(f"{ASSETS_URL}/datasets_links.txt")  # list of RF100 dataset links

datasets = []
for line in Path("datasets_links.txt").read_text().splitlines():
    try:
        _, _url, workspace, project, version = re.split("/+", line.strip())
        location = f"rf-100/{project}-{version}"
        rf.workspace(workspace).project(project).version(version).download("yolov8", location=location)
        yaml = Path(location) / "data.yaml"
        cfg = YAML.load(yaml)  # point train/val at the downloaded image folders
        cfg["train"], cfg["val"] = "train/images", "valid/images"
        YAML.save(yaml, cfg)
        datasets.append(str(yaml))
    except Exception as e:
        LOGGER.warning(f"Failed to prepare dataset from {line!r}: {e}")

# Fine-tune one base model across all RF100 datasets and visualize the cross-dataset results
model = YOLO("yolo26n.pt")
results = model.train(data=datasets, epochs=100, imgsz=640)  # {dataset: metrics}

# Per-dataset runs, multitrain_results.json (per-dataset + mean), and multitrain_results.png are saved
# together under runs/detect/multitrain. Read results in-memory or from the JSON for custom post-processing.
for dataset, metrics in results.items():
    if metrics:  # None if that dataset failed to train
        print(f"{dataset}: mAP50-95 = {metrics['metrics/mAP50-95(B)']:.4f}")

用途#

Roboflow 100は、幅広いコンピュータービジョンおよびディープラーニングの業務に役立ちます。研究者やエンジニアは、このベンチマークを次の目的に使用できます。

使用方法#

メタデータとダウンロードリンクを含むRoboflow 100データセットは、公式のRoboflow 100 GitHubリポジトリで入手できます。上記の手順に従ってデータセットをダウンロードして準備した後、データセットYAMLのリストを渡すことで、Ultralyticsモデルをmodel.train()の1回の呼び出しでコレクション全体にわたってファインチューニングできます。

サンプルデータとアノテーション#

Roboflow 100は、さまざまな角度や分野で撮影された多様な画像を含むデータセットで構成されています。以下は、RF100ベンチマークに含まれるアノテーション付き画像の例であり、物体やシーンの多様性を示しています。データ拡張などの手法により、トレーニング中の多様性をさらに高めることができます。

Roboflow 100 sample images with annotations

単一の限られた分野で単一の指標を最適化することが多い従来のベンチマークとは異なり、Roboflow 100は多くの分野を網羅しています。この幅広さは、さまざまな状況で優れた性能を発揮する、より堅牢なコンピュータービジョンモデルの開発に役立ちます。

引用と謝辞#

研究または開発でRoboflow 100データセットを使用する場合は、元の論文を引用してください。

引用
@misc{rf100benchmark,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Year = {2022},
    Eprint = {arXiv:2211.13523},
    url = {https://arxiv.org/abs/2211.13523}
}

コンピュータービジョンコミュニティにとって貴重なリソースであるRoboflow 100データセットの作成と維持に多大な尽力をされたRoboflowチームとすべての貢献者に、心より感謝申し上げます。

よくある質問#

  • Roboflow 100データセットは、物体検出モデル向けのベンチマークです。医療、航空画像、ビデオゲームなどの分野を網羅する、100種類の多様なデータセットで構成されています。実世界の幅広いシナリオにおけるモデルの適応性とロバスト性をテストするための標準化された方法を提供し、従来の、対象分野が限られがちなベンチマークを超える点に重要性があります。

  • Roboflow 100データセットは、物体検出モデルに独自の課題をもたらす、7つの多様な分野を網羅しています。

    1. 航空画像: 7データセット(例: 衛星画像、ドローン映像)。
    2. ビデオゲーム: 7データセット(例: さまざまなゲーム環境の物体)。
    3. 顕微鏡画像: 11データセット(例: 細胞、粒子)。
    4. 水中: 5データセット(例: 海洋生物、水中の物体)。
    5. ドキュメント: 8データセット(例: テキスト領域、フォーム要素)。
    6. 電磁気: 12データセット(例: レーダー信号、スペクトルデータの可視化)。
    7. 実世界: 50データセット(日用品、シーン、小売などを含む幅広いカテゴリ)。

    この多様性により、RF100はコンピュータービジョンモデルの汎化性能を評価するための優れたリソースとなっています。

  • Roboflow 100データセットを使用する際は、作成者に謝意を示すため、元の論文を引用してください。推奨するBibTeX形式の引用は以下のとおりです。

    引用
    @misc{rf100benchmark,
        Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
        Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
        Year = {2022},
        Eprint = {arXiv:2211.13523},
        url = {https://arxiv.org/abs/2211.13523}
    }

コメント2

質問したり、結果を共有したり、ほかの人をサポートしたりできます。

    1. Glenn JocherUltralytics(編集済み)

      @mariem158 bonjour!

      Pour télécharger et utiliser le dataset Roboflow 100 pour la détection aérienne, suivez ces étapes :

      1. Accédez à Roboflow Universe:

      2. Téléchargez le Dataset:

        • Cliquez sur le dataset aérien de votre choix.
        • Utilisez le bouton "Export" pour télécharger les annotations et les images dans le format souhaité (par exemple, COCO, YOLO).
      3. Utilisez le Dataset avec Ultralytics YOLO:

        • Assurez-vous d'avoir les dernières versions de torch et ultralytics installées.
        • Voici un exemple de code pour entraîner un modèle YOLO26 avec un dataset aérien téléchargé :
        from ultralytics import YOLO
        
        # Charger le modèle YOLO26
        model = YOLO('yolo26n.pt')
        
        # Entraîner le modèle avec le dataset aérien
        model.train(data='path/to/aerial_dataset.yaml', epochs=100, imgsz=640)
      4. Benchmarking:

        • Vous pouvez également utiliser le script de benchmarking fourni dans la documentation pour évaluer les performances de votre modèle sur différents datasets du Roboflow 100.

      Pour plus de détails, consultez la documentation complète sur le dataset Roboflow 100 ici.

      N'hésitez pas à revenir si vous avez d'autres questions ! 😊

      Cordialement, L'équipe Ultralytics