Набор данных Roboflow 100
Roboflow 100 (RF100), спонсируемый Intel, — это тест для обнаружения объектов, состоящий из 100 разнообразных наборов данных. Он предназначен для проверки того, насколько хорошо модели компьютерного зрения, например модели Ultralytics YOLO, адаптируются к разным областям, включая здравоохранение, аэрофотосъемку и видеоигры.
Основные особенности#
- Разнообразие областей: включает 100 наборов данных из семи различных областей: аэрофотосъёмка, видеоигры, микроскопия, подводный мир, документы, электромагнитные данные и реальный мир.
- Масштаб: бенчмарк включает 224,714 изображений с 805 классами; на разметку данных ушло более 11,170 часов.
- Стандартизация: все изображения предварительно обработаны и приведены к размеру 640x640 пикселей для единообразной оценки.
- Чистая оценка: бенчмарк помогает устранить неоднозначность классов и отфильтровывает недостаточно представленные классы, чтобы обеспечить более чистую оценку модели.
- Аннотации: включает ограничивающие рамки объектов, подходящие для обучения и оценки моделей обнаружения объектов с помощью таких метрик, как mAP.
Структура набора данных#
Набор данных Roboflow 100 разделён на семь категорий, каждая из которых содержит уникальную подборку наборов данных, изображений и классов:
- Аэрофотосъёмка: 7 наборов данных, 9,683 изображения, 24 класса.
- Видеоигры: 7 наборов данных, 11,579 изображений, 88 классов.
- Микроскопия: 11 наборов данных, 13,378 изображений, 28 классов.
- Подводный мир: 5 наборов данных, 18,003 изображения, 39 классов.
- Документы: 8 наборов данных, 24,813 изображения, 90 классов.
- Электромагнитные данные: 12 наборов данных, 36,381 изображение, 41 класс.
- Реальный мир: 50 наборов данных, 110,615 изображений, 495 классов.
Такая структура предоставляет разнообразную и обширную среду для тестирования моделей обнаружения объектов, отражая множество реальных сценариев применения, встречающихся в различных решениях Ultralytics.
Бенчмаркинг#
Бенчмаркинг набора данных — это оценка производительности моделей машинного обучения на конкретных наборах данных с использованием стандартизированных метрик. К распространённым метрикам относятся точность, средняя точность (mAP) и F1-мера. Подробнее о них читай в нашем руководстве по метрикам производительности YOLO.
Все результаты сохраняются в одном каталоге runs/<task>/multitrain/: для каждого набора данных выполняется дообучение в отдельном подкаталоге (со своим results.png), а метрики для каждого набора данных и усреднённые метрики записываются в multitrain_results.json вместе со столбчатой диаграммой multitrain_results.png. Вызов model.train() также возвращает словарь {dataset: metrics} для программного доступа.
Приведённый ниже скрипт загружает с Roboflow наборы данных Roboflow 100, перечисленные в datasets_links.txt, а затем дообучает одну базовую модель (например, YOLO26n) на всей коллекции за один вызов model.train(). Если передать список наборов данных, базовая модель последовательно дообучается на каждом из них, а результаты по всем наборам визуализируются автоматически.
import re
from pathlib import Path
from roboflow import Roboflow
from ultralytics import YOLO
from ultralytics.utils import ASSETS_URL, LOGGER, YAML
from ultralytics.utils.downloads import safe_download
# Download the RF100 datasets (requires a Roboflow API key)
rf = Roboflow(api_key="YOUR_ROBOFLOW_API_KEY")
safe_download(f"{ASSETS_URL}/datasets_links.txt") # list of RF100 dataset links
datasets = []
for line in Path("datasets_links.txt").read_text().splitlines():
try:
_, _url, workspace, project, version = re.split("/+", line.strip())
location = f"rf-100/{project}-{version}"
rf.workspace(workspace).project(project).version(version).download("yolov8", location=location)
yaml = Path(location) / "data.yaml"
cfg = YAML.load(yaml) # point train/val at the downloaded image folders
cfg["train"], cfg["val"] = "train/images", "valid/images"
YAML.save(yaml, cfg)
datasets.append(str(yaml))
except Exception as e:
LOGGER.warning(f"Failed to prepare dataset from {line!r}: {e}")
# Fine-tune one base model across all RF100 datasets and visualize the cross-dataset results
model = YOLO("yolo26n.pt")
results = model.train(data=datasets, epochs=100, imgsz=640) # {dataset: metrics}
# Per-dataset runs, multitrain_results.json (per-dataset + mean), and multitrain_results.png are saved
# together under runs/detect/multitrain. Read results in-memory or from the JSON for custom post-processing.
for dataset, metrics in results.items():
if metrics: # None if that dataset failed to train
print(f"{dataset}: mAP50-95 = {metrics['metrics/mAP50-95(B)']:.4f}")Применение#
Roboflow 100 полезен для самых разных задач компьютерного зрения и глубокого обучения. Исследователи и инженеры могут использовать этот тест, чтобы:
- Оценивать производительность моделей обнаружения объектов в условиях нескольких предметных областей.
- Проверять адаптивность и устойчивость моделей в реальных сценариях, выходящих за рамки распространённых бенчмарков, таких как COCO или PASCAL VOC.
- Сравнивать возможности моделей обнаружения объектов на разнообразных наборах данных, включая специализированные области, например здравоохранение, аэрофотосъёмку и видеоигры.
- Сравнивать производительность моделей на разных архитектурах нейронных сетей и с разными методами оптимизации.
- Выявлять специфичные для предметной области задачи, для которых могут потребоваться специальные советы по обучению моделей или подходы к дообучению, например трансферное обучение.
Использование#
Набор Roboflow 100, включая метаданные и ссылки для скачивания, доступен в официальном репозитории Roboflow 100 на GitHub. Загрузив и подготовив наборы данных, как описано выше, ты можешь дообучить модели Ultralytics на всей коллекции одним вызовом model.train(), передав список YAML-файлов наборов данных.
Примеры данных и аннотаций#
В Roboflow 100 собраны наборы данных с разнообразными изображениями, снятыми под разными углами и в разных предметных областях. Ниже приведены примеры аннотированных изображений из бенчмарка RF100, демонстрирующие разнообразие объектов и сцен. Такие методы, как аугментация данных, позволяют ещё больше повысить разнообразие данных при обучении.
В отличие от традиционных тестов, которые часто сосредоточены на оптимизации одной метрики в ограниченной области, Roboflow 100 охватывает множество областей. Такое разнообразие помогает создавать более надежные модели компьютерного зрения, хорошо работающие в самых разных сценариях.
Цитирование и благодарности#
Если ты используешь набор данных Roboflow 100 в исследовательской или практической работе, процитируй оригинальную статью:
@misc{rf100benchmark,
Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
Year = {2022},
Eprint = {arXiv:2211.13523},
url = {https://arxiv.org/abs/2211.13523}
}Мы благодарим команду Roboflow и всех участников за значительный вклад в создание и поддержку набора данных Roboflow 100 — ценного ресурса для сообщества компьютерного зрения.
Часто задаваемые вопросы#
Набор данных Roboflow 100 — это бенчмарк для моделей обнаружения объектов. Он включает 100 разнообразных наборов данных из таких областей, как здравоохранение, аэрофотосъёмка и видеоигры. Его ценность в том, что он позволяет стандартизированно проверять адаптивность и устойчивость моделей в широком спектре реальных сценариев, выходя за рамки традиционных бенчмарков, часто ограниченных одной предметной областью.
Набор данных Roboflow 100 охватывает семь разных областей, представляющих уникальные задачи для моделей обнаружения объектов:
- Аэрофотосъёмка: 7 наборов данных (например, спутниковые снимки, виды с дронов).
- Видеоигры: 7 наборов данных (например, объекты из разных игровых миров).
- Микроскопия: 11 наборов данных (например, клетки, частицы).
- Подводный мир: 5 наборов данных (например, морские организмы, подводные объекты).
- Документы: 8 наборов данных (например, текстовые области, элементы форм).
- Электромагнитные данные: 12 наборов данных (например, радиолокационные сигнатуры, визуализация спектральных данных).
- Реальный мир: 50 наборов данных (широкая категория, включающая повседневные предметы, сцены, розничную торговлю и т. д.).
Такое разнообразие делает RF100 отличным ресурсом для оценки обобщающей способности моделей компьютерного зрения.
При использовании набора данных Roboflow 100 процитируй оригинальную статью, чтобы указать авторов. Рекомендуемая ссылка в формате BibTeX:
Цитирование@misc{rf100benchmark, Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz}, Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark}, Year = {2022}, Eprint = {arXiv:2211.13523}, url = {https://arxiv.org/abs/2211.13523} }
Комментарии2
Задай вопрос, поделись результатами или помоги кому-нибудь.
mariem158
les étapes pour télécharger ce dataset roboflow100 pour détection aerienne ?
Glenn JocherUltralytics(изменено)@mariem158 bonjour!
Pour télécharger et utiliser le dataset Roboflow 100 pour la détection aérienne, suivez ces étapes :
-
Accédez à Roboflow Universe:
- Visitez Roboflow Universe.
- Recherchez les datasets dans la catégorie "Aerial".
-
Téléchargez le Dataset:
- Cliquez sur le dataset aérien de votre choix.
- Utilisez le bouton "Export" pour télécharger les annotations et les images dans le format souhaité (par exemple, COCO, YOLO).
-
Utilisez le Dataset avec Ultralytics YOLO:
- Assurez-vous d'avoir les dernières versions de
torchetultralyticsinstallées. - Voici un exemple de code pour entraîner un modèle YOLO26 avec un dataset aérien téléchargé :
from ultralytics import YOLO # Charger le modèle YOLO26 model = YOLO('yolo26n.pt') # Entraîner le modèle avec le dataset aérien model.train(data='path/to/aerial_dataset.yaml', epochs=100, imgsz=640) - Assurez-vous d'avoir les dernières versions de
-
Benchmarking:
- Vous pouvez également utiliser le script de benchmarking fourni dans la documentation pour évaluer les performances de votre modèle sur différents datasets du Roboflow 100.
Pour plus de détails, consultez la documentation complète sur le dataset Roboflow 100 ici.
N'hésitez pas à revenir si vous avez d'autres questions ! 😊
Cordialement, L'équipe Ultralytics
-