Roboflow 100 Dataset

Roboflow 100, разработанный Roboflow и спонсируемая Intel, - это революционный бенчмарк для обнаружения объектов. Он включает в себя 100 разнообразных наборов данных, отобранных из более чем 90 000 публичных наборов данных. Этот бенчмарк предназначен для проверки адаптивности моделей к различным областям, включая здравоохранение, аэрофотосъемку и видеоигры.

Основные характеристики

• Включает в себя 100 наборов данных по семи доменам: Аэрофотосъемка, видеоигры, микроскопическая съемка, подводная съемка, документы, электромагнитная съемка и реальный мир.
• В бенчмарк вошли 224 714 изображений 805 классов, благодаря более чем 11 170 часам работы по маркировке.
• Все изображения изменены до размера 640х640 пикселей, при этом особое внимание уделяется устранению двусмысленности классов и отсеиванию недопредставленных классов.
• Аннотации включают ограничительные рамки для объектов, что делает его подходящим для обучения и оценки моделей обнаружения объектов.

Структура набора данных

Набор данных Roboflow 100 разбит на семь категорий, каждая из которых имеет свой набор наборов данных, изображений и классов:

• Аэрофотосъемка: Состоит из 7 наборов данных, включающих в общей сложности 9 683 изображения, которые охватывают 24 различных класса.
• Видеоигры: Включает 7 наборов данных, в которых представлено 11 579 изображений 88 классов.
• Микроскопический: Состоит из 11 наборов данных с 13 378 изображениями, охватывающими 28 классов.
• Подводный мир: Содержит 5 наборов данных, охватывающих 18 003 изображения в 39 классах.
• Документы: Состоит из 8 наборов данных с 24 813 изображениями, разделенными на 90 классов.
• Электромагнитный: Состоит из 12 наборов данных, в общей сложности 36 381 изображение в 41 классе.
• Реальный мир: Самая большая категория с 50 наборами данных, предлагающими 110 615 изображений, относящихся к 495 классам.

Такая структура позволяет создать разнообразный и обширный полигон для тестирования моделей обнаружения объектов, отражающий реальные сценарии применения.

Бенчмаркинг

Бенчмаркинг датасетов оценивает производительность моделей машинного обучения на конкретных наборах данных, используя стандартизированные метрики, такие как точность, среднее значение точности и F1-score.

from pathlib import Path
import shutil
import os
from ultralytics.utils.benchmarks import RF100Benchmark

# Initialize RF100Benchmark and set API key
benchmark = RF100Benchmark()
benchmark.set_key(api_key="YOUR_ROBOFLOW_API_KEY")

# Parse dataset and define file paths
names, cfg_yamls = benchmark.parse_dataset()
val_log_file = Path("ultralytics-benchmarks") / "validation.txt"
eval_log_file = Path("ultralytics-benchmarks") / "evaluation.txt"

# Run benchmarks on each dataset in RF100
for ind, path in enumerate(cfg_yamls):
    path = Path(path)
    if path.exists():
        # Fix YAML file and run training
        benchmark.fix_yaml(str(path))
        os.system(f'yolo detect train data={path} model=yolov8s.pt epochs=1 batch=16')

        # Run validation and evaluate
        os.system(f'yolo detect val data={path} model=runs/detect/train/weights/best.pt > {val_log_file} 2>&1')
        benchmark.evaluate(str(path), str(val_log_file), str(eval_log_file), ind)

        # Remove the 'runs' directory
        runs_dir = Path.cwd() / "runs"
        shutil.rmtree(runs_dir)
    else:
        print("YAML file path does not exist")
        continue

print("RF100 Benchmarking completed!")

Приложения

Roboflow 100 неоценим для различных приложений, связанных с компьютерным зрением и глубоким обучением. Исследователи и инженеры могут использовать этот бенчмарк, чтобы:

• Оценивай производительность моделей обнаружения объектов в многодоменном контексте.
• Проверь адаптивность моделей к реальным сценариям, выходящим за рамки обычного распознавания объектов.
• Проверь возможности моделей обнаружения объектов на различных наборах данных, в том числе в здравоохранении, аэрофотосъемке и видеоиграх.

Чтобы найти больше идей и вдохновения для реального применения, обязательно ознакомься с нашими руководствами по реальным проектам.

Использование

Набор данных Roboflow 100 доступен на GitHub и Roboflow Universe.

Ты можешь получить доступ к нему прямо из репозитория Roboflow 100 GitHub. Кроме того, на сайте Roboflow Universe у тебя есть возможность скачать отдельные наборы данных, просто нажав на кнопку экспорта в каждом наборе.

Образцы данных и аннотации

Roboflow 100 состоит из наборов данных с разнообразными изображениями и видео, снятыми с разных ракурсов и в разных областях. Вот примеры аннотированных изображений в бенчмарке RF100.

Разнообразие в бенчмарке Roboflow 100, которое можно увидеть выше, - это значительное продвижение по сравнению с традиционными бенчмарками, которые часто фокусируются на оптимизации одной метрики в ограниченной области.

Цитаты и благодарности

Если ты используешь набор данных Roboflow 100 в своих исследованиях или разработках, пожалуйста, ссылайся на следующую статью:

@misc{2211.13523,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Eprint = {arXiv:2211.13523},
}

Мы благодарим команду Roboflow и всех участников за их тяжелый труд по созданию и поддержанию набора данных Roboflow 100.

Если тебе интересно изучить больше наборов данных, чтобы улучшить свои проекты по обнаружению объектов и машинному обучению, не стесняйся посетить нашу обширную коллекцию наборов данных.

Комментарии