Link to this sectionRoboflow 100 데이터셋#

Intel이 후원하는 Roboflow 100은 획기적인 객체 탐지 벤치마크 데이터셋입니다. 이 데이터셋은 100개의 다양한 데이터셋을 포함합니다. 이 벤치마크는 컴퓨터 비전 모델(예: Ultralytics YOLO 모델)이 의료, 항공 이미지, 비디오 게임 등 다양한 도메인에 얼마나 잘 적응하는지 테스트하도록 특별히 설계되었습니다.

라이선스

Ultralytics는 다양한 사용 사례를 수용하기 위해 두 가지 라이선스 옵션을 제공합니다.

AGPL-3.0 라이선스: 이 OSI 승인 오픈 소스 라이선스는 학생 및 애호가에게 적합하며, 개방형 협업과 지식 공유를 장려합니다. 자세한 내용은 LICENSE 파일을 참조하고 AGPL-3.0 라이선스 페이지를 방문하십시오.
Enterprise 라이선스: 개발 및 프로덕션 용도로, 이 라이선스는 내부 도구, 자동화된 워크플로 및 프로덕션 배포를 포함한 비즈니스 제품 및 서비스에 Ultralytics 소프트웨어와 AI 모델을 원활하게 통합할 수 있도록 하며, AGPL-3.0의 오픈 소스 요구 사항을 우회할 수 있습니다. 시작하려면 Ultralytics Licensing을 통해 문의하십시오.

Roboflow 100 diverse object detection benchmark

Link to this section주요 특징#

다양한 도메인: 항공, 비디오 게임, 현미경, 수중, 문서, 전자기 및 실제 환경 등 7개의 서로 다른 도메인에 걸친 100개의 데이터셋이 포함되어 있습니다.
규모: 이 벤치마크는 805개 클래스에 걸친 224,714개의 이미지로 구성되어 있으며, 이는 11,170시간 이상의 데이터 라벨링 작업을 거친 결과입니다.
표준화: 모든 이미지는 일관된 평가를 위해 640x640 픽셀로 전처리 및 크기 조정되었습니다.
깨끗한 평가: 클래스 모호성을 제거하고 충분히 대표되지 않는 클래스를 필터링하여 보다 정확한 모델 평가를 보장하는 데 중점을 둡니다.
Annotations: Includes bounding boxes for objects, suitable for training and evaluating object detection models using metrics like mAP.

Link to this section데이터셋 구조#

Roboflow 100 데이터셋은 7개의 카테고리로 구성되어 있으며, 각 카테고리에는 고유한 데이터셋, 이미지 및 클래스 모음이 포함되어 있습니다.

항공: 7개 데이터셋, 9,683개 이미지, 24개 클래스.
비디오 게임: 7개 데이터셋, 11,579개 이미지, 88개 클래스.
현미경: 11개 데이터셋, 13,378개 이미지, 28개 클래스.
수중: 5개 데이터셋, 18,003개 이미지, 39개 클래스.
문서: 8개 데이터셋, 24,813개 이미지, 90개 클래스.
전자기: 12개 데이터셋, 36,381개 이미지, 41개 클래스.
실제 환경: 50개 데이터셋, 110,615개 이미지, 495개 클래스.

This structure provides a diverse and extensive testing ground for object detection models, reflecting a wide array of real-world application scenarios found in various Ultralytics Solutions.

Link to this section벤치마킹#

데이터셋 벤치마킹은 표준화된 지표를 사용하여 특정 데이터셋에서 머신 러닝 모델의 성능을 평가하는 것을 의미합니다. 일반적인 지표로는 정확도, mean Average Precision(mAP) 및 F1-score가 있습니다. 이에 대한 자세한 내용은 YOLO 성능 지표 가이드에서 확인할 수 있습니다.

벤치마킹 결과

제공된 스크립트를 사용한 벤치마킹 결과는 ultralytics-benchmarks/ 디렉터리의 evaluation.txt 파일에 저장됩니다.

벤치마킹 예시

다음 스크립트는 RF100Benchmark 클래스를 사용하여 Roboflow 100 벤치마크 내의 100개 데이터셋 전체에 대해 Ultralytics YOLO 모델(예: YOLO26n)을 프로그래밍 방식으로 벤치마킹하는 방법을 보여줍니다.

import os
import shutil
from pathlib import Path

from ultralytics.utils.benchmarks import RF100Benchmark

# Initialize RF100Benchmark and set API key
benchmark = RF100Benchmark()
benchmark.set_key(api_key="YOUR_ROBOFLOW_API_KEY")

# Parse dataset and define file paths
names, cfg_yamls = benchmark.parse_dataset()
val_log_file = Path("ultralytics-benchmarks") / "validation.txt"
eval_log_file = Path("ultralytics-benchmarks") / "evaluation.txt"

# Run benchmarks on each dataset in RF100
for ind, path in enumerate(cfg_yamls):
    path = Path(path)
    if path.exists():
        # Fix YAML file and run training
        benchmark.fix_yaml(str(path))
        os.system(f"yolo detect train data={path} model=yolo26s.pt epochs=1 batch=16")

        # Run validation and evaluate
        os.system(f"yolo detect val data={path} model=runs/detect/train/weights/best.pt > {val_log_file} 2>&1")
        benchmark.evaluate(str(path), str(val_log_file), str(eval_log_file), ind)

        # Remove the 'runs' directory
        runs_dir = Path.cwd() / "runs"
        shutil.rmtree(runs_dir)
    else:
        print("YAML file path does not exist")
        continue

print("RF100 Benchmarking completed!")

Link to this section응용 분야#

Roboflow 100은 컴퓨터 비전 및 딥러닝과 관련된 다양한 응용 분야에서 매우 유용합니다. 연구원과 엔지니어는 이 벤치마크를 활용하여 다음 작업을 수행할 수 있습니다.

다중 도메인 환경에서 객체 탐지 모델의 성능을 평가합니다.
Test the adaptability and robustness of models to real-world scenarios beyond common benchmark datasets like COCO or PASCAL VOC.
의료, 항공 이미지, 비디오 게임 등 전문 분야를 포함한 다양한 데이터셋 전반에서 객체 탐지 모델의 성능을 벤치마킹합니다.
다양한 신경망 아키텍처와 최적화 기술 간의 모델 성능을 비교합니다.
Identify domain-specific challenges that may require specialized model training tips or fine-tuning approaches like transfer learning.

For more ideas and inspiration on real-world applications, explore our guides on practical projects or check out Ultralytics Platform for streamlined model training and deployment.

메타데이터와 다운로드 링크를 포함한 Roboflow 100 데이터셋은 공식 Roboflow 100 GitHub 저장소에서 제공됩니다. 해당 저장소에서 직접 데이터셋에 액세스하여 벤치마킹 용도로 사용할 수 있습니다. Ultralytics의 RF100Benchmark 유틸리티를 사용하면 Ultralytics 모델에 사용할 데이터셋을 보다 쉽게 다운로드하고 준비할 수 있습니다.

Link to this section샘플 데이터 및 주석#

Roboflow 100은 다양한 각도와 도메인에서 캡처된 다채로운 이미지 데이터셋으로 구성됩니다. 아래는 RF100 벤치마크에 포함된 주석이 달린 이미지의 예시로, 다양한 객체와 장면을 보여줍니다. 데이터 증강과 같은 기술은 학습 중 다양성을 더욱 향상시킬 수 있습니다.

Roboflow 100 sample images with annotations

Roboflow 100 벤치마크에서 나타나는 다양성은 제한된 도메인 내의 단일 지표 최적화에 집중하던 기존 벤치마크에서 크게 발전한 것입니다. 이러한 포괄적인 접근 방식은 다양한 시나리오에서 우수한 성능을 발휘할 수 있는 보다 강건하고 다재다능한 컴퓨터 비전 모델을 개발하는 데 도움이 됩니다.

Link to this section인용 및 감사의 글#

연구 또는 개발 작업에 Roboflow 100 데이터셋을 사용하는 경우, 원본 논문을 인용해 주십시오.

인용

@misc{rf100benchmark,
    Author = {Floriana Ciaglia and Francesco Saverio Zuppichini and Paul Guerrie and Mark McQuade and Jacob Solawetz},
    Title = {Roboflow 100: A Rich, Multi-Domain Object Detection Benchmark},
    Year = {2022},
    Eprint = {arXiv:2211.13523},
    url = {https://arxiv.org/abs/2211.13523}
}

Roboflow 100 데이터셋을 컴퓨터 비전 커뮤니티를 위한 귀중한 자원으로 만들고 유지 관리해 준 Roboflow 팀과 모든 기여자에게 깊은 감사를 표합니다.

If you are interested in exploring more datasets to enhance your object detection and machine learning projects, feel free to visit our comprehensive dataset collection, which includes a variety of other detection datasets.

Link to this section자주 묻는 질문(FAQ)#