Ultralytics 벤치마크#
COCO는 여러 실제 컴퓨터 비전 작업을 대표하지 않습니다. Ultralytics 벤치마크는 고품질 바운딩 박스 라벨이 포함된 선별된 37개 객체 탐지 데이터셋 전반에서 모델 일반화 성능을 측정하기 위한 벤치마크 데이터셋입니다. 데이터셋 분야에는 의료 영상 분석, 원격 탐사, 교통, 문서, 사용자 인터페이스, 소매, 머신 비전, 농업, 스포츠, 야생 동물, 수중 영상, 폐기물 탐지가 포함됩니다. 센서 유형에는 RGB, 어안, 열적외선, X선, MRI, 초음파, 현미경, 합성 개구 레이더 (SAR)가 포함됩니다.
선별된 데이터셋은 Ultralytics Platform에 호스팅됩니다.
후보 데이터셋의 학습 및 검증 분할에서 완전히 중복되거나 거의 중복되는 이미지를 확인했습니다. 표시된 이미지 쌍을 검토했으며, 확인된 분할 간 데이터 누출은 제거하거나 해당 데이터셋을 교체했습니다.
데이터셋#
| 분야 | 센서 / 영상 유형 | 데이터셋 | 클래스 |
|---|---|---|---|
| 항공/원격 탐사 | RGB 위성 영상 | Airbus 유류 저장 시설 탐지 | 1: 유류 저장 탱크 |
| 문서/UI | RGB 및 스캔한 페이지 | AnnoPage 문서 요소 | 25: 화학식/방정식, 기호/로고, 사진, 그림, 그래프, 지도, 수학 표현식, 악보, 이미지, 장식, 명문, 평면도, 바코드/QR 코드, 도장, 광고, 손글씨 메모, 다이어그램, 표, 비네트, 프리즈 |
| 스포츠 | RGB 카메라 | 농구 골대 탐지 | 2: 농구공, 농구 네트 |
| 운전/교통 | RGB 도로 카메라 | CEYMO | 11: 버스 전용 차로, 자전거 전용 차로, 다이아몬드, 정션 박스, 좌회전 화살표, 횡단보도, 우회전 화살표, 직진 화살표, 서행, 직진-좌회전 화살표, 직진-우회전 화살표 |
| 의료 | MRI | Cheng 뇌종양 MRI | 3: 수막종, 신경교종, 뇌하수체 종양 |
| 의료 | 컬러 안저 카메라 | DDR 병변 | 4: 경성 삼출물, 출혈, 미세동맥류, 연성 삼출물 |
| 산업 | 선형 스캔 산업용 카메라 | DeepPCB | 6: 단선, 쇼트, 마우스바이트, 돌출부, 구리, 핀홀 |
| 의료 | 치과용 X선 | DENTEX | 4: 매복치, 우식, 치근단 병변, 심부 우식 |
| 산업 | RGB 산업용 카메라 | DSPCBSD | 9: 쇼트, 돌출부, 구리 이물, 단선, 마우스바이트, 홀 브레이크아웃, 도체 스크래치, 도체 이물, 모재 이물 |
| 기타 | RGB 1인칭 시점 카메라 | EgoHands | 4: own_left, own_right, other_left, other_right |
| 기타 | RGB 및 적외선 트레일 카메라 | ENA24 | 야생 동물, 사람, 가축, 차량 클래스 22개 |
| 운전/교통 | RGB 어안 카메라 | Fisheye8K | 5: 버스, 자전거, 자동차, 보행자, 트럭 |
| 문서/UI | 디지털 및 스캔 도면 | FloorPlanCAD | 건축 개구부, 가구, 가전제품, 욕실 설비, 계단, 엘리베이터, 에스컬레이터 클래스 30개 |
| 의료 | X선 | GRAZPEDWRI-DX | 9: boneanomaly, bonelesion, foreignbody, fracture, metal, periostealreaction, pronatorsign, softtissue, text |
| 문서/UI | 디지털 스크린샷 | GroundCUA UI | 9: 버튼, 정보 표시, 입력 요소, 메뉴, 탐색, 기타, 사이드바, 시각 요소, 알 수 없음 |
| 농업 | RGB 농장 카메라 | GWHD 2021 | 1: wheat_head |
| 항공/원격 탐사 | 열적외선 UAV | HIT-UAV | 5: 사람, 자동차, 자전거, 기타 차량, 무시 영역 |
| 의료 | 보안 검색용 X선 | IED X선 | 폭발물, 배터리, 노트북, 호출기, 휴대전화, 무전기, 개조 기기 클래스 11개 |
| 의료 | RGB 내시경 | Kvasir-SEG 용종 | 1: 용종 |
| 운전/교통 | 열적외선 | LLVIP | 1: 사람 |
| 항공/원격 탐사 | 8밴드 다중 스펙트럼 영상 | MODA 다중 스펙트럼 | 8: 자동차, 밴, 트럭, 버스, 삼륜차, 자전거, 차양 자전거, 보행자 |
| 농업 | RGB 카메라 | PlantDoc | 작물 잎 및 식물 질병 클래스 29개 |
| 스포츠 | RGB 비디오 프레임 | RacketVision 테니스공 | 1: 테니스공 |
| 운전/교통 | RGB 도로 카메라 | RDD2022 | 5: 종방향 균열, 횡방향 균열, 거북등 균열, 기타 손상, 포트홀 |
| 소매 | RGB 계산대 카메라 | RPC 소매 계산대 | 포장 식품, 음료, 우유, 통조림, 초콜릿, 껌, 사탕, 조미료, 위생용품, 티슈, 문구류를 포함하는 계산대 상품 클래스 200개 |
| 기타 | RGB 수중 카메라 | RUOD 수중 | 10: 해삼, 성게, 가리비, 불가사리, 물고기, 산호, 다이버, 갑오징어, 거북이, 해파리 |
| 산업 | RGB 카메라 | Safe Human 17 | 사람, 신체 부위, 도구, 개인 보호 장비 클래스 17개 |
| 항공/원격 탐사 | RGB UAV 카메라 | SeaDronesSee | 6: 무시 대상, 수영하는 사람, 보트, 제트스키, 구명 장비, 부표 |
| 소매 | RGB 소매점 카메라 | SKU-110K | 1: 매장 상품 |
| 스포츠 | RGB 방송 카메라 | SoccerDB | 3: 선수, 공, 골대 |
| 항공/원격 탐사 | 합성 개구 레이더 (SAR) | SSDD SAR Ship | 1: 선박 |
| 기타 | RGB 카메라 | TACO Litter | 쓰레기 재료 및 객체 클래스 28개 |
| 의료 | 흉부 X선 | TBX11K | 2: 활동성 폐결핵, 비활동성 폐결핵 |
| 의료 | 초음파 | TN5000 Thyroid Ultrasound | 2: 양성, 악성 |
| 의료 | 광학 현미경 | TXL-PBC Blood Cells | 3: 백혈구, 적혈구, 혈소판 |
| 기타 | RGB 카메라 | UEC School Lunch Food | 학교 급식 음식 및 음료 클래스 21개 |
| 항공/원격 탐사 | RGB UAV 카메라 | VisDrone | 10: 보행자, 사람, 자전거, 자동차, 밴, 트럭, 삼륜차, 차양 삼륜차, 버스, 오토바이 |
평가#
- 각 학습 분할에서 최대 1,000개의 이미지를 샘플링하고, 검증 분할은 전체를 유지하며, 테스트 분할은
fraction=[1000, 1.0, 0.0]을 사용해 제외합니다. - 동일한 사전 학습 체크포인트를 각 데이터셋에서 독립적으로 100 epoch 동안 미세 조정합니다. patience는 100, seed는 0, batch는 16, worker는 4로 설정합니다. 이미지 크기는 640픽셀을 사용합니다. seed 0은 완전히 결정론적이지 않으므로 YOLO27m 및 YOLO27l은 이러한 실행 3회의 평균을 보고합니다.
- 클래스 매핑, channels-last 및 예측 JSON 출력을 활성화하고, 플롯은 비활성화합니다.
- 각 데이터셋의 최적 체크포인트를 평가하고, 해당 데이터셋에서 가장 많은 객체 수를 반영하는 저장된
max_det을 재사용합니다. - 크기별 mAP50-95를 계산하려면 COCO의 Small, Medium 및 Large 구간을 적용하기 전에 정답 및 예측 박스 영역에
(640 / max(image_width, image_height)) ** 2을 곱합니다. - 모든 데이터셋에 동일한 가중치를 부여합니다. 각 크기 지표에는 해당 구간에 객체가 10개 이상인 데이터셋만 포함됩니다.
매크로 mAP는 sum(dataset validation mAP50-95) / 37입니다. 지표는 각 데이터셋에 저장된 예측값을 사용해 계산합니다.
벤치마크 결과#
지표는 37개 검증 분할의 매크로 평균이며, 백분율로 보고됩니다.
| 크기 | 모델 | mAP50-95 | 정밀도 | 재현율 | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
벤치마킹#
데이터셋에 액세스하도록 ULTRALYTICS_API_KEY을 설정하고 Ultralytics의 main 브랜치를 사용합니다:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# 메인 브랜치는 원본 영역 기준 크기 구간을 보고합니다. 이 벤치마크에서는 GT 및 예측 영역을 별도로 재조정합니다
# 크기별 AP를 계산하기 전에 (640 / max(image_width, image_height)) ** 2를 적용합니다.인용#
작업에서 Ultralytics Benchmark를 사용하는 경우 다음을 인용해 주세요: Ultralytics YOLO26 논문:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


