Ultralytics Benchmark#
COCO không đại diện cho nhiều tác vụ thị giác máy tính trong thực tế. Ultralytics Benchmark là một tập dữ liệu benchmark dùng để đo lường khả năng tổng quát hóa của model trên 37 tập dữ liệu phát hiện đối tượng được tuyển chọn, có nhãn hộp giới hạn chất lượng cao. Các lĩnh vực bao gồm phân tích ảnh y tế, viễn thám, giao thông, tài liệu, giao diện người dùng, bán lẻ, thị giác máy, nông nghiệp, thể thao, động vật hoang dã, ảnh dưới nước và phát hiện rác thải. Các loại cảm biến bao gồm RGB, mắt cá, hồng ngoại nhiệt, X-quang, MRI, siêu âm, hiển vi và radar khẩu độ tổng hợp (SAR).
Các tập dữ liệu được tuyển chọn được lưu trữ trên Ultralytics Platform.
Các tập dữ liệu ứng viên được kiểm tra để tìm ảnh trùng lặp hoàn toàn hoặc gần giống nhau giữa các phân vùng train và validation. Các cặp bị gắn cờ được rà soát, các trường hợp rò rỉ giữa các phân vùng đã xác nhận được loại bỏ hoặc thay thế tập dữ liệu bị ảnh hưởng.
Datasets#
| Lĩnh vực | Cảm biến / hình ảnh | Dataset | Các lớp |
|---|---|---|---|
| Ảnh hàng không/viễn thám | Ảnh vệ tinh RGB | Phát hiện bồn chứa dầu Airbus | 1: bồn chứa dầu |
| Tài liệu/UI | RGB và trang đã quét | Các thành phần tài liệu AnnoPage | 25: công thức/phương trình hóa học, ký hiệu/logo, ảnh chụp, bản vẽ, biểu đồ, bản đồ, biểu thức toán học, ký hiệu âm nhạc, hình ảnh, đồ trang trí, dòng chữ khắc, sơ đồ mặt bằng, mã vạch/mã QR, con dấu, quảng cáo, ghi chú viết tay, sơ đồ, bảng, họa tiết trang trí và phù điêu |
| Thể thao | Camera RGB | Phát hiện vành rổ bóng rổ | 2: bóng rổ, lưới bóng rổ |
| Lái xe/Giao thông | Camera đường RGB | CEYMO | 11: làn xe buýt, làn xe đạp, hình thoi, hộp nối, mũi tên trái, vạch sang đường cho người đi bộ, mũi tên phải, mũi tên đi thẳng, đi chậm, mũi tên thẳng-trái, mũi tên thẳng-phải |
| Y tế | MRI | MRI khối u não Cheng | 3: u màng não, u thần kinh đệm, u tuyến yên |
| Y tế | Camera đáy mắt màu | Tổn thương DDR | 4: xuất tiết cứng, xuất huyết, vi phình mạch, xuất tiết mềm |
| Công nghiệp | Camera công nghiệp quét tuyến tính | DeepPCB | 6: hở mạch, ngắn mạch, sứt cạnh, phần nhô, đồng, lỗ kim |
| Y tế | X-quang nha khoa | DENTEX | 4: răng mọc ngầm, sâu răng, tổn thương quanh chóp, sâu răng nặng |
| Công nghiệp | Camera công nghiệp RGB | DSPCBSD | 9: ngắn mạch, phần nhô, đồng thừa, hở mạch, sứt cạnh, thủng đường mạch, vết xước dây dẫn, dị vật trên dây dẫn, dị vật trên vật liệu nền |
| Khác | Camera RGB góc nhìn thứ nhất | EgoHands | 4: tay trái của người đeo camera, tay phải của người đeo camera, tay trái của người khác, tay phải của người khác |
| Khác | Camera bẫy ảnh RGB và hồng ngoại | ENA24 | 22 lớp động vật hoang dã, người, động vật nuôi và phương tiện |
| Lái xe/Giao thông | Camera mắt cá RGB | Fisheye8K | 5: xe buýt, xe đạp, ô tô, người đi bộ, xe tải |
| Tài liệu/UI | Bản vẽ kỹ thuật số và bản quét | FloorPlanCAD | 30 lớp kiến trúc gồm cửa mở, đồ nội thất, thiết bị gia dụng, thiết bị phòng tắm, cầu thang, thang máy và thang cuốn |
| Y tế | X-quang | GRAZPEDWRI-DX | 9: bất thường xương, tổn thương xương, dị vật, gãy xương, kim loại, phản ứng màng xương, dấu hiệu cơ sấp, mô mềm, văn bản |
| Tài liệu/UI | Ảnh chụp màn hình kỹ thuật số | Giao diện người dùng GroundCUA | 9: nút, màn hình thông tin, phần tử nhập liệu, menu, điều hướng, mục khác, thanh bên, phần tử trực quan, không xác định |
| Nông nghiệp | Camera RGB ngoài đồng | GWHD 2021 | 1: đầu lúa mì |
| Ảnh hàng không/viễn thám | UAV hồng ngoại nhiệt | HIT-UAV | 5: người, ô tô, xe đạp, phương tiện khác, vùng bị bỏ qua |
| Y tế | X-quang an ninh | X-quang IED | 11 lớp gồm chất nổ, pin, máy tính xách tay, máy nhắn tin, điện thoại di động, bộ đàm và thiết bị bị can thiệp |
| Y tế | Nội soi RGB | Polyp Kvasir-SEG | 1: polyp |
| Lái xe/Giao thông | Hồng ngoại nhiệt | LLVIP | 1: người |
| Ảnh hàng không/viễn thám | Ảnh đa phổ 8 băng tần | Đa phổ MODA | 8: ô tô, xe van, xe tải, xe buýt, xe ba bánh, xe đạp, xe đạp có mái che, người đi bộ |
| Nông nghiệp | Camera RGB | PlantDoc | 29 lớp lá cây trồng và bệnh thực vật |
| Thể thao | Khung hình video RGB | Bóng tennis RacketVision | 1: bóng tennis |
| Lái xe/Giao thông | Camera đường RGB | RDD2022 | 5: nứt dọc, nứt ngang, nứt dạng da cá sấu, hư hỏng khác, ổ gà |
| Bán lẻ | Camera quầy thanh toán RGB | Quầy thanh toán bán lẻ RPC | 200 lớp sản phẩm tại quầy thanh toán, gồm thực phẩm đóng gói, đồ uống, sữa, thực phẩm đóng hộp, sô-cô-la, kẹo cao su, kẹo, gia vị, sản phẩm vệ sinh, khăn giấy và văn phòng phẩm |
| Khác | Camera dưới nước RGB | RUOD dưới nước | 10: hải sâm, cầu gai, sò điệp, sao biển, cá, san hô, thợ lặn, mực nang, rùa, sứa |
| Công nghiệp | Camera RGB | Safe Human 17 | 17 lớp người, bộ phận cơ thể, dụng cụ và thiết bị bảo hộ cá nhân |
| Ảnh hàng không/viễn thám | Camera UAV RGB | SeaDronesSee | 6: bị bỏ qua, người bơi, thuyền, mô tô nước, thiết bị cứu sinh, phao |
| Bán lẻ | Camera bán lẻ RGB | SKU-110K | 1: sản phẩm trên kệ |
| Thể thao | Camera phát sóng RGB | SoccerDB | 3: cầu thủ, bóng, khung thành |
| Ảnh hàng không/viễn thám | Radar khẩu độ tổng hợp (SAR) | SSDD SAR Ship | 1: tàu |
| Khác | Camera RGB | TACO Litter | 28 lớp vật liệu và vật thể rác |
| Y tế | X-quang ngực | TBX11K | 2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis |
| Y tế | Siêu âm | TN5000 Thyroid Ultrasound | 2: lành tính, ác tính |
| Y tế | Kính hiển vi quang học | TXL-PBC Blood Cells | 3: bạch cầu, hồng cầu, tiểu cầu |
| Khác | Camera RGB | UEC School Lunch Food | 21 lớp thức ăn và đồ uống trong bữa trưa ở trường học |
| Ảnh hàng không/viễn thám | Camera UAV RGB | VisDrone | 10: người đi bộ, người, xe đạp, ô tô, xe tải nhẹ, xe tải, xe ba bánh, xe ba bánh có mái che, xe buýt, xe máy |
Đánh giá#
- Lấy mẫu tối đa 1.000 ảnh từ mỗi tập train, giữ nguyên toàn bộ tập validation và loại trừ tập test bằng
fraction=[1000, 1.0, 0.0]. - Fine-tune độc lập cùng một checkpoint pretrained trên từng dataset trong 100 epoch với patience 100, seed 0, batch 16 và bốn worker. Ảnh có kích thước 640 pixel. Seed 0 không đảm bảo tính xác định hoàn toàn, vì vậy YOLO27m và YOLO27l báo cáo giá trị trung bình của 3 lần chạy như vậy.
- Bật remapping lớp, channels-last và đầu ra JSON cho dự đoán, đồng thời tắt biểu đồ.
- Đánh giá checkpoint tốt nhất của từng dataset và sử dụng lại
max_detđã lưu, vốn tính đến số lượng đối tượng lớn nhất của dataset đó. - Để tính mAP50-95 theo kích thước, nhân diện tích box ground-truth và dự đoán với
(640 / max(image_width, image_height)) ** 2trước khi áp dụng các ngưỡng COCO Small, Medium và Large. - Gán trọng số bằng nhau cho mọi dataset. Mỗi metric theo kích thước chỉ tính các dataset có ít nhất 10 đối tượng thuộc ngưỡng đó.
mAP macro là sum(dataset validation mAP50-95) / 37. Các metric được tính từ dự đoán đã lưu của từng dataset.
Kết quả benchmark#
Các metric là trung bình macro trên 37 tập validation, được báo cáo dưới dạng phần trăm.
| Kích thước | Model | mAP50-95 | Precision | Recall | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Đánh giá benchmark#
Sử dụng nhánh main của Ultralytics và đặt ULTRALYTICS_API_KEY để truy cập dataset:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# Nhánh main báo cáo các ngưỡng kích thước theo diện tích gốc. Benchmark này tính lại tỷ lệ diện tích GT và dự đoán riêng
# theo (640 / max(image_width, image_height)) ** 2 trước khi tính AP theo kích thước.Trích dẫn#
Nếu sử dụng Ultralytics Benchmark trong công việc, vui lòng trích dẫn bài báo Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


