Ultralytics YOLO27:
Get Started

Ultralytics Benchmark#

COCO không đại diện cho nhiều tác vụ thị giác máy tính trong thực tế. Ultralytics Benchmark là một tập dữ liệu benchmark dùng để đo lường khả năng tổng quát hóa của model trên 37 tập dữ liệu phát hiện đối tượng được tuyển chọn, có nhãn hộp giới hạn chất lượng cao. Các lĩnh vực bao gồm phân tích ảnh y tế, viễn thám, giao thông, tài liệu, giao diện người dùng, bán lẻ, thị giác máy, nông nghiệp, thể thao, động vật hoang dã, ảnh dưới nước và phát hiện rác thải. Các loại cảm biến bao gồm RGB, mắt cá, hồng ngoại nhiệt, X-quang, MRI, siêu âm, hiển vi và radar khẩu độ tổng hợp (SAR).

Các tập dữ liệu được tuyển chọn được lưu trữ trên Ultralytics Platform.

Các tập dữ liệu ứng viên được kiểm tra để tìm ảnh trùng lặp hoàn toàn hoặc gần giống nhau giữa các phân vùng train và validation. Các cặp bị gắn cờ được rà soát, các trường hợp rò rỉ giữa các phân vùng đã xác nhận được loại bỏ hoặc thay thế tập dữ liệu bị ảnh hưởng.

Datasets#

Lĩnh vựcCảm biến / hình ảnhDatasetCác lớp
Ảnh hàng không/viễn thámẢnh vệ tinh RGBPhát hiện bồn chứa dầu Airbus1: bồn chứa dầu
Tài liệu/UIRGB và trang đã quétCác thành phần tài liệu AnnoPage25: công thức/phương trình hóa học, ký hiệu/logo, ảnh chụp, bản vẽ, biểu đồ, bản đồ, biểu thức toán học, ký hiệu âm nhạc, hình ảnh, đồ trang trí, dòng chữ khắc, sơ đồ mặt bằng, mã vạch/mã QR, con dấu, quảng cáo, ghi chú viết tay, sơ đồ, bảng, họa tiết trang trí và phù điêu
Thể thaoCamera RGBPhát hiện vành rổ bóng rổ2: bóng rổ, lưới bóng rổ
Lái xe/Giao thôngCamera đường RGBCEYMO11: làn xe buýt, làn xe đạp, hình thoi, hộp nối, mũi tên trái, vạch sang đường cho người đi bộ, mũi tên phải, mũi tên đi thẳng, đi chậm, mũi tên thẳng-trái, mũi tên thẳng-phải
Y tếMRIMRI khối u não Cheng3: u màng não, u thần kinh đệm, u tuyến yên
Y tếCamera đáy mắt màuTổn thương DDR4: xuất tiết cứng, xuất huyết, vi phình mạch, xuất tiết mềm
Công nghiệpCamera công nghiệp quét tuyến tínhDeepPCB6: hở mạch, ngắn mạch, sứt cạnh, phần nhô, đồng, lỗ kim
Y tếX-quang nha khoaDENTEX4: răng mọc ngầm, sâu răng, tổn thương quanh chóp, sâu răng nặng
Công nghiệpCamera công nghiệp RGBDSPCBSD9: ngắn mạch, phần nhô, đồng thừa, hở mạch, sứt cạnh, thủng đường mạch, vết xước dây dẫn, dị vật trên dây dẫn, dị vật trên vật liệu nền
KhácCamera RGB góc nhìn thứ nhấtEgoHands4: tay trái của người đeo camera, tay phải của người đeo camera, tay trái của người khác, tay phải của người khác
KhácCamera bẫy ảnh RGB và hồng ngoạiENA2422 lớp động vật hoang dã, người, động vật nuôi và phương tiện
Lái xe/Giao thôngCamera mắt cá RGBFisheye8K5: xe buýt, xe đạp, ô tô, người đi bộ, xe tải
Tài liệu/UIBản vẽ kỹ thuật số và bản quétFloorPlanCAD30 lớp kiến trúc gồm cửa mở, đồ nội thất, thiết bị gia dụng, thiết bị phòng tắm, cầu thang, thang máy và thang cuốn
Y tếX-quangGRAZPEDWRI-DX9: bất thường xương, tổn thương xương, dị vật, gãy xương, kim loại, phản ứng màng xương, dấu hiệu cơ sấp, mô mềm, văn bản
Tài liệu/UIẢnh chụp màn hình kỹ thuật sốGiao diện người dùng GroundCUA9: nút, màn hình thông tin, phần tử nhập liệu, menu, điều hướng, mục khác, thanh bên, phần tử trực quan, không xác định
Nông nghiệpCamera RGB ngoài đồngGWHD 20211: đầu lúa mì
Ảnh hàng không/viễn thámUAV hồng ngoại nhiệtHIT-UAV5: người, ô tô, xe đạp, phương tiện khác, vùng bị bỏ qua
Y tếX-quang an ninhX-quang IED11 lớp gồm chất nổ, pin, máy tính xách tay, máy nhắn tin, điện thoại di động, bộ đàm và thiết bị bị can thiệp
Y tếNội soi RGBPolyp Kvasir-SEG1: polyp
Lái xe/Giao thôngHồng ngoại nhiệtLLVIP1: người
Ảnh hàng không/viễn thámẢnh đa phổ 8 băng tầnĐa phổ MODA8: ô tô, xe van, xe tải, xe buýt, xe ba bánh, xe đạp, xe đạp có mái che, người đi bộ
Nông nghiệpCamera RGBPlantDoc29 lớp lá cây trồng và bệnh thực vật
Thể thaoKhung hình video RGBBóng tennis RacketVision1: bóng tennis
Lái xe/Giao thôngCamera đường RGBRDD20225: nứt dọc, nứt ngang, nứt dạng da cá sấu, hư hỏng khác, ổ gà
Bán lẻCamera quầy thanh toán RGBQuầy thanh toán bán lẻ RPC200 lớp sản phẩm tại quầy thanh toán, gồm thực phẩm đóng gói, đồ uống, sữa, thực phẩm đóng hộp, sô-cô-la, kẹo cao su, kẹo, gia vị, sản phẩm vệ sinh, khăn giấy và văn phòng phẩm
KhácCamera dưới nước RGBRUOD dưới nước10: hải sâm, cầu gai, sò điệp, sao biển, cá, san hô, thợ lặn, mực nang, rùa, sứa
Công nghiệpCamera RGBSafe Human 1717 lớp người, bộ phận cơ thể, dụng cụ và thiết bị bảo hộ cá nhân
Ảnh hàng không/viễn thámCamera UAV RGBSeaDronesSee6: bị bỏ qua, người bơi, thuyền, mô tô nước, thiết bị cứu sinh, phao
Bán lẻCamera bán lẻ RGBSKU-110K1: sản phẩm trên kệ
Thể thaoCamera phát sóng RGBSoccerDB3: cầu thủ, bóng, khung thành
Ảnh hàng không/viễn thámRadar khẩu độ tổng hợp (SAR)SSDD SAR Ship1: tàu
KhácCamera RGBTACO Litter28 lớp vật liệu và vật thể rác
Y tếX-quang ngựcTBX11K2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis
Y tếSiêu âmTN5000 Thyroid Ultrasound2: lành tính, ác tính
Y tếKính hiển vi quang họcTXL-PBC Blood Cells3: bạch cầu, hồng cầu, tiểu cầu
KhácCamera RGBUEC School Lunch Food21 lớp thức ăn và đồ uống trong bữa trưa ở trường học
Ảnh hàng không/viễn thámCamera UAV RGBVisDrone10: người đi bộ, người, xe đạp, ô tô, xe tải nhẹ, xe tải, xe ba bánh, xe ba bánh có mái che, xe buýt, xe máy

Đánh giá#

  • Lấy mẫu tối đa 1.000 ảnh từ mỗi tập train, giữ nguyên toàn bộ tập validation và loại trừ tập test bằng fraction=[1000, 1.0, 0.0].
  • Fine-tune độc lập cùng một checkpoint pretrained trên từng dataset trong 100 epoch với patience 100, seed 0, batch 16 và bốn worker. Ảnh có kích thước 640 pixel. Seed 0 không đảm bảo tính xác định hoàn toàn, vì vậy YOLO27m và YOLO27l báo cáo giá trị trung bình của 3 lần chạy như vậy.
  • Bật remapping lớp, channels-last và đầu ra JSON cho dự đoán, đồng thời tắt biểu đồ.
  • Đánh giá checkpoint tốt nhất của từng dataset và sử dụng lại max_det đã lưu, vốn tính đến số lượng đối tượng lớn nhất của dataset đó.
  • Để tính mAP50-95 theo kích thước, nhân diện tích box ground-truth và dự đoán với (640 / max(image_width, image_height)) ** 2 trước khi áp dụng các ngưỡng COCO Small, Medium và Large.
  • Gán trọng số bằng nhau cho mọi dataset. Mỗi metric theo kích thước chỉ tính các dataset có ít nhất 10 đối tượng thuộc ngưỡng đó.

mAP macro là sum(dataset validation mAP50-95) / 37. Các metric được tính từ dự đoán đã lưu của từng dataset.

Kết quả benchmark#

Các metric là trung bình macro trên 37 tập validation, được báo cáo dưới dạng phần trăm.

Kích thướcModelmAP50-95PrecisionRecallmAP50-95-SmAP50-95-MmAP50-95-L
L/XYOLO27l55.5078.8374.9038.1755.7563.36
L/XYOLO26x49.8576.7468.6134.4450.5451.69
L/XYOLO26l49.7275.0569.3134.4950.1651.72
L/XYOLO11l48.5374.2268.3331.9150.7150.77
L/XYOLOv5l48.0374.1167.7831.7349.7949.87
L/XYOLOv8l48.0273.9568.8032.0549.0449.56
L/XYOLOv8x47.6775.6666.4631.1249.6049.69
L/XYOLOv5x47.3574.6967.9631.2749.3949.76
L/XYOLO11x47.2473.6967.0831.2248.5749.24
MYOLO27m53.3875.8572.9535.9653.4061.40
MYOLO26m49.4276.2368.3132.9150.0251.32
MYOLOv5m48.1974.2168.0731.6849.6751.93
MYOLO11m48.1573.7268.5632.1449.7650.75
MYOLOv8m47.9973.8668.1530.7349.6151.97
SYOLO27s51.2376.9670.7434.2051.4754.74
SYOLO11s47.7874.7267.6629.5349.6950.69
SYOLO26s47.4774.3566.7331.5647.7250.58
SYOLOv8s47.3573.9767.5430.9048.4750.15
SYOLOv5s47.3073.9767.0230.4749.0750.10
NYOLO27n49.2574.8668.4931.9349.3053.20
NYOLO11n46.1972.8365.6928.3547.5150.66
NYOLOv8n45.8972.2965.5628.5647.5549.22
NYOLOv5n45.0971.6964.9928.6146.7948.14
NYOLO26n44.0870.0963.2028.6944.5247.96

Đánh giá benchmark#

Sử dụng nhánh main của Ultralytics và đặt ULTRALYTICS_API_KEY để truy cập dataset:

from ultralytics import YOLO

datasets = [
    "ul://ultralytics/datasets/airbus-oil-storage-detection",
    "ul://ultralytics/datasets/annopage-doc-elements",
    "ul://ultralytics/datasets/basketball-hoop-detection",
    "ul://ultralytics/datasets/ceymo",
    "ul://ultralytics/datasets/cheng-brain-tumor-mri",
    "ul://ultralytics/datasets/ddr-lesion",
    "ul://ultralytics/datasets/deeppcb",
    "ul://ultralytics/datasets/dentex",
    "ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
    "ul://ultralytics/datasets/egohands-egocentric",
    "ul://ultralytics/datasets/ena24",
    "ul://ultralytics/datasets/fisheye8k-traffic",
    "ul://ultralytics/datasets/floorplancad-2",
    "ul://ultralytics/datasets/grazpedwri-dx",
    "ul://ultralytics/datasets/groundcua-ui-yolo",
    "ul://ultralytics/datasets/global-wheat-head-detection-2021",
    "ul://ultralytics/datasets/hit-uav",
    "ul://ultralytics/datasets/iedxray",
    "ul://ultralytics/datasets/kvasir-seg-polyp",
    "ul://ultralytics/datasets/llvip",
    "ul://ultralytics/datasets/moda-multispectral-obb",
    "ul://ultralytics/datasets/plantdoc",
    "ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
    "ul://ultralytics/datasets/rdd2022",
    "ul://ultralytics/datasets/rpc-retail-checkout",
    "ul://ultralytics/datasets/ruod-underwater",
    "ul://ultralytics/datasets/safe-human-17",
    "ul://ultralytics/datasets/seadronessee-2",
    "ul://ultralytics/datasets/sku110k-2",
    "ul://ultralytics/datasets/soccerdb",
    "ul://ultralytics/datasets/ssdd-sar-ship",
    "ul://ultralytics/datasets/taco-detect",
    "ul://ultralytics/datasets/tbx11k-tb-only",
    "ul://ultralytics/datasets/tn5000-thyroid-us",
    "ul://ultralytics/datasets/txl-pbc-blood-cells",
    "ul://ultralytics/datasets/uec-school-lunch-food-2",
    "ul://ultralytics/datasets/visdrone",
]

results = YOLO("yolo27n.pt").train(
    data=datasets,
    epochs=100,
    patience=100,
    imgsz=640,
    batch=16,
    fraction=[1000, 1.0, 0.0],
    seed=0,
    workers=4,
    cls_remap=True,
    channels_last=True,
    save_json=True,
    plots=False,
)
# Nhánh main báo cáo các ngưỡng kích thước theo diện tích gốc. Benchmark này tính lại tỷ lệ diện tích GT và dự đoán riêng
# theo (640 / max(image_width, image_height)) ** 2 trước khi tính AP theo kích thước.

Trích dẫn#

Nếu sử dụng Ultralytics Benchmark trong công việc, vui lòng trích dẫn bài báo Ultralytics YOLO26:

@misc{jocher2026ultralyticsyolo26unifiedrealtime,
  title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
  author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
  year = {2026},
  eprint = {2606.03748},
  archivePrefix = {arXiv},
  primaryClass = {cs.CV},
  doi = {10.48550/arXiv.2606.03748},
  url = {https://arxiv.org/abs/2606.03748},
}
Người đóng góp

Bình luận