Ultralytics Benchmark#
COCO non rappresenta molti compiti di computer vision del mondo reale. Ultralytics Benchmark è un dataset di benchmark per misurare la generalizzabilità dei modelli su 37 dataset selezionati di rilevamento di oggetti con annotazioni di alta qualità delle bounding box. Gli ambiti includono analisi di immagini mediche, telerilevamento, traffico, documenti, interfacce utente, vendita al dettaglio, visione artificiale, agricoltura, sport, fauna selvatica, imaging subacqueo e rilevamento dei rifiuti. I tipi di sensore includono RGB, fisheye, infrarosso termico, aggi X, MRI, ultrasuoni, microscopia e radar ad apertura sintetica (SAR).
I dataset selezionati sono ospitati su Ultralytics Platform.
I dataset candidati sono stati controllati per individuare immagini identiche e quasi duplicate tra le partizioni di training e validazione. Le coppie segnalate sono state esaminate e le contaminazioni confermate tra le partizioni sono state rimosse oppure il dataset interessato è stato sostituito.
Dataset#
| Ambito | Sensore / tipo di immagine | Dataset | Classi |
|---|---|---|---|
| Aereo/RS | Immagini satellitari RGB | Rilevamento di serbatoi di petrolio Airbus | 1: serbatoio di stoccaggio del petrolio |
| Documenti/UI | RGB e pagine scansionate | Elementi di documenti AnnoPage | 25: formula/equazione chimica, simbolo/logo, fotografia, disegno, grafico, mappa, espressione matematica, notazione musicale, immagine, decorazione, iscrizione, planimetria, codice a barre/QR, timbro, pubblicità, nota manoscritta, diagramma, tabella, vignetta e fregio |
| Sport | Fotocamera RGB | Rilevamento del canestro da basket | 2: pallone da basket, rete da basket |
| Guida/Traffico | Telecamera stradale RGB | CEYMO | 11: corsia degli autobus, pista ciclabile, rombo, scatola di giunzione, freccia a sinistra, attraversamento pedonale, freccia a destra, freccia dritta, rallentare, freccia dritta-a sinistra, freccia dritta-a destra |
| Medicina | MRI | MRI per tumori cerebrali Cheng | 3: meningioma, glioma, ipofisario |
| Medicina | Fotocamera per il fondo oculare a colori | Lesioni DDR | 4: essudati duri, emorragie, microaneurismi, essudati molli |
| Industria | Telecamera industriale a scansione lineare | DeepPCB | 6: circuito aperto, cortocircuito, intaccatura, sperone, rame, foro cieco |
| Medicina | Radiografia dentale | DENTEX | 4: dente incluso, carie, lesione periapicale, carie profonda |
| Industria | Telecamera industriale RGB | DSPCBSD | 9: cortocircuito, sperone, rame in eccesso, circuito aperto, intaccatura, rottura del foro, graffio del conduttore, corpo estraneo sul conduttore, corpo estraneo sul materiale di base |
| Altro | Fotocamera egocentrica RGB | EgoHands | 4: propria_sinistra, propria_destra, altra_sinistra, altra_destra |
| Altro | Fotocamera da sentiero RGB e a infrarossi | ENA24 | 22 classi di fauna selvatica, persone, animali domestici e veicoli |
| Guida/Traffico | Fotocamera fisheye RGB | Fisheye8K | 5: autobus, bicicletta, automobile, pedone, camion |
| Documenti/UI | Planimetrie digitali e scansionate | FloorPlanCAD | 30 classi di aperture architettoniche, mobili, elettrodomestici, sanitari, scale, ascensori e scale mobili |
| Medicina | Raggi X | GRAZPEDWRI-DX | 9: anomalia ossea, lesione ossea, corpo estraneo, frattura, metallo, reazione periostale, segno dei pronatori, tessuto molle, testo |
| Documenti/UI | Screenshot digitali | Interfaccia utente GroundCUA | 9: pulsante, visualizzazione di informazioni, elementi di input, menu, navigazione, altro, barra laterale, elementi visivi, sconosciuto |
| Agricoltura | Fotocamera da campo RGB | GWHD 2021 | 1: spiga_di_grano |
| Aereo/RS | UAV a infrarosso termico | HIT-UAV | 5: persona, automobile, bicicletta, altro veicolo, area ignorata |
| Medicina | Radiografia a raggi X di sicurezza | Radiografia IED | 11 classi di esplosivi, batterie, laptop, cercapersone, telefoni cellulari, walkie-talkie e dispositivi modificati |
| Medicina | Endoscopio RGB | Polipi Kvasir-SEG | 1: polipo |
| Guida/Traffico | Infrarosso termico | LLVIP | 1: persona |
| Aereo/RS | Immagini multispettrali a 8 bande | MODA multispettrale | 8: automobile, furgone, camion, autobus, triciclo, bicicletta, bicicletta con tendalino, pedone |
| Agricoltura | Fotocamera RGB | PlantDoc | 29 classi di foglie di colture e malattie delle piante |
| Sport | Fotogrammi video RGB | Palla da tennis RacketVision | 1: palla da tennis |
| Guida/Traffico | Telecamera stradale RGB | RDD2022 | 5: fessura longitudinale, fessura trasversale, fessura a pelle di coccodrillo, altro deterioramento, buca |
| Commercio al dettaglio | Telecamera RGB per casse | Casse di vendita al dettaglio RPC | 200 classi di prodotti per le casse, tra cui alimenti confezionati, bevande, latte, cibi in scatola, cioccolato, gomme da masticare, caramelle, condimenti, prodotti per l'igiene, fazzoletti e articoli di cancelleria |
| Altro | Fotocamera subacquea RGB | RUOD subacqueo | 10: oloturia, riccio di mare, capesante, stella marina, pesce, coralli, subacqueo, seppia, tartaruga, medusa |
| Industria | Fotocamera RGB | Safe Human 17 | 17 classi di persone, parti del corpo, strumenti e dispositivi di protezione individuale |
| Aereo/RS | Fotocamera UAV RGB | SeaDronesSee | 6: ignorato, nuotatore, barca, moto d'acqua, dispositivi di salvataggio, boa |
| Commercio al dettaglio | Telecamera RGB per la vendita al dettaglio | SKU-110K | 1: prodotto sugli scaffali |
| Sport | Telecamera broadcast RGB | SoccerDB | 3: giocatore, palla, porta |
| Aereo/RS | Radar ad apertura sintetica (SAR) | SSDD SAR Ship | 1: nave |
| Altro | Fotocamera RGB | TACO Litter | 28 classi di materiali e oggetti litter |
| Medicina | Radiografia del torace | TBX11K | 2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis |
| Medicina | Ecografia | TN5000 Thyroid Ultrasound | 2: benigno, maligno |
| Medicina | Microscopia ottica | TXL-PBC Blood Cells | 3: globuli bianchi, globuli rossi, piastrine |
| Altro | Fotocamera RGB | UEC School Lunch Food | 21 classi di cibi e bevande per il pranzo scolastico |
| Aereo/RS | Fotocamera UAV RGB | VisDrone | 10: pedone, persone, bicicletta, auto, furgone, camion, triciclo, triciclo con tendalino, autobus, moto |
Valutazione#
- Campiona fino a 1.000 immagini da ciascuno split di training, mantieni lo split di validazione completo ed escludi lo split di test con
fraction=[1000, 1.0, 0.0]. - Esegui il fine-tuning dello stesso checkpoint preaddestrato in modo indipendente su ciascun dataset per 100 epoche, con patience 100, seed 0, batch 16 e quattro worker. Le immagini hanno dimensioni di 640 pixel. Il seed 0 non è completamente deterministico, quindi YOLO27m e YOLO27l riportano la media di 3 esecuzioni di questo tipo.
- Abilita la rimappatura delle classi, il formato channels-last e l'output JSON delle predizioni, disattivando i grafici.
- Valuta il checkpoint migliore di ciascun dataset e riutilizza il relativo
max_detsalvato, che tiene conto del conteggio massimo degli oggetti. - Per mAP50-95 specifici per dimensione, moltiplica le aree dei riquadri di ground truth e predizione per
(640 / max(image_width, image_height)) ** 2prima di applicare le fasce COCO Small, Medium e Large. - Assegna lo stesso peso a ogni dataset. Ogni metrica dimensionale include solo i dataset con almeno 10 oggetti in quella fascia.
La mAP macro è sum(dataset validation mAP50-95) / 37. Le metriche sono calcolate a partire dalle predizioni salvate di ciascun dataset.
Risultati del benchmark#
Le metriche sono medie macro sui 37 split di validazione, riportate in percentuale.
| Dimensione | Modello | mAP50-95 | Precisione | Richiamo | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Benchmark#
Usa il branch main di Ultralytics con ULTRALYTICS_API_KEY impostato per accedere ai dataset:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# Il branch principale riporta le fasce dimensionali basate sulle aree native. Questo benchmark ridimensiona separatamente le aree GT e delle predizioni
# di (640 / max(image_width, image_height)) ** 2 prima di calcolare l'AP specifica per dimensione.Citazione#
Se usi Ultralytics Benchmark nel tuo lavoro, cita il paper Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


