Ultralytics Benchmark#
COCO no representa muchas de las tareas de visión artificial del mundo real. Ultralytics Benchmark es un conjunto de datos de referencia para medir la capacidad de generalización de los modelos en 37 conjuntos seleccionados de detección de objetos con etiquetas de alta calidad de cajas delimitadoras. Sus ámbitos incluyen el análisis de imágenes médicas, la teledetección, el tráfico, los documentos, las interfaces de usuario, el comercio minorista, la visión artificial, la agricultura, el deporte, la fauna silvestre, la imagen submarina y la detección de residuos. Entre los tipos de sensores se incluyen RGB, ojo de pez, infrarrojos térmicos, rayos X, MRI, ecografía, microscopía y radar de apertura sintética (SAR).
Los conjuntos de datos seleccionados están alojados en Ultralytics Platform.
Se comprobó si había imágenes duplicadas o casi duplicadas en los conjuntos candidatos, tanto en las particiones de entrenamiento como en las de validación. Se revisaron los pares marcados y se eliminaron las filtraciones confirmadas entre particiones o se sustituyó el conjunto de datos afectado.
Conjuntos de datos#
| Ámbito | Sensor / tipo de imagen | Conjunto de datos | Clases |
|---|---|---|---|
| Aéreo/teledetección | Imágenes satelitales RGB | Detección de almacenamiento de petróleo de Airbus | 1: tanque de almacenamiento de petróleo |
| Documentos/interfaz de usuario | RGB y páginas escaneadas | Elementos de documentos de AnnoPage | 25: fórmula química/ecuación, símbolo/logotipo, fotografía, dibujo, gráfico, mapa, expresión matemática, notación musical, imagen, decoración, inscripción, plano, código de barras/código QR, sello, anuncio, nota manuscrita, diagrama, tabla, viñeta y friso |
| Deportes | Cámara RGB | Detección de canastas de baloncesto | 2: balón de baloncesto, red de canasta |
| Conducción/tráfico | Cámara RGB de carretera | CEYMO | 11: carril bus, carril bici, rombo, caja de conexiones, flecha izquierda, paso de peatones, flecha derecha, flecha recta, despacio, flecha recta-izquierda, flecha recta-derecha |
| Medicina | MRI | MRI de tumores cerebrales de Cheng | 3: meningioma, glioma, hipófisis |
| Medicina | Cámara de fondo de ojo en color | Lesiones DDR | 4: exudados duros, hemorragias, microaneurismas, exudados blandos |
| Industria | Cámara industrial de escaneo lineal | DeepPCB | 6: circuito abierto, cortocircuito, mordedura, espolón, cobre, microporo |
| Medicina | Radiografía dental | DENTEX | 4: diente incluido, caries, lesión periapical, caries profunda |
| Industria | Cámara industrial RGB | DSPCBSD | 9: cortocircuito, espolón, cobre sobrante, circuito abierto, mordedura, perforación de pista, arañazo en el conductor, objeto extraño en el conductor, objeto extraño en el material base |
| Otra | Cámara egocéntrica RGB | EgoHands | 4: propia_izquierda, propio_derecha, otra_izquierda, otro_derecha |
| Otra | Cámara de fototrampeo RGB e infrarroja | ENA24 | 22 clases de fauna silvestre, personas, animales domésticos y vehículos |
| Conducción/tráfico | Cámara ojo de pez RGB | Fisheye8K | 5: autobús, bicicleta, coche, peatón, camión |
| Documentos/interfaz de usuario | Planos digitales y escaneados | FloorPlanCAD | 30 clases arquitectónicas de aberturas, muebles, electrodomésticos, instalaciones de baño, escaleras, ascensores y escaleras mecánicas |
| Medicina | Rayos X | GRAZPEDWRI-DX | 9: anomalía ósea, lesión ósea, cuerpo extraño, fractura, metal, reacción perióstica, signo del pronador, tejido blando, texto |
| Documentos/interfaz de usuario | Capturas de pantalla digitales | Interfaz de usuario GroundCUA | 9: botón, panel informativo, elementos de entrada, menú, navegación, otros, barra lateral, elementos visuales, desconocido |
| Agricultura | Cámara de campo RGB | GWHD 2021 | 1: cabeza_de_trigo |
| Aéreo/teledetección | UAV con infrarrojos térmicos | HIT-UAV | 5: persona, coche, bicicleta, otro vehículo, zona ignorada |
| Medicina | Rayos X de seguridad | Rayos X de IED | 11 clases de explosivos, baterías, portátiles, buscapersonas, teléfonos móviles, walkie-talkies y dispositivos modificados |
| Medicina | Endoscopio RGB | Pólipos Kvasir-SEG | 1: pólipo |
| Conducción/tráfico | Infrarrojos térmicos | LLVIP | 1: persona |
| Aéreo/teledetección | Imágenes multiespectrales de 8 bandas | Multiespectral MODA | 8: coche, furgoneta, camión, autobús, triciclo, bicicleta, bicicleta con toldo, peatón |
| Agricultura | Cámara RGB | PlantDoc | 29 clases de cultivos, hojas y enfermedades de las plantas |
| Deportes | Fotogramas de vídeo RGB | Pelota de tenis RacketVision | 1: pelota de tenis |
| Conducción/tráfico | Cámara RGB de carretera | RDD2022 | 5: grieta longitudinal, grieta transversal, grieta en piel de cocodrilo, otros daños, bache |
| Comercio minorista | Cámara RGB de caja | Caja de cobro minorista RPC | 200 clases de productos de caja que abarcan alimentos envasados, bebidas, leche, conservas, chocolate, chicles, caramelos, condimentos, productos de higiene, pañuelos y material de papelería |
| Otra | Cámara submarina RGB | RUOD submarino | 10: holoturia, erizo de mar, vieira, estrella de mar, pez, corales, buceador, sepia, tortuga, medusa |
| Industria | Cámara RGB | Safe Human 17 | 17 clases de personas, partes del cuerpo, herramientas y equipos de protección individual |
| Aéreo/teledetección | Cámara UAV RGB | SeaDronesSee | 6: ignorado, nadador, barco, moto acuática, equipos de salvamento, boya |
| Comercio minorista | Cámara RGB de comercio minorista | SKU-110K | 1: producto de estantería |
| Deportes | Cámara de difusión RGB | SoccerDB | 3: jugador, balón, portería |
| Aéreo/teledetección | Radar de apertura sintética (SAR) | SSDD SAR Barcos | 1: barco |
| Otra | Cámara RGB | TACO Residuos | 28 clases de materiales y objetos residuales |
| Medicina | Radiografía de tórax | TBX11K | 2: tuberculosis activa, tuberculosis pulmonar obsoleta |
| Medicina | Ecografía | TN5000 Ecografía tiroidea | 2: benigno, maligno |
| Medicina | Microscopía óptica | TXL-PBC Células sanguíneas | 3: glóbulos blancos, glóbulos rojos, plaquetas |
| Otra | Cámara RGB | UEC Comida del comedor escolar | 21 clases de comida y bebida del comedor escolar |
| Aéreo/teledetección | Cámara UAV RGB | VisDrone | 10: peatón, personas, bicicleta, coche, furgoneta, camión, triciclo, triciclo con toldo, autobús, motocicleta |
Evaluación#
- Selecciona hasta 1.000 imágenes de cada partición de entrenamiento, conserva completa la partición de validación y excluye la partición de prueba con
fraction=[1000, 1.0, 0.0]. - Ajusta independientemente el mismo checkpoint preentrenado en cada conjunto de datos durante 100 épocas, con paciencia 100, semilla 0, lote 16 y cuatro trabajadores. Las imágenes usan 640 píxeles. La semilla 0 no es totalmente determinista, por lo que YOLO27m y YOLO27l muestran la media de 3 ejecuciones de este tipo.
- Activa la reasignación de clases, el formato channels-last y la salida JSON de predicciones, con los gráficos desactivados.
- Evalúa el mejor checkpoint de cada conjunto de datos y reutiliza su
max_detguardado, que tiene en cuenta el mayor recuento de objetos. - Para calcular mAP50-95 por tamaño, multiplica las áreas de las cajas de referencia y de predicción por
(640 / max(image_width, image_height)) ** 2antes de aplicar los intervalos Small, Medium y Large de COCO. - Asigna el mismo peso a cada conjunto de datos. Cada métrica por tamaño incluye solo los conjuntos de datos con al menos 10 objetos en ese intervalo.
La mAP macro es sum(dataset validation mAP50-95) / 37. Las métricas se calculan a partir de las predicciones guardadas de cada conjunto de datos.
Resultados de la evaluación comparativa#
Las métricas son medias macro de las 37 particiones de validación, expresadas en porcentaje.
| Tamaño | Modelo | mAP50-95 | Precisión | Exhaustividad | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Evaluación comparativa#
Usa la rama main de Ultralytics con ULTRALYTICS_API_KEY configurado para acceder a los conjuntos de datos:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# La rama principal calcula los intervalos de tamaño con áreas nativas. Esta evaluación comparativa reescala por separado las áreas de GT y de predicción
# por (640 / max(image_width, image_height)) ** 2 antes de calcular la AP específica por tamaño.Cita#
Si utilizas Ultralytics Benchmark en tu trabajo, cita el artículo de Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


