Ultralytics Benchmark#
COCO não representa muitas tarefas de visão computacional do mundo real. O Ultralytics Benchmark é um conjunto de dados de benchmark para medir a capacidade de generalização do modelo em 37 conjuntos de dados selecionados de detecção de objetos, com rótulos de alta qualidade de caixas delimitadoras. Os domínios incluem análise de imagens médicas, sensoriamento remoto, trânsito, documentos, interfaces de usuário, varejo, visão de máquina, agricultura, esportes, vida selvagem, imagens subaquáticas e detecção de resíduos. Os tipos de sensores incluem RGB, olho de peixe, infravermelho térmico, raios X, MRI, ultrassom, microscopia e radar de abertura sintética (SAR).
Os conjuntos de dados selecionados estão hospedados na Ultralytics Platform.
Os conjuntos de dados candidatos foram verificados para identificar imagens duplicadas ou quase duplicadas entre as divisões de treinamento e validação. Os pares sinalizados foram revisados, e os vazamentos confirmados entre divisões foram removidos ou o conjunto de dados afetado foi substituído.
Conjuntos de dados#
| Domínio | Sensor / imagens | Conjunto de dados | Classes |
|---|---|---|---|
| Aéreo/RS | Imagens de satélite RGB | Detecção de tanques de armazenamento de petróleo da Airbus | 1: tanque de armazenamento de petróleo |
| Documento/Interface de usuário | RGB e páginas digitalizadas | Elementos de documentos AnnoPage | 25: fórmula/equação química, símbolo/logotipo, fotografia, desenho, gráfico, mapa, expressão matemática, notação musical, imagem, decoração, inscrição, planta baixa, código de barras/QR, carimbo, anúncio, nota manuscrita, diagrama, tabela, vinheta e friso |
| Desporto | Câmera RGB | Detecção de cesta de basquete | 2: bola de basquete, rede de basquete |
| Direção/Trânsito | Câmera rodoviária RGB | CEYMO | 11: faixa de ônibus, ciclovia, losango, caixa de junção, seta à esquerda, faixa de pedestres, seta à direita, seta em frente, devagar, seta em frente e à esquerda, seta em frente e à direita |
| Medicina | MRI | MRI de tumores cerebrais de Cheng | 3: meningioma, glioma, hipófise |
| Medicina | Câmera de fundo de olho colorida | Lesões DDR | 4: exsudatos duros, hemorragias, microaneurismas, exsudatos moles |
| Indústria | Câmera industrial de varredura linear | DeepPCB | 6: circuito aberto, curto-circuito, mordida, protuberância, cobre, furo de pino |
| Medicina | Raio X odontológico | DENTEX | 4: dente incluso, cárie, lesão periapical, cárie profunda |
| Indústria | Câmera industrial RGB | DSPCBSD | 9: curto-circuito, protuberância, cobre espúrio, circuito aberto, mordida, ruptura de furo, arranhão no condutor, objeto estranho no condutor, objeto estranho no material de base |
| Outra | Câmera egocêntrica RGB | EgoHands | 4: own_left, own_right, other_left, other_right |
| Outra | Câmera de trilha RGB e infravermelha | ENA24 | 22 classes de vida selvagem, pessoas, animais domésticos e veículos |
| Direção/Trânsito | Câmera olho de peixe RGB | Fisheye8K | 5: ônibus, bicicleta, carro, pedestre, caminhão |
| Documento/Interface de usuário | Plantas digitais e digitalizadas | FloorPlanCAD | 30 classes de aberturas arquitetônicas, móveis, eletrodomésticos, instalações de banheiro, escadas, elevadores e escadas rolantes |
| Medicina | Raio X | GRAZPEDWRI-DX | 9: anomalia óssea, lesão óssea, corpo estranho, fratura, metal, reação periosteal, sinal do pronador, tecido mole, texto |
| Documento/Interface de usuário | Capturas de tela digitais | Interface de usuário GroundCUA | 9: botão, exibição de informações, elementos de entrada, menu, navegação, outros, barra lateral, elementos visuais, desconhecido |
| Agricultura | Câmera de campo RGB | GWHD 2021 | 1: cabeça de trigo |
| Aéreo/RS | UAV com infravermelho térmico | HIT-UAV | 5: pessoa, carro, bicicleta, outro veículo, região ignorada |
| Medicina | Raio X de segurança | Raio X de IED | 11 classes de explosivos, baterias, laptops, pagers, celulares, walkie-talkies e dispositivos modificados |
| Medicina | Endoscópio RGB | Pólipos Kvasir-SEG | 1: pólipo |
| Direção/Trânsito | Infravermelho térmico | LLVIP | 1: pessoa |
| Aéreo/RS | Imagens multiespectrais de 8 bandas | MODA multiespectral | 8: carro, van, caminhão, ônibus, triciclo, bicicleta, bicicleta com toldo, pedestre |
| Agricultura | Câmera RGB | PlantDoc | 29 classes de folhas de culturas e doenças de plantas |
| Desporto | Quadros de vídeo RGB | Bola de tênis RacketVision | 1: bola de tênis |
| Direção/Trânsito | Câmera rodoviária RGB | RDD2022 | 5: trinca longitudinal, trinca transversal, trinca tipo couro de jacaré, outros danos, buraco na pista |
| Retalho | Câmera RGB de caixa | Caixa de varejo RPC | 200 classes de produtos de caixa, incluindo alimentos embalados, bebidas, leite, enlatados, chocolate, chiclete, doces, temperos, produtos de higiene, lenços de papel e artigos de papelaria |
| Outra | Câmera subaquática RGB | RUOD subaquático | 10: holotúria, ouriço-do-mar, vieira, estrela-do-mar, peixe, corais, mergulhador, sépia, tartaruga, água-viva |
| Indústria | Câmera RGB | Safe Human 17 | 17 classes de pessoas, partes do corpo, ferramentas e equipamentos de proteção individual |
| Aéreo/RS | Câmera UAV RGB | SeaDronesSee | 6: ignorado, nadador, barco, jet ski, equipamentos salva-vidas, boia |
| Retalho | Câmera RGB de varejo | SKU-110K | 1: produto em prateleira |
| Desporto | Câmera de transmissão RGB | SoccerDB | 3: jogador, bola, gol |
| Aéreo/RS | Radar de abertura sintética (SAR) | SSDD SAR Ship | 1: navio |
| Outra | Câmera RGB | TACO Litter | 28 classes de materiais de lixo e objetos |
| Medicina | Radiografia de tórax | TBX11K | 2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis |
| Medicina | Ultrassom | TN5000 Thyroid Ultrasound | 2: benigno, maligno |
| Medicina | Microscopia óptica | TXL-PBC Blood Cells | 3: glóbulos brancos, glóbulos vermelhos, plaquetas |
| Outra | Câmera RGB | UEC School Lunch Food | 21 classes de alimentos e bebidas de merenda escolar |
| Aéreo/RS | Câmera UAV RGB | VisDrone | 10: pedestre, pessoas, bicicleta, carro, van, caminhão, triciclo, triciclo com toldo, ônibus, motocicleta |
Avaliação#
- Amostre até 1.000 imagens de cada divisão de treinamento, mantenha a divisão de validação completa e exclua a divisão de teste com
fraction=[1000, 1.0, 0.0]. - Ajuste o mesmo checkpoint pré-treinado de forma independente em cada conjunto de dados por 100 épocas, com paciência 100, semente 0, lote 16 e quatro workers. As imagens usam 640 pixels. A semente 0 não é totalmente determinística, então YOLO27m e YOLO27l informam a média de 3 execuções desse tipo.
- Ative o remapeamento de classes, o formato channels-last e a saída JSON das predições, com os gráficos desativados.
- Avalie o melhor checkpoint de cada conjunto de dados e reutilize o
max_detsalvo, que leva em conta a maior contagem de objetos. - Para mAP50-95 por tamanho, multiplique as áreas das caixas de ground truth e das predições por
(640 / max(image_width, image_height)) ** 2antes de aplicar as categorias Small, Medium e Large do COCO. - Atribua o mesmo peso a cada conjunto de dados. Cada métrica por tamanho inclui apenas conjuntos de dados com pelo menos 10 objetos nessa categoria.
A mAP macro é sum(dataset validation mAP50-95) / 37. As métricas são calculadas com base nas predições salvas de cada conjunto de dados.
Resultados do benchmark#
As métricas são médias macro das 37 divisões de validação, informadas como porcentagens.
| Tamanho | Modelo | mAP50-95 | Precisão | Revocação | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.50 | 78.83 | 74.90 | 38.17 | 55.75 | 63.36 |
| L/X | YOLO26x | 49.85 | 76.74 | 68.61 | 34.44 | 50.54 | 51.69 |
| L/X | YOLO26l | 49.72 | 75.05 | 69.31 | 34.49 | 50.16 | 51.72 |
| L/X | YOLO11l | 48.53 | 74.22 | 68.33 | 31.91 | 50.71 | 50.77 |
| L/X | YOLOv5l | 48.03 | 74.11 | 67.78 | 31.73 | 49.79 | 49.87 |
| L/X | YOLOv8l | 48.02 | 73.95 | 68.80 | 32.05 | 49.04 | 49.56 |
| L/X | YOLOv8x | 47.67 | 75.66 | 66.46 | 31.12 | 49.60 | 49.69 |
| L/X | YOLOv5x | 47.35 | 74.69 | 67.96 | 31.27 | 49.39 | 49.76 |
| L/X | YOLO11x | 47.24 | 73.69 | 67.08 | 31.22 | 48.57 | 49.24 |
| M | YOLO27m | 53.38 | 75.85 | 72.95 | 35.96 | 53.40 | 61.40 |
| M | YOLO26m | 49.42 | 76.23 | 68.31 | 32.91 | 50.02 | 51.32 |
| M | YOLOv5m | 48.19 | 74.21 | 68.07 | 31.68 | 49.67 | 51.93 |
| M | YOLO11m | 48.15 | 73.72 | 68.56 | 32.14 | 49.76 | 50.75 |
| M | YOLOv8m | 47.99 | 73.86 | 68.15 | 30.73 | 49.61 | 51.97 |
| S | YOLO27s | 51.23 | 76.96 | 70.74 | 34.20 | 51.47 | 54.74 |
| S | YOLO11s | 47.78 | 74.72 | 67.66 | 29.53 | 49.69 | 50.69 |
| S | YOLO26s | 47.47 | 74.35 | 66.73 | 31.56 | 47.72 | 50.58 |
| S | YOLOv8s | 47.35 | 73.97 | 67.54 | 30.90 | 48.47 | 50.15 |
| S | YOLOv5s | 47.30 | 73.97 | 67.02 | 30.47 | 49.07 | 50.10 |
| N | YOLO27n | 49.25 | 74.86 | 68.49 | 31.93 | 49.30 | 53.20 |
| N | YOLO11n | 46.19 | 72.83 | 65.69 | 28.35 | 47.51 | 50.66 |
| N | YOLOv8n | 45.89 | 72.29 | 65.56 | 28.56 | 47.55 | 49.22 |
| N | YOLOv5n | 45.09 | 71.69 | 64.99 | 28.61 | 46.79 | 48.14 |
| N | YOLO26n | 44.08 | 70.09 | 63.20 | 28.69 | 44.52 | 47.96 |
Avaliação comparativa#
Use a branch main do Ultralytics com ULTRALYTICS_API_KEY definido para acessar o conjunto de dados:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo27n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# A branch principal informa as categorias de tamanho com base na área nativa. Este benchmark redimensiona separadamente as áreas de GT e das predições
# por (640 / max(image_width, image_height)) ** 2 antes de calcular o AP específico por tamanho.Citação#
Se você usar o Ultralytics Benchmark no seu trabalho, cite o artigo do Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}


