Ultralytics Benchmark
COCO não representa muitas tarefas de visão computacional do mundo real. O Ultralytics Benchmark é um conjunto de dados de benchmark para medir a capacidade de generalização do modelo em 37 conjuntos de dados selecionados de detecção de objetos, com rótulos de alta qualidade de caixas delimitadoras. Os domínios incluem análise de imagens médicas, sensoriamento remoto, trânsito, documentos, interfaces de usuário, varejo, visão de máquina, agricultura, esportes, vida selvagem, imagens subaquáticas e detecção de resíduos. Os tipos de sensores incluem RGB, olho de peixe, infravermelho térmico, raios X, MRI, ultrassom, microscopia e radar de abertura sintética (SAR).
Os conjuntos de dados selecionados estão alojados na Plataforma Ultralytics. A tabela de classificação VLM classifica modelos de linguagem visual e detetores de vocabulário aberto em imagens de 36 destes conjuntos de dados, com base na precisão, no custo e na velocidade.
Os conjuntos de dados candidatos foram verificados para identificar imagens duplicadas ou quase duplicadas entre as divisões de treinamento e validação. Os pares sinalizados foram revisados, e os vazamentos confirmados entre divisões foram removidos ou o conjunto de dados afetado foi substituído.
Conjuntos de dados#
| Domínio | Sensor / imagens | Conjunto de dados | Classes |
|---|---|---|---|
| Aéreo/RS | Imagens de satélite RGB | Detecção de tanques de armazenamento de petróleo da Airbus | 1: tanque de armazenamento de petróleo |
| Documento/Interface de usuário | RGB e páginas digitalizadas | Elementos de documentos AnnoPage | 25: fórmula/equação química, símbolo/logotipo, fotografia, desenho, gráfico, mapa, expressão matemática, notação musical, imagem, decoração, inscrição, planta baixa, código de barras/QR, carimbo, anúncio, nota manuscrita, diagrama, tabela, vinheta e friso |
| Desporto | Câmera RGB | Detecção de cesta de basquete | 2: bola de basquete, rede de basquete |
| Direção/Trânsito | Câmera rodoviária RGB | CEYMO | 11: faixa de ônibus, ciclovia, losango, caixa de junção, seta à esquerda, faixa de pedestres, seta à direita, seta em frente, devagar, seta em frente e à esquerda, seta em frente e à direita |
| Medicina | MRI | MRI de tumores cerebrais de Cheng | 3: meningioma, glioma, hipófise |
| Medicina | Câmera de fundo de olho colorida | Lesões DDR | 4: exsudatos duros, hemorragias, microaneurismas, exsudatos moles |
| Indústria | Câmera industrial de varredura linear | DeepPCB | 6: circuito aberto, curto-circuito, mordida, protuberância, cobre, furo de pino |
| Medicina | Raio X odontológico | DENTEX | 4: dente incluso, cárie, lesão periapical, cárie profunda |
| Indústria | Câmera industrial RGB | DSPCBSD | 9: curto-circuito, protuberância, cobre espúrio, circuito aberto, mordida, ruptura de furo, arranhão no condutor, objeto estranho no condutor, objeto estranho no material de base |
| Outra | Câmera egocêntrica RGB | EgoHands | 4: own_left, own_right, other_left, other_right |
| Outra | Câmera de trilha RGB e infravermelha | ENA24 | 22 classes de vida selvagem, pessoas, animais domésticos e veículos |
| Direção/Trânsito | Câmera olho de peixe RGB | Fisheye8K | 5: ônibus, bicicleta, carro, pedestre, caminhão |
| Documento/Interface de usuário | Plantas digitais e digitalizadas | FloorPlanCAD | 30 classes de aberturas arquitetônicas, móveis, eletrodomésticos, instalações de banheiro, escadas, elevadores e escadas rolantes |
| Medicina | Raio X | GRAZPEDWRI-DX | 9: anomalia óssea, lesão óssea, corpo estranho, fratura, metal, reação periosteal, sinal do pronador, tecido mole, texto |
| Documento/Interface de usuário | Capturas de tela digitais | Interface de usuário GroundCUA | 9: botão, exibição de informações, elementos de entrada, menu, navegação, outros, barra lateral, elementos visuais, desconhecido |
| Agricultura | Câmera de campo RGB | GWHD 2021 | 1: cabeça de trigo |
| Aéreo/RS | UAV com infravermelho térmico | HIT-UAV | 5: pessoa, carro, bicicleta, outro veículo, região ignorada (não pontuada) |
| Medicina | Raio X de segurança | Raio X de IED | 11 classes de explosivos, baterias, laptops, pagers, celulares, walkie-talkies e dispositivos modificados |
| Medicina | Endoscópio RGB | Pólipos Kvasir-SEG | 1: pólipo |
| Direção/Trânsito | Infravermelho térmico | LLVIP | 1: pessoa |
| Aéreo/RS | Imagens multiespectrais de 8 bandas | MODA multiespectral | 8: carro, van, caminhão, ônibus, triciclo, bicicleta, bicicleta com toldo, pedestre |
| Agricultura | Câmera RGB | PlantDoc | 29 classes de folhas de culturas e doenças de plantas |
| Desporto | Quadros de vídeo RGB | Bola de tênis RacketVision | 1: bola de tênis |
| Direção/Trânsito | Câmera rodoviária RGB | RDD2022 | 5: trinca longitudinal, trinca transversal, trinca tipo couro de jacaré, outros danos, buraco na pista |
| Retalho | Câmera RGB de caixa | Caixa de varejo RPC | 200 classes de produtos de caixa, incluindo alimentos embalados, bebidas, leite, enlatados, chocolate, chiclete, doces, temperos, produtos de higiene, lenços de papel e artigos de papelaria |
| Outra | Câmera subaquática RGB | RUOD subaquático | 10: holotúria, ouriço-do-mar, vieira, estrela-do-mar, peixe, corais, mergulhador, sépia, tartaruga, água-viva |
| Indústria | Câmera RGB | Safe Human 17 | 17 classes de pessoas, partes do corpo, ferramentas e equipamentos de proteção individual |
| Aéreo/RS | Câmera UAV RGB | SeaDronesSee | 6: ignorado, nadador, barco, jet ski, equipamentos salva-vidas, boia |
| Retalho | Câmera RGB de varejo | SKU-110K | 1: produto em prateleira |
| Desporto | Câmera de transmissão RGB | SoccerDB | 3: jogador, bola, gol |
| Aéreo/RS | Radar de abertura sintética (SAR) | SSDD SAR Ship | 1: navio |
| Outra | Câmera RGB | TACO Litter | 28 classes de materiais de lixo e objetos |
| Medicina | Radiografia de tórax | TBX11K | 2: ActiveTuberculosis, ObsoletePulmonaryTuberculosis |
| Medicina | Ultrassom | TN5000 Thyroid Ultrasound | 2: benigno, maligno |
| Medicina | Microscopia óptica | TXL-PBC Blood Cells | 3: glóbulos brancos, glóbulos vermelhos, plaquetas |
| Outra | Câmera RGB | UEC School Lunch Food | 21 classes de alimentos e bebidas de merenda escolar |
| Aéreo/RS | Câmera UAV RGB | VisDrone | 10: pedestre, pessoas, bicicleta, carro, van, caminhão, triciclo, triciclo com toldo, ônibus, motocicleta |
Avaliação#
- Amostre até 1.000 imagens de cada divisão de treinamento, mantenha a divisão de validação completa e exclua a divisão de teste com
fraction=[1000, 1.0, 0.0]. - Ajuste o mesmo checkpoint pré-treinado de forma independente em cada conjunto de dados por 100 épocas, com paciência 100, semente 0, lote 16 e quatro workers. As imagens usam 640 pixels. A semente 0 não é totalmente determinística, então YOLO27m e YOLO27l informam a média de 3 execuções desse tipo.
- Ative o remapeamento de classes, o formato channels-last e a saída JSON das predições, com os gráficos desativados.
- Avalie o melhor checkpoint de cada conjunto de dados e reutilize o
max_detsalvo, que leva em conta a maior contagem de objetos. - Aplique as regiões ignoradas conforme o toolkit VisDrone DET: descarte as previsões e os rótulos cobertos por uma região ignorada em pelo menos metade. Estas são as 1.378 regiões oficialmente ignoradas do VisDrone e as 7 caixas
ignored regiondo HIT-UAV; em seguida, a classe HIT-UAV é removida. - Para calcular a mAP50-95 específica por tamanho, multiplica as áreas das caixas de verdade de referência e das previsões por
(640 / max(image_width, image_height)) ** 2antes de aplicar as categorias Small, Medium e Large do COCO. - Atribua o mesmo peso a cada conjunto de dados. Cada métrica por tamanho inclui apenas conjuntos de dados com pelo menos 10 objetos nessa categoria.
A mAP macro é sum(dataset validation mAP50-95) / 37. As métricas são calculadas com base nas predições salvas de cada conjunto de dados.
Resultados do benchmark#
As métricas são médias macro calculadas sobre as 37 divisões de validação e apresentadas como porcentagens. YOLO27 é uma prévia ainda não lançada; seus pesos ainda não estão disponíveis.
| Tamanho | Modelo | mAP50-95 | Precisão | Revocação | mAP50-95-S | mAP50-95-M | mAP50-95-L |
|---|---|---|---|---|---|---|---|
| L/X | YOLO27l | 55.97 | 79.11 | 75.14 | 38.52 | 55.90 | 64.64 |
| L/X | YOLO26x | 50.19 | 76.93 | 69.08 | 34.89 | 50.78 | 52.15 |
| L/X | YOLO26l | 50.05 | 75.28 | 69.53 | 34.96 | 50.37 | 52.25 |
| L/X | YOLO11l | 48.71 | 74.26 | 68.50 | 32.29 | 50.84 | 51.14 |
| L/X | YOLOv5l | 48.25 | 74.03 | 68.16 | 32.15 | 49.89 | 50.27 |
| L/X | YOLOv8l | 48.22 | 74.15 | 69.14 | 32.44 | 49.14 | 49.98 |
| L/X | YOLOv8x | 47.94 | 76.00 | 66.82 | 31.60 | 49.85 | 50.16 |
| L/X | YOLOv5x | 47.58 | 75.05 | 68.15 | 31.66 | 49.60 | 50.18 |
| L/X | YOLO11x | 47.49 | 73.75 | 67.50 | 31.64 | 48.82 | 49.66 |
| M | YOLO27m | 53.68 | 76.66 | 73.20 | 36.47 | 53.65 | 61.30 |
| M | YOLO26m | 49.74 | 76.23 | 68.74 | 33.40 | 50.29 | 51.78 |
| M | YOLOv5m | 48.41 | 74.34 | 68.39 | 32.12 | 49.78 | 52.39 |
| M | YOLO11m | 48.39 | 73.87 | 68.85 | 32.62 | 49.87 | 51.23 |
| M | YOLOv8m | 48.25 | 73.89 | 68.69 | 31.21 | 49.73 | 52.41 |
| S | YOLO27s | 51.76 | 76.68 | 71.46 | 35.19 | 51.68 | 54.53 |
| S | YOLO11s | 48.00 | 75.00 | 67.85 | 29.98 | 49.81 | 51.13 |
| S | YOLO26s | 47.77 | 74.24 | 67.23 | 32.00 | 47.91 | 51.00 |
| S | YOLOv5s | 47.55 | 74.18 | 67.37 | 30.95 | 49.13 | 50.57 |
| S | YOLOv8s | 47.53 | 74.27 | 67.68 | 31.38 | 48.52 | 50.57 |
| N | YOLO27n | 49.32 | 75.46 | 68.82 | 32.41 | 49.27 | 54.05 |
| N | YOLO11n | 46.37 | 72.86 | 65.94 | 28.76 | 47.53 | 51.05 |
| N | YOLOv8n | 46.09 | 72.53 | 65.89 | 29.02 | 47.61 | 49.62 |
| N | YOLOv5n | 45.29 | 71.77 | 65.21 | 29.03 | 46.83 | 48.59 |
| N | YOLO26n | 44.37 | 70.25 | 63.40 | 29.12 | 44.77 | 48.39 |
Avaliação comparativa#
Use a branch main do Ultralytics com ULTRALYTICS_API_KEY definido para acessar o conjunto de dados:
from ultralytics import YOLO
datasets = [
"ul://ultralytics/datasets/airbus-oil-storage-detection",
"ul://ultralytics/datasets/annopage-doc-elements",
"ul://ultralytics/datasets/basketball-hoop-detection",
"ul://ultralytics/datasets/ceymo",
"ul://ultralytics/datasets/cheng-brain-tumor-mri",
"ul://ultralytics/datasets/ddr-lesion",
"ul://ultralytics/datasets/deeppcb",
"ul://ultralytics/datasets/dentex",
"ul://ultralytics/datasets/dspcbsd-pcb-surface-defect",
"ul://ultralytics/datasets/egohands-egocentric",
"ul://ultralytics/datasets/ena24",
"ul://ultralytics/datasets/fisheye8k-traffic",
"ul://ultralytics/datasets/floorplancad-2",
"ul://ultralytics/datasets/grazpedwri-dx",
"ul://ultralytics/datasets/groundcua-ui-yolo",
"ul://ultralytics/datasets/global-wheat-head-detection-2021",
"ul://ultralytics/datasets/hit-uav",
"ul://ultralytics/datasets/iedxray",
"ul://ultralytics/datasets/kvasir-seg-polyp",
"ul://ultralytics/datasets/llvip",
"ul://ultralytics/datasets/moda-multispectral-obb",
"ul://ultralytics/datasets/plantdoc",
"ul://ultralytics/datasets/racketvision-tennis-ball-yolo",
"ul://ultralytics/datasets/rdd2022",
"ul://ultralytics/datasets/rpc-retail-checkout",
"ul://ultralytics/datasets/ruod-underwater",
"ul://ultralytics/datasets/safe-human-17",
"ul://ultralytics/datasets/seadronessee-2",
"ul://ultralytics/datasets/sku110k-2",
"ul://ultralytics/datasets/soccerdb",
"ul://ultralytics/datasets/ssdd-sar-ship",
"ul://ultralytics/datasets/taco-detect",
"ul://ultralytics/datasets/tbx11k-tb-only",
"ul://ultralytics/datasets/tn5000-thyroid-us",
"ul://ultralytics/datasets/txl-pbc-blood-cells",
"ul://ultralytics/datasets/uec-school-lunch-food-2",
"ul://ultralytics/datasets/visdrone",
]
results = YOLO("yolo26n.pt").train(
data=datasets,
epochs=100,
patience=100,
imgsz=640,
batch=16,
fraction=[1000, 1.0, 0.0],
seed=0,
workers=4,
cls_remap=True,
channels_last=True,
save_json=True,
plots=False,
)
# A branch principal informa as categorias de tamanho com base na área nativa. Este benchmark redimensiona separadamente as áreas de GT e das predições
# por (640 / max(image_width, image_height)) ** 2 antes de calcular a AP específica por tamanho, e aplica as regiões ignoradas do VisDrone e do
# regiões ignoradas do HIT-UAV. Este trecho não faz nenhuma dessas coisas.Citação#
Se você usar o Ultralytics Benchmark no seu trabalho, cite o artigo do Ultralytics YOLO26:
@misc{jocher2026ultralyticsyolo26unifiedrealtime,
title = {Ultralytics YOLO26: Unified Real-Time End-to-End Vision Models},
author = {Glenn Jocher and Jing Qiu and Mengyu Liu and Shuai Lyu and Fatih Cagatay Akyon and Muhammet Esat Kalfaoglu},
year = {2026},
eprint = {2606.03748},
archivePrefix = {arXiv},
primaryClass = {cs.CV},
doi = {10.48550/arXiv.2606.03748},
url = {https://arxiv.org/abs/2606.03748},
}Comentários
Faz uma pergunta, partilha os teus resultados ou ajuda alguém.



