Começar

Validação de modelos com Ultralytics YOLO

Ultralytics YOLO ecosystem and integrations

Introdução#

A validação é uma etapa essencial do fluxo de trabalho de aprendizado de máquina, pois permite avaliar a qualidade dos modelos treinados. O modo Val do Ultralytics YOLO26 fornece ferramentas e métricas para avaliar modelos de detecção de objetos e todas as outras tarefas compatíveis. Este guia explica como usar o modo Val para confirmar que os teus modelos são precisos e confiáveis.

Consulte a prévia não lançada do YOLO27 para ver os resultados preliminares da validação.



Assista: Tutorial dos modos do Ultralytics: validação

Por que validar com o Ultralytics YOLO?#

Motivos para usar o modo Val do YOLO26:

  • Precisão: obtém métricas precisas como mAP50, mAP75 e mAP50-95 para avaliar o teu modelo de forma abrangente.
  • Praticidade: Usa recursos integrados que lembram as configurações de treinamento e simplificam o processo de validação.
  • Flexibilidade: valida o teu modelo com os mesmos conjuntos de dados ou com conjuntos diferentes, e com tamanhos de imagem iguais ou diferentes.
  • Ajuste de hiperparâmetros: utiliza métricas de validação para ajustar o teu modelo e obter melhor desempenho.

Principais funcionalidades do modo Val#

Recursos importantes do modo Val do YOLO26:

  • Definições automatizadas: os modelos guardam as configurações de treino, permitindo validar com facilidade.
  • Suporte a várias métricas: Avalia o modelo com uma variedade de métricas de precisão.
  • CLI e API do Python: Valida pela interface de linha de comando ou pela API do Python, como preferires.
  • Compatibilidade com dados: Funciona tanto com os conjuntos de dados usados durante o treinamento quanto com conjuntos de dados personalizados.
Dica
  • Os modelos YOLO26 guardam automaticamente as respetivas definições de treino, por isso yolo val model=path/to/best.pt ou YOLO("path/to/best.pt").val() valida com o tamanho de imagem usado no treino e com o conjunto de dados original. Os pesos oficiais recorrem ao conjunto de dados predefinido para a tarefa; passa data para o substituir.

Exemplos de uso#

Valida a precisão de um modelo YOLO26n treinado. Não são necessários argumentos, pois o model mantém o data do treinamento e os argumentos como atributos do modelo: path/to/best.pt valida usando o conjunto de dados em que o modelo foi treinado. Os pesos oficiais registram um caminho para um conjunto de dados de treinamento que não existe na tua máquina; por isso, eles usam o padrão da tarefa coco8.yaml e exibem um aviso. Passa data para validar usando outro conjunto de dados.

Erro de multiprocessamento no Windows

No Windows, poderás receber um RuntimeError ao iniciar a validação como script. Adiciona um bloco if __name__ == "__main__": antes do código de validação para resolver o problema.

Exemplo
from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n.pt")  # carrega um modelo oficial
model = YOLO("path/to/best.pt")  # carregar um modelo personalizado

# Valida o modelo
metrics = model.val()  # não são necessários argumentos; o conjunto de dados e as definições são guardados
metrics.box.map  # map50-95
metrics.box.map50  # map50
metrics.box.map75  # map75
metrics.box.maps  # mAP50-95 por classe; as classes ausentes do conjunto de validação recebem o mAP geral
metrics.box.ap_class_index  # índices das classes que foram efetivamente avaliadas
metrics.box.image_metrics  # dicionário de métricas por imagem com precisão, revocação, F1, TP, FP e FN

Argumentos para a validação de modelos YOLO#

Ao validar modelos YOLO, vários argumentos podem ser ajustados para adaptar o processo de avaliação. Esses argumentos controlam aspectos como o tamanho das imagens de entrada, o processamento em lotes e os limites de desempenho. Cada argumento é descrito abaixo.

ArgumentoTipoPadrãoDescrição
datastrNoneEspecifica o caminho para o YAML do conjunto de dados (por exemplo, coco8.yaml), que deve incluir o caminho para os dados de validação. Para classificação, use um diretório de conjunto de dados ou o nome de um conjunto de dados integrado (por exemplo, imagenet10).
imgszint640Define o tamanho das imagens de entrada. Todas as imagens são redimensionadas para essa dimensão antes do processamento. Tamanhos maiores podem melhorar a precisão para objetos pequenos, mas aumentam o tempo de computação.
batchint16Define o número de imagens por lote. Valores maiores aproveitam a memória da GPU com mais eficiência, mas exigem mais VRAM. Ajuste o valor de acordo com os recursos de hardware disponíveis.
tilebool ou intFalseExecuta inferência em blocos fixos e avalia os resultados combinados em relação às anotações da imagem original completa. True usa imgsz; um inteiro positivo define o tamanho do bloco. Consulta Recorte em blocos de alta resolução.
save_jsonboolFalseSe True, salva os resultados em um arquivo JSON para análise posterior, integração com outras ferramentas ou envio a servidores de avaliação, como o COCO. Em conjuntos de dados de detecção, também avalia as previsões com faster-coco-eval e informa o mAP de objetos pequenos, médios e grandes, registrado durante o treinamento como metrics/mAP_small(B), metrics/mAP_medium(B) e metrics/mAP_large(B) em results.csv. Para segmentação semântica, em vez disso, salva máscaras de classe PNG em results/, mantendo os subdiretórios das imagens.
conffloat0.001Define o limiar mínimo de confiança para as detecções. Valores menores aumentam a revocação, mas podem gerar mais falsos positivos. As curvas precisão-revocação, o mAP e as matrizes de confusão da detecção usam esse valor; um conf mais alto, como 0.25, produz uma matriz mais próxima da saída da predição, mas pode reduzir o mAP. A precisão e a revocação resumidas usam a confiança de F1 máximo e, por isso, podem diferir dos valores derivados de confusion_matrix.png. O padrão é 0.01 para validação OBB, a fim de reduzir o uso de memória.
ioufloat0.7Define o limiar de Interseção sobre União para a Supressão Não Máxima. Controla a eliminação de detecções duplicadas.
max_detint300Limita o número máximo de detecções por imagem. Para detect, segment, pose e OBB, se o valor permanecer em 300, ele é aumentado até a maior contagem de objetos rotulados na divisão validada quando uma imagem ultrapassa esse limite, com um aviso; qualquer outro valor é mantido, com um aviso de que a revocação pode ser limitada quando uma imagem exceder esse valor.
quantizeint ou strNonePrecisão de validação: 16/"fp16" e 32/"fp32"/unset selecionam o cálculo em FP16 ou FP32 para modelos PyTorch e TorchScript (FP32 na CPU); os outros formatos usam a precisão selecionada pelo artefato e pelo ambiente de execução. Em 16, o OpenVINO ainda arredonda a entrada para FP16 no cliente e a converte de volta para FP32, sem alterar a precisão do ambiente de execução. A quantização INT8/PTQ é configurada durante a exportação e, em seguida, usada ao validar o modelo exportado. Substitui a flag obsoleta half.
devicestrNoneEspecifica o dispositivo para validação (cpu, cuda:0, npu, npu:0 etc.). Quando None, seleciona automaticamente o melhor dispositivo disponível. É possível especificar vários dispositivos CUDA separando-os por vírgulas. Os modelos OpenVINO e LiteRT são executados em xpu e npu na GPU e na NPU Intel; consulte dispositivos de inferência para ver todos os formatos.
dnnboolFalseSe True, usa o módulo DNN do OpenCV para inferência com modelos ONNX, como alternativa aos métodos de inferência do PyTorch.
plotsboolTrueQuando definido como True, gera e salva gráficos de predições em comparação com a verdade fundamental, matrizes de confusão e curvas PR para a avaliação visual do desempenho do modelo.
classeslist[int]NoneEspecifica uma lista de IDs de classe a avaliar. Útil para filtrar e focar apenas em determinadas classes durante a avaliação.
rectboolTrueSe True, agrupa proporções de imagem semelhantes em formas retangulares. Adiciona metade de um stride antes de arredondar cada dimensão para cima até um múltiplo do stride (sem metade extra do stride para semantic). Com stride 32, uma imagem de 640×640 em imgsz=640 passa a ter 672×672 com um deslocamento de 16 px, enquanto predict usa 640×640, então as métricas podem diferir. rect=False corresponde a predict para imagens quadradas. Ignorado para depth e RT-DETR, que redimensionam as imagens para um quadrado imgsz.
splitstr'val'Determina a divisão do conjunto de dados a usar na validação (val, test ou train). Permite escolher com flexibilidade o segmento de dados para avaliar o desempenho.
fractionfloat, int ou list1.0Subconjunto da divisão validada. Com uma lista [train, val, test], aplica-se a entrada correspondente a split (1 = divisão completa; números inteiros acima de 1 = quantidade de imagens; entradas omitidas = divisão completa). Um valor escalar aplica-se somente a split=train; val e test usam então a divisão completa.
projectstrNoneNome do diretório do projeto onde as saídas da validação são salvas. Um caminho relativo é colocado em runs_dir/<task>, enquanto um caminho absoluto é usado sem alterações.
namestrNoneNome da execução de validação. Usado para criar um subdiretório dentro da pasta do projeto, onde os registros e as saídas da validação são armazenados.
verboseboolTrueSe True, exibe informações detalhadas durante o processo de validação, incluindo métricas por classe, progresso dos lotes e informações adicionais de depuração.
save_txtboolFalseSe True, salva os resultados da detecção em arquivos de texto, um arquivo por imagem, para análise adicional, pós-processamento personalizado ou integração com outros sistemas.
save_confboolFalseSe True, inclui valores de confiança nos arquivos de texto salvos quando save_txt está ativado, fornecendo uma saída mais detalhada para análise e filtragem.
workersint8Número de threads de trabalho para carregar dados. Valores maiores podem acelerar o pré-processamento dos dados, mas podem aumentar o uso da CPU. Definir como 0 usa a thread principal, o que pode ser mais estável em alguns ambientes.
augmentboolFalseAtiva o aumento em tempo de teste (TTA) durante a validação, podendo melhorar a precisão da detecção à custa da velocidade de inferência, executando a inferência em versões transformadas da entrada. Disponível somente para modelos PyTorch da Ultralytics.
agnostic_nmsboolFalseAtiva a supressão não máxima independente de classe, suprimindo caixas sobrepostas com pontuações mais baixas, independentemente da classe prevista. Útil para aplicações focadas em instâncias. Com inferência sem NMS (nms=False em YOLO26 ou YOLOv10), isso apenas impede que a mesma detecção apareça com vários rótulos de classe (duplicatas com IoU=1.0) e não realiza supressão baseada em limiar de IoU entre caixas distintas.
single_clsboolFalseTrata todas as classes como uma única classe durante a validação. Útil para avaliar o desempenho do modelo em tarefas de detecção binária ou quando as distinções entre classes não são importantes.
visualizeboolFalseVisualiza as verdades fundamentais, os verdadeiros positivos, os falsos positivos e os falsos negativos de cada imagem. Útil para depuração e interpretação do modelo.
show_labelsboolTrueExibe os rótulos de classe nas visualizações de validação quando visualize=True. Define como False para facilitar a visualização das correspondências e dos erros.
show_confboolTrueExibe as pontuações de confiança nas visualizações de validação quando visualize=True. Define como False para facilitar a visualização das correspondências e dos erros.
compilebool ou strFalseAtiva a compilação de grafos torch.compile do PyTorch 2.x com backend='inductor'. Aceita True → "default", False → desativa, ou um modo em formato de string, como "default", "reduce-overhead", "max-autotune-no-cudagraphs". Se não for suportado, recorre à execução ansiosa e apresenta um aviso.
channels_lastboolNoneUsa o formato de memória channels_last (NHWC) para validação nativa com PyTorch. None ativa-o automaticamente em CPUs x86 com Linux e Windows compatíveis com oneDNN e PyTorch 1.13 ou mais recente; False desativa-o; e True solicita-o em dispositivos CPU x86 ou CUDA compatíveis. ARM64, MPS, versões mais antigas do PyTorch, CPUs sem oneDNN e formatos exportados permanecem inalterados; durante o treinamento, a validação mantém o layout do modelo de treinamento.
nmsbool, opcionalNoneExecuta inferência de um para muitos com NMS por padrão (None ou True). Define False para usar a cabeça de um para um sem NMS quando disponível. Consulte o guia de detecção de ponta a ponta para obter detalhes.

Ajustar essas configurações às tuas necessidades e aos recursos disponíveis ajuda a encontrar o equilíbrio certo entre a precisão e a velocidade da avaliação.

Geometria retangular de validação (rect)#

As exportações estáticas usam o formato de entrada registrado (height, width), incluindo exportações não quadradas, para validação. Por exemplo, YOLO("yolo26n.onnx").val(data="coco8.yaml") usa uma entrada 384×640 se o modelo tiver sido exportado com imgsz=(384, 640).

Para detecção, segmentação de instâncias, pose e OBB, a validação retangular (rect=True) arredonda cada dimensão do lote para cima usando ceil(shape * imgsz / stride + 0.5) * stride, em que shape é a altura ou largura normalizada do lote. O preenchimento resultante é dividido entre os lados opostos. Por exemplo, uma imagem quadrada de 640×640 validada em imgsz=640 com stride 32 usa uma entrada de 672×672 com 16 px de preenchimento em cada lado, enquanto predict() usa 640×640 sem preenchimento.

Essa diferença pode afetar as métricas de validação. Para entradas quadradas alinhadas ao stride, model.val(rect=False) corresponde à geometria de predict() e das exportações quadradas com formato fixo. Durante o treinamento, essas tarefas YOLO usam lotes de validação retangulares, independentemente da configuração rect de treinamento; assim, model.train(rect=False) ainda seleciona best.pt usando validação retangular. As outras tarefas são diferentes: a segmentação semântica não adiciona preenchimento extra na validação, a estimativa de profundidade desativa a validação retangular, a classificação ignora rect e o RT-DETR usa seu próprio construtor de conjuntos de dados com rect=False.

Exemplo de validação com argumentos#



Assista: Como exportar os resultados de validação do modelo em CSV, JSON, SQL, DataFrame do Polars e muito mais

Explore model validation and different export methods in Google Colab

Os exemplos abaixo executam a validação de modelos YOLO com argumentos personalizados em Python e pela CLI.

Exemplo
from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n.pt")

# Personaliza as definições de validação
metrics = model.val(data="coco8.yaml", imgsz=640, batch=16, conf=0.25, iou=0.7, device="0")
Exportar ConfusionMatrix

Também podes exportar os resultados da matriz de confusão em diferentes formatos, por exemplo, como um DataFrame:

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

results = model.val(data="coco8.yaml", plots=True)
print(results.confusion_matrix.to_df())
Precisão, revocação e F1 por imagem

A validação armazena métricas por imagem de precisão, revocação, F1, TP, FP e FN (com limiar de IoU de 0.5). Acesse essas métricas por meio de results.box.image_metrics para detecção e OBB, results.seg.image_metrics para segmentação e results.pose.image_metrics para pose após a conclusão da validação.

from ultralytics import YOLO

# Carregar um modelo
model = YOLO("yolo26n.pt")

# Valida e acede às métricas por imagem
results = model.val(data="coco8.yaml")

# As chaves são caminhos relativos ao diretório comum de imagens, por exemplo, 'image1.jpg' ou 'a/image1.jpg'
print(results.box.image_metrics)
# Output: {'image1.jpg': {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}, ...}

# Acede às métricas de uma imagem específica
results.box.image_metrics["image1.jpg"]  # {'precision': 0.85, 'recall': 0.92, 'f1': 0.88, 'tp': 17, 'fp': 3, 'fn': 1}

Cada entrada em image_metrics contém as seguintes chaves:

ChaveDescrição
precisionPontuação de precisão da imagem (tp / (tp + fp)).
recallPontuação de revocação da imagem (tp / (tp + fn)).
f1Média harmónica da precisão e da revocação.
tpNúmero de verdadeiros positivos da imagem.
fpNúmero de falsos positivos da imagem.
fnNúmero de falsos negativos da imagem.

Esta funcionalidade está disponível para tarefas de deteção, segmentação, pose e OBB.

O objeto de métricas retornado também disponibiliza funções auxiliares de exportação de DataExportMixin para análises posteriores:

MétodoTipo devolvidoDescrição
summary()List[Dict[str, Any]]Retorna os resultados da validação como uma lista de dicionários, um por linha.
to_df()DataFrameDevolve os resultados da validação como um DataFrame estruturado de Polars.
to_csv()strExporta os resultados da validação em formato CSV e devolve a cadeia CSV.
to_json()strExporta os resultados da validação em formato JSON e devolve a cadeia JSON.

Os resultados de detecção, segmentação, segmentação semântica, pose e OBB têm uma linha por classe nos rótulos de validação, por isso to_csv() e to_json() exportam métricas por classe:

TarefaColunas por classe
detecçãoClass, Images, Instances, Box-P, Box-R, Box-F1, mAP50, mAP75, mAP50-95
segmentaçãoAs colunas de detecção, depois Mask-P, Mask-R, Mask-F1, Mask-mAP50, Mask-mAP75, Mask-mAP50-95
semânticaClass, Images, Pixels, IoU, mIoU e pixel_acc (ambos globais), class_pixel_acc
poseAs colunas de detecção, depois Pose-P, Pose-R, Pose-F1, Pose-mAP50, Pose-mAP75, Pose-mAP50-95
obbAs colunas de detecção

A estimativa de profundidade retorna uma única linha com delta1, delta2, delta3, abs_rel, rmse e silog, e a classificação retorna uma única linha com top1_acc e top5_acc.

from ultralytics import YOLO

model = YOLO("yolo26n-seg.pt")
metrics = model.val(data="coco8-seg.yaml")
metrics.to_csv()  # uma linha por classe, com métricas de caixas e máscaras

O que fazer a seguir#

Satisfeito com as métricas? Exporta o modelo para um formato de implementação. Se a precisão não for a esperada, volta atrás e treina novamente com hiperparâmetros diferentes ou com mais dados de treino.

Perguntas frequentes#

  • Para validar o teu modelo YOLO26, podes usar o modo Val disponibilizado pelo Ultralytics. Por exemplo, com a API Python, podes carregar um modelo e executar a validação com:

    from ultralytics import YOLO
    
    # Carregar um modelo
    model = YOLO("yolo26n.pt")
    
    # Valida o modelo
    metrics = model.val()
    print(metrics.box.map)  # map50-95

    Em alternativa, podes usar a interface de linha de comandos (CLI):

    yolo detect val model=yolo26n.pt data=coco8.yaml

    Para personalizar ainda mais, podes ajustar vários argumentos, como imgsz, batch e conf, tanto no modo Python como na CLI. Consulta a secção Argumentos para a validação de modelos YOLO para ver a lista completa de parâmetros.

  • A validação de modelos YOLO26 fornece várias métricas importantes para avaliar o desempenho do modelo. Estas incluem:

    • mAP50 (precisão média no limiar IoU de 0.5)
    • mAP75 (precisão média no limiar IoU de 0.75)
    • mAP50-95 (precisão média em vários limiares IoU, de 0.5 a 0.95)

    Com a API Python, podes aceder a estas métricas da seguinte forma:

    metrics = model.val()  # pressupõe que `model` já foi carregado
    print(metrics.box.map)  # mAP50-95
    print(metrics.box.map50)  # mAP50
    print(metrics.box.map75)  # mAP75
    print(metrics.box.maps)  # mAP50-95 por classe; as classes ausentes do conjunto de validação recebem o mAP geral
    print(metrics.box.ap_class_index)  # índices das classes que foram efetivamente avaliadas
    print(metrics.box.image_metrics)  # dicionário de métricas por imagem com precisão, revocação, F1, TP, FP e FN

    Analisa todas essas métricas para obter uma avaliação completa do desempenho.

  • Usar o Ultralytics YOLO para validação oferece várias vantagens:

    • Precisão: o YOLO26 fornece métricas de desempenho precisas, incluindo mAP50, mAP75 e mAP50-95.
    • Praticidade: os modelos guardam as definições de treino, o que simplifica a validação.
    • Flexibilidade: podes validar com os mesmos conjuntos de dados ou com conjuntos diferentes, e com tamanhos de imagem iguais ou diferentes.
    • Ajuste de hiperparâmetros: as métricas de validação ajudam a ajustar os modelos para obter melhor desempenho.

    Estas vantagens ajudam-te a avaliar os modelos de forma abrangente e a otimizá-los.

  • Sim, podes validar o teu modelo YOLO26 com um conjunto de dados personalizado. Especifica o argumento data com o caminho para o ficheiro YAML do conjunto de dados, que deve incluir o caminho para os dados de validação. Para classificação, em vez disso, indica um diretório de conjunto de dados ou o nome de um conjunto de dados integrado (por exemplo, imagenet10).

    Nota

    A validação usa os próprios nomes de classes do modelo, que podes consultar com model.names e que podem ser diferentes dos definidos pelo conjunto de dados.

    Exemplo em Python:

    from ultralytics import YOLO
    
    # Carregar um modelo
    model = YOLO("yolo26n.pt")
    
    # Valida com um conjunto de dados personalizado
    metrics = model.val(data="path/to/your/custom_dataset.yaml")
    print(metrics.box.map)  # map50-95

    Exemplo com a CLI:

    yolo val model=yolo26n.pt data=path/to/your/custom_dataset.yaml

    Para ver mais opções de personalização durante a validação, consulta a secção Exemplo de validação com argumentos.

  • Para guardar os resultados da validação num ficheiro JSON, define o argumento save_json como True ao executar a validação. Podes fazê-lo tanto na API Python como na CLI.

    Exemplo em Python:

    from ultralytics import YOLO
    
    # Carregar um modelo
    model = YOLO("yolo26n.pt")
    
    # Guarda os resultados da validação em JSON
    metrics = model.val(save_json=True)

    Exemplo com a CLI:

    yolo val model=yolo26n.pt save_json=True

    Em conjuntos de dados de deteção, save_json=True também apresenta o mAP de objetos pequenos, médios e grandes através de faster-coco-eval. Consulta Argumentos para a validação de modelos YOLO para mais detalhes.

Comentários279

Faz uma pergunta, partilha os teus resultados ou ajuda alguém.

  1. BedoHatemGitHub

    I have a couple of models (a mix of object detection and segmentation), so I want to run them on the same validation dataset to compare them properly. The exact tasks for the seg and obj-det models are the same at a certain level, so I'm aware that seg models give a B-Box and Mask, while obj-det gives just a B-Box.

    With that said, will a segmentation dataset work on both seg and obj-det models ? Or should i make a seg and a obj-det version of the same dataset, so i can use it to equally validate the models ?

    Thanks in Advance

    1
    1. BedoHatemGitHub

      I tested it. It seems you can use a segmentation dataset to validate an obj-det model, as the seg datasets include B-Boxes and Masks of the classes.

      1
    2. Glenn JocherUltralytics(editado)

      @BedoHatem yes, you're correct! Segmentation datasets can be used to validate object detection models because they contain the bounding box annotations needed for detection evaluation. The segmentation masks are simply ignored when the dataset is used with a detection model.

      This flexibility is an advantage of the YOLO annotation format - the additional segmentation data doesn't interfere with detection evaluation. For the most accurate comparison between models, using the same validation dataset ensures you're evaluating performance on exactly the same ground truth data.

      @417dq the recall reported by val() is taken at the confidence value that maximizes F1, while the confusion matrix is built at the validation conf (0.001 by default) with an IoU matching threshold of 0.45, so the two can differ. The metrics output from val() is the reference for your model's performance.

  2. CyedenGitHub

    请问如果验针集是已经被多尺度分割了,那么再进行验证的时候imgsz应该设置为不同尺度验证的逻辑吗?例如: if name == 'main': model = YOLO(r'C:\Users\Lazy\Desktop\yolo_detect\weights\best.pt')

    multi_scale_sizes = [640, 800, 1024, 1280] 
    
    for size in multi_scale_sizes:
        model.val(
            data='ultralytics/cfg/datasets/DOTAv1.yaml',
            split='val',
            imgsz=size,
            batch=16,
            project='runs/val',
            name=f'v8n-obb-LSKNet_prev8x-obbpt_{size}',
        )
    1
    1. Glenn JocherUltralytics

      @Cyeden for multi-scale validation, you can indeed set imgsz to different scales within a loop. This approach allows you to evaluate the model's performance across various image sizes. Your implementation looks correct. Ensure you are using the latest version of the Ultralytics package to avoid any potential issues. For more details, you can refer to the validation documentation.

  3. YunYeTangGitHub

    hi, when I use yolov8-obb to validate DOTAv1, I found that confusion matrix is empty. Does it mean that confusion matrix is not supported in OBB validation?

    1
    1. Glenn JocherUltralytics(editado)

      Hi there! 👋

      The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with pip install -U ultralytics and re-run validation with plots=True. If it is still empty, please share your yolo checks output and the validation command so we can look into it.

      In the meantime, you can still rely on the other validation metrics such as mAP, precision, and recall.

    2. Glenn JocherUltralytics(editado)

      Hey there! 🚀

      Thank you for reaching out! The confusion matrix is supported for OBB validation in current Ultralytics versions. If yours is empty, update with pip install -U ultralytics and re-run validation with plots=True; if it is still empty, share your yolo checks output and validation command so we can look into it.

      For a comprehensive evaluation you can also rely on the other metrics provided during validation, such as mAP, precision, and recall. Cheers! 🌟

    1. Glenn JocherUltralytics

      It looks like you’re on the Chinese locale (the URL contains "/zh/"). Remove "/zh/" to view the English version, or use the top‑right language selector (GB English) and hard‑refresh; also ensure your browser’s auto‑translate is disabled.

    2. Glenn JocherUltralytics

      Thanks for the detailed description—that behavior sounds like a docs locale‑routing bug on our side rather than anything you can fix locally; we’ll get it forwarded to the web/docs team, and in the meantime could you confirm whether going directly to the English URL Model Validation with Ultralytics YOLO (English) still forces you back to Chinese and share your OS + browser version so we can reproduce it?

    3. Glenn JocherUltralytics

      Thanks for the extra details—that confirms this is an issue on the docs side, likely tied to your system/browser language being Chinese and our locale detection forcing /zh/ even when you pick English. I’ve passed this to the web/docs team to investigate; as a temporary workaround you can try using a browser whose interface language is set to English (or move English to the top of Chrome’s language preferences) so the site stops auto‑redirecting to the Chinese locale.

  4. AA278-HUBGitHub

    I have a model trained on a dataset containing four classes (car, bus, motorbike, and trunk). Now, I have a new dataset with only one class (vehicle). How can I validate this model using the new dataset, given that I only care about whether the model can identify the vehicle and its position, without concern for the specific type of vehicle?

    1. AA278-HUBGitHub

      f I want to change the validation rules in this specific situation, which .py files need to be modified

    2. Glenn JocherUltralytics

      @liujixingit save_txt writes normalized YOLO xywh (center x/y, width, height) relative to the original image size; recover pixel xyxy via the original W,H then center→corner conversion, e.g.:

      # line format: class x y w h [conf]
      cls, x, y, w, h, *rest = map(float, line.split())
      x1 = (x - w/2) * W; y1 = (y - h/2) * H
      x2 = (x + w/2) * W; y2 = (y + h/2) * H

      Function details are in the save_one_txt reference and the save_txt format is noted under Validation settings.

      @carlos-cell To get APs/APm/APl, run COCO-style evaluation with JSON saving and check the printed COCO summary:

      yolo detect val model=yolo11n.pt data=coco.yaml save_json=True

      This triggers COCO eval inside validation; see COCO evaluation in val and the size-specific metrics overview in the Performance metrics deep dive.

      @AA278-HUB For “any vehicle” validation, use single-class evaluation so all types collapse to one:

      metrics = model.val(data='vehicle.yaml', single_cls=True, agnostic_nms=True)

      Argument behavior is documented in the Val mode arguments.

      @AA278-HUB You don’t need code changes for the above, but if you must customize matching/metrics, start from DetectionValidator and the val() entry point: see the DetectionValidator reference and the val() method in engine/model.py; if proposing a PR, please keep scope minimal and include tests.

  5. liujixingitGitHub

    YOLOv8 调用验证功能开启save_txt后保存的坐标如何还原到原图,我尝试了直接×原图宽高,还原的坐标是错误的。save_txt保存的结果是相对什么计算得出的归一化坐标?

    1. CherishzyhGitHub
      1. the document shows that 'iou' is the threshold for NMS.Is it also a threshold for calculate the confusion matrix? eg. I hope that if the IoU between the prediction and the ground truth is greater than 0.2, it will be considered a true positive (TP). At the same time, does the NMS threshold also have to be 0.2?
    2. CherishzyhGitHub
      1. For confidence threshold, if I set it to 0.1, that mean all bboxes with a score lower than 0.1 will be removed when calculate the PR-curve?. If so, does it will also be remove in result json or txt ?
    3. Glenn JocherUltralytics

      @Cherishzyh great questions:

      1. The iou argument in val() controls NMS overlap removal only; it does not change the IoU used to determine TP/FP or mAP. Metrics are computed over fixed IoU thresholds 0.50–0.95. If you need evaluation at IoU=0.2, export predictions and compute custom metrics offline. See the Performance Metrics deep dive.

      2. The conf argument is a minimum score filter. Setting conf=0.1 removes all predictions with score < 0.1 prior to evaluation and from saved outputs (save_json/save_txt). You can still access PR data from the results object:

      from ultralytics import YOLO
      model = YOLO("yolo11n.pt")
      res = model.val(conf=0.1, iou=0.7, save_json=True, save_txt=True, plots=True)
      print(res.box.p_curve)  # precision curve vs score thresholds
      print(res.box.r_curve)  # recall curve vs score thresholds

      Argument details are in the Val mode arguments.

  6. lauravchrobakGitHub

    When I run validate without setting plots=True I still get the f1, PR curve plots in the val folder. Potentially the default for this flag is actually true despite it being false in the table above?

  7. sea190GitHub

    The question about val of yoloworld, and I used my custom dataset, and I make sure the format of ma dataset is corret. While when I run the val.py the code still validate the categories of COCO Dataset instead of my dataset? How can I solve this problem?

    1. ihciabGitHub

      You can try specifying the path of the validation set. When calling the val function, specify model.val(data=‘your_data’)

    2. Glenn JocherUltralytics

      @sea190 for YOLO-World validation with custom datasets, ensure your dataset YAML file correctly defines the class names and paths. YOLO-World may default to COCO categories if the dataset configuration isn't properly specified. Try:

      model.val(data='path/to/your/custom_dataset.yaml')

      Make sure your YAML file includes the correct names field with your custom class names and verify the val path points to your validation images and labels. If issues persist, check that your dataset follows the expected format for YOLO-World validation.