Mergulho profundo na métrica de desempenho

Introdução

As métricas de desempenho são ferramentas fundamentais para avaliar a precisão e a eficiência dos modelos de deteção de objectos. Indicam a eficácia com que um modelo consegue identificar e localizar objectos nas imagens. Além disso, ajudam a compreender a forma como o modelo lida com falsos positivos e falsos negativos. Estes conhecimentos são cruciais para avaliar e melhorar o desempenho do modelo. Neste guia, iremos explorar várias métricas de desempenho associadas a YOLO11, o seu significado e como interpretá-las.

Ver: Ultralytics YOLO11 Métricas de desempenho | MAP, Pontuação F1, Precisão, IoU e Precisão

Métricas de deteção de objectos

Comecemos por discutir algumas métricas que não são apenas importantes para YOLO11 mas que são amplamente aplicáveis em diferentes modelos de deteção de objectos.

• Intersecção sobre União (IoU): A IoU é uma medida que quantifica a sobreposição entre uma caixa delimitadora prevista e uma caixa delimitadora real. Desempenha um papel fundamental na avaliação da precisão da localização de objectos.

• Precisão média (AP): A AP calcula a área sob a curva de precisão-recuperação, fornecendo um valor único que engloba o desempenho de precisão e recuperação do modelo.

• Precisão média média (mAP): A mAP alarga o conceito de AP calculando os valores médios de AP em várias classes de objectos. Isto é útil em cenários de deteção de objectos multi-classe para fornecer uma avaliação abrangente do desempenho do modelo.

• Precisão e recuperação: A precisão quantifica a proporção de verdadeiros positivos entre todas as previsões positivas, avaliando a capacidade do modelo para evitar falsos positivos. Por outro lado, a Recuperação calcula a proporção de verdadeiros positivos entre todos os verdadeiros positivos, medindo a capacidade do modelo para detetar todas as instâncias de uma classe.

• Pontuação F1: A pontuação F1 é a média harmónica da precisão e da recuperação, fornecendo uma avaliação equilibrada do desempenho de um modelo, considerando tanto os falsos positivos como os falsos negativos.

Como calcular métricas para o modelo YOLO11

Agora, podemos explorar o modo de validação doYOLO11 que pode ser utilizado para calcular as métricas de avaliação acima referidas.

A utilização do modo de validação é simples. Assim que tiver um modelo treinado, pode invocar a função model.val(). Essa função processará o conjunto de dados de validação e retornará uma variedade de métricas de desempenho. Mas o que é que estas métricas significam? E como é que as deve interpretar?

Interpretar a saída

Vamos decompor o resultado da função model.val() e compreender cada segmento do resultado.

Métricas por classe

Uma das secções do resultado é a discriminação por classe das métricas de desempenho. Esta informação granular é útil quando se está a tentar compreender o desempenho do modelo para cada classe específica, especialmente em conjuntos de dados com uma gama diversificada de categorias de objectos. Para cada classe no conjunto de dados, é fornecido o seguinte:

• Classe: Indica o nome da classe do objeto, como "pessoa", "carro" ou "cão".

• Imagens: Esta métrica indica-lhe o número de imagens no conjunto de validação que contêm a classe de objeto.

• Instâncias: Fornece a contagem de quantas vezes a classe aparece em todas as imagens do conjunto de validação.

• Box(P, R, mAP50, mAP50-95): Esta métrica fornece informações sobre o desempenho do modelo na deteção de objectos:

  • P (Precisão): A precisão dos objectos detectados, indicando quantas detecções estavam corretas.

  • R (Recall): A capacidade do modelo para identificar todas as instâncias de objectos nas imagens.

  • mAP50: Precisão média calculada com um limiar de intersecção sobre união (IoU) de 0,50. É uma medida da precisão do modelo considerando apenas as detecções "fáceis".

  • mAP50-95: A média da precisão média calculada em diferentes limiares de IoU, variando de 0,50 a 0,95. Dá uma visão abrangente do desempenho do modelo em diferentes níveis de dificuldade de deteção.

Métricas de velocidade

A velocidade da inferência pode ser tão crítica como a precisão, especialmente em cenários de deteção de objectos em tempo real. Esta secção analisa o tempo necessário para as várias fases do processo de validação, desde o pré-processamento até ao pós-processamento.

Avaliação das métricas COCO

Para os utilizadores que validam o conjunto de dados COCO, são calculadas métricas adicionais utilizando o script de avaliação COCO. Estas métricas fornecem informações sobre a precisão e a recuperação em diferentes limiares de IoU e para objectos de diferentes tamanhos.

Saídas visuais

A função model.val(), além de produzir métricas numéricas, também produz resultados visuais que podem fornecer uma compreensão mais intuitiva do desempenho do modelo. Aqui está um resumo dos resultados visuais que você pode esperar:

• Curva de pontuação F1 (F1_curve.png): Esta curva representa a Pontuação F1 em vários limiares. A interpretação desta curva pode oferecer informações sobre o equilíbrio do modelo entre falsos positivos e falsos negativos em diferentes limiares.

• Curva de precisão-recall (PR_curve.png): Uma visualização integral para qualquer problema de classificação, esta curva mostra as soluções de compromisso entre precisão e recolha com limiares variados. Torna-se especialmente significativo quando se lida com classes desequilibradas.

• Curva de precisão (P_curve.png): Uma representação gráfica dos valores de precisão em diferentes limiares. Esta curva ajuda a compreender como a precisão varia à medida que o limiar muda.

• Curva de recuperação (R_curve.png): De forma correspondente, este gráfico ilustra a forma como os valores de recordação mudam consoante os diferentes limiares.

• Matriz de confusão (confusion_matrix.png): A matriz de confusão fornece uma visão detalhada dos resultados, apresentando as contagens de verdadeiros positivos, verdadeiros negativos, falsos positivos e falsos negativos para cada classe.

• Matriz de confusão normalizada (confusion_matrix_normalized.png): Esta visualização é uma versão normalizada da matriz de confusão. Ela representa os dados em proporções em vez de contagens brutas. Esse formato simplifica a comparação do desempenho entre as classes.

• Etiquetas de lotes de validação (val_batchX_labels.jpg): Estas imagens representam os rótulos verdadeiros para lotes distintos do conjunto de dados de validação. Fornecem uma imagem clara do que são os objectos e as suas respectivas localizações de acordo com o conjunto de dados.

• Previsões do lote de validação (val_batchX_pred.jpg): Em contraste com as imagens de etiquetas, estas imagens apresentam as previsões efectuadas pelo modelo YOLO11 para os respectivos lotes. Ao compará-las com as imagens das etiquetas, pode avaliar facilmente a eficácia do modelo na deteção e classificação visual dos objectos.

Resultados Armazenamento

Para referência futura, os resultados são guardados num diretório, normalmente designado por runs/detect/val.

Escolher a métrica correta

A escolha das métricas corretas a avaliar depende frequentemente da aplicação específica.

• mAP: Adequado para uma avaliação alargada do desempenho do modelo.

• IoU: Essencial quando a localização precisa de um objeto é crucial.

• Precisão: Importante quando a minimização de falsas detecções é uma prioridade.

• Recuperação: Vital quando é importante detetar todas as instâncias de um objeto.

• Pontuação F1: Útil quando é necessário um equilíbrio entre a precisão e a recuperação.

Para aplicações em tempo real, as métricas de velocidade como FPS (Frames Per Second) e latência são cruciais para garantir resultados atempados.

Interpretação dos resultados

É importante compreender as métricas. Eis o que algumas das pontuações mais baixas normalmente observadas podem sugerir:

• Baixo mAP: Indica que o modelo pode necessitar de aperfeiçoamentos gerais.

• IoU baixo: O modelo pode estar a ter dificuldades em localizar os objectos com precisão. Diferentes métodos de caixa delimitadora podem ajudar.

• Baixa precisão: O modelo pode estar a detetar demasiados objectos inexistentes. Ajustar os limiares de confiança pode reduzir esta situação.

• Baixa recordação: O modelo pode estar a perder objectos reais. Melhorar a extração de caraterísticas ou utilizar mais dados pode ajudar.

• Pontuação F1 desequilibrada: Existe uma disparidade entre a precisão e a recuperação.

• AP específico da turma: As pontuações baixas aqui podem destacar as disciplinas em que o modelo tem dificuldades.

Estudos de caso

Os exemplos do mundo real podem ajudar a clarificar a forma como estas métricas funcionam na prática.

Caso 1

• Situação: o mAP e a pontuação F1 estão abaixo do ótimo, mas enquanto a Recuperação é boa, a Precisão não é.

• Interpretação e ação: Poderá haver demasiadas detecções incorrectas. O aumento dos limiares de confiança pode reduzi-las, embora também possa diminuir ligeiramente a recuperação.

Caso 2

• Situação: o mAP e o Recall são aceitáveis, mas o IoU não é suficiente.

• Interpretação e ação: O modelo detecta bem os objectos, mas pode não estar a localizá-los com precisão. O aperfeiçoamento das previsões da caixa delimitadora pode ajudar.

Caso 3

• Situação: Algumas turmas têm um PA muito mais baixo do que outras, mesmo com um bom PAm global.

• Interpretação e ação: Estas classes podem ser mais difíceis para o modelo. A utilização de mais dados para estas classes ou o ajuste dos pesos das classes durante o treino pode ser benéfico.

Ligar e colaborar

O contacto com uma comunidade de entusiastas e especialistas pode amplificar a sua viagem com YOLO11. Eis algumas vias que podem facilitar a aprendizagem, a resolução de problemas e a criação de redes.

Envolver-se com a comunidade mais alargada

• Problemas do GitHub: O repositório YOLO11 no GitHub tem um separador Problemas onde pode fazer perguntas, reportar erros e sugerir novas funcionalidades. A comunidade e os mantenedores são ativos aqui, e é um ótimo lugar para obter ajuda com problemas específicos.

• Ultralytics Servidor Discord: Ultralytics tem um servidor Discord onde pode interagir com outros utilizadores e com os criadores.

Documentação e recursos oficiais:

• Ultralytics YOLO11 Documentação: A documentação oficial fornece uma visão geral abrangente de YOLO11, juntamente com guias sobre instalação, utilização e resolução de problemas.

A utilização destes recursos não só o guiará através de quaisquer desafios, como também o manterá atualizado com as últimas tendências e melhores práticas na comunidade YOLO11 .

Conclusão

Neste guia, analisámos detalhadamente as métricas de desempenho essenciais para YOLO11. Estas métricas são fundamentais para compreender o desempenho de um modelo e são vitais para qualquer pessoa que pretenda aperfeiçoar os seus modelos. Oferecem as informações necessárias para melhorias e para garantir que o modelo funciona efetivamente em situações reais.

Lembre-se, a comunidade YOLO11 e Ultralytics é um ativo inestimável. O contacto com colegas programadores e especialistas pode abrir portas a conhecimentos e soluções que não se encontram na documentação padrão. Ao percorrer a deteção de objectos, mantenha vivo o espírito de aprendizagem, experimente novas estratégias e partilhe as suas descobertas. Ao fazê-lo, estará a contribuir para a sabedoria colectiva da comunidade e a garantir o seu crescimento.

Boa deteção de objectos!

FAQ

Qual é o significado da precisão média (mAP) na avaliação do desempenho do modelo YOLO11 ?

A precisão média (mAP) é crucial para avaliar os modelos YOLO11 , uma vez que fornece uma única métrica que encapsula a precisão e a recuperação em várias classes. mAP@0.50 mede a precisão num limiar de IoU de 0,50, centrando-se na capacidade do modelo para detetar objectos corretamente. mAP@0.50:0.95 calcula a média da precisão numa gama de limiares de IoU, oferecendo uma avaliação abrangente do desempenho da deteção. As pontuações elevadas do mAP indicam que o modelo equilibra eficazmente a precisão e a recuperação, o que é essencial para aplicações como a condução autónoma e a vigilância.

Como interpreto o valor Intersecção sobre União (IoU) para YOLO11 deteção de objectos?

A Intersecção sobre a União (IoU) mede a sobreposição entre as caixas delimitadoras previstas e as caixas delimitadoras da verdade terrestre. Os valores de IoU variam entre 0 e 1, em que valores mais elevados indicam uma melhor precisão de localização. Um IoU de 1,0 significa um alinhamento perfeito. Normalmente, é utilizado um limiar de IoU de 0,50 para definir verdadeiros positivos em métricas como o mAP. Valores de IoU mais baixos sugerem que o modelo tem dificuldade em localizar objectos com precisão, o que pode ser melhorado através do refinamento da regressão da caixa delimitadora ou do aumento da precisão das anotações.

Porque é que a pontuação F1 é importante para avaliar os modelos YOLO11 na deteção de objectos?

A pontuação F1 é importante para avaliar os modelos YOLO11 porque fornece uma média harmónica da precisão e da recuperação, equilibrando os falsos positivos e os falsos negativos. É particularmente valioso quando se lida com conjuntos de dados desequilibrados ou aplicações em que a precisão ou a recuperação por si só são insuficientes. Uma pontuação F1 elevada indica que o modelo detecta eficazmente os objectos, minimizando as detecções falhadas e os falsos alarmes, o que o torna adequado para aplicações críticas como sistemas de segurança e imagiologia médica.

Quais são as principais vantagens da utilização do Ultralytics YOLO11 para a deteção de objectos em tempo real?

Ultralytics YOLO11 oferece múltiplas vantagens para a deteção de objectos em tempo real:

• Velocidade e eficiência: Optimizado para inferência a alta velocidade, adequado para aplicações que requerem baixa latência.
• Elevada exatidão: O algoritmo avançado garante pontuações elevadas de mAP e IoU, equilibrando a precisão e a recordação.
• Flexibilidade: Suporta várias tarefas, incluindo deteção, segmentação e classificação de objectos.
• Facilidade de utilização: Interfaces fáceis de utilizar, documentação extensa e integração perfeita com plataformas como Ultralytics HUB(HUB Quickstart).

Isto torna o YOLO11 ideal para diversas aplicações, desde veículos autónomos a soluções para cidades inteligentes.

Como é que as métricas de validação de YOLO11 podem ajudar a melhorar o desempenho do modelo?

As métricas de validação de YOLO11 , como a precisão, a recuperação, o mAP e o IoU, ajudam a diagnosticar e a melhorar o desempenho do modelo, fornecendo informações sobre diferentes aspectos da deteção:

• Precisão: Ajuda a identificar e a minimizar os falsos positivos.
• Recuperação: Assegura que todos os objectos relevantes são detectados.
• mAP: Oferece uma visão geral do desempenho, orientando melhorias gerais.
• IoU: Ajuda a afinar a precisão da localização de objectos.

Ao analisar estas métricas, podem ser direcionados pontos fracos específicos, como o ajuste dos limites de confiança para melhorar a precisão ou a recolha de dados mais diversificados para melhorar a recuperação. Para obter explicações detalhadas sobre estas métricas e como interpretá-las, consulte Métricas de deteção de objectos.

📅C riado há 1 ano ✏️ Atualizado há 2 meses

Comentários