Técnicas de pré-processamento de dados para dados de Visão Computacional anotados

Introdução

Depois de definir os objetivos do projeto de visão computacional e coletar e anotar os dados, o próximo passo é pré-processar os dados anotados e prepará-los para o treinamento do modelo. Dados limpos e consistentes são vitais para criar um modelo com bom desempenho.

O pré-processamento é uma etapa no fluxo de trabalho do projeto de visão computacional que inclui redimensionar imagens, normalizar valores de pixels, aumentar o conjunto de dados e dividir os dados em conjuntos de treinamento, validação e teste. Vamos explorar as técnicas essenciais e as melhores práticas para limpar seus dados!

Importância do pré-processamento de dados

Já estamos coletando e anotando nossos dados cuidadosamente, levando várias considerações em conta. Então, o que torna o pré-processamento de dados tão importante para um projeto de visão computacional? Bem, o pré-processamento de dados trata de colocar seus dados em um formato adequado para o treinamento que reduz a carga computacional e ajuda a melhorar o desempenho do modelo. Aqui estão alguns problemas comuns em dados brutos que o pré-processamento resolve:

• Ruído: Variações irrelevantes ou aleatórias nos dados.
• Inconsistência: Variações em tamanhos, formatos e qualidade das imagens.
• Desequilíbrio: Distribuição desigual de classes ou categorias no conjunto de dados.

Técnicas de pré-processamento de dados

Um dos primeiros e mais importantes passos no pré-processamento de dados é o redimensionamento. Alguns modelos são projetados para lidar com tamanhos de entrada variáveis, mas muitos modelos exigem um tamanho de entrada consistente. O redimensionamento de imagens torna-as uniformes e reduz a complexidade computacional.

Redimensionamento de imagens

Você pode redimensionar suas imagens usando os seguintes métodos:

• Interpolação Bilinear: Suaviza os valores dos pixels calculando uma média ponderada dos quatro valores de pixels mais próximos.
• Vizinho Mais Próximo: Atribui o valor do pixel mais próximo sem calcular a média, resultando em uma imagem pixelizada, mas com computação mais rápida.

Para tornar o redimensionamento uma tarefa mais simples, você pode usar as seguintes ferramentas:

• OpenCV: Uma biblioteca popular de visão computacional com funções extensivas para processamento de imagem.
• PIL (Pillow): Uma biblioteca de processamento de imagens em Python para abrir, manipular e salvar arquivos de imagem.

Em relação ao YOLO26, o parâmetro 'imgsz' durante o treinamento do modelo permite tamanhos de entrada flexíveis. Quando definido para um tamanho específico, como 640, o modelo redimensionará as imagens de entrada para que sua maior dimensão seja 640 pixels, mantendo a proporção original.

Ao avaliar as necessidades específicas do seu modelo e conjunto de dados, você pode determinar se o redimensionamento é uma etapa de pré-processamento necessária ou se seu modelo consegue lidar eficientemente com imagens de tamanhos variados.

Normalização de valores de pixels

Outra técnica de pré-processamento é a normalização. A normalização escala os valores dos pixels para um intervalo padrão, o que ajuda na convergência mais rápida durante o treinamento e melhora o desempenho do modelo. Aqui estão algumas técnicas comuns de normalização:

• Escalonamento Min-Max: Escala os valores dos pixels para um intervalo de 0 a 1.
• Normalização Z-Score: Escala os valores dos pixels com base em sua média e desvio padrão.

Em relação ao YOLO26, a normalização é tratada perfeitamente como parte de seu pipeline de pré-processamento durante o treinamento do modelo. O YOLO26 executa automaticamente várias etapas de pré-processamento, incluindo a conversão para RGB, o escalonamento dos valores de pixels para o intervalo [0, 1] e a normalização usando valores predefinidos de média e desvio padrão.

Divisão do conjunto de dados

Uma vez que você limpou os dados, está pronto para dividir o conjunto de dados. A divisão dos dados em conjuntos de treinamento, validação e teste é feita para garantir que o modelo possa ser avaliado em dados não vistos, para avaliar seu desempenho de generalização. Uma divisão comum é 70% para treinamento, 20% para validação e 10% para teste. Existem várias ferramentas e bibliotecas que você pode usar para dividir seus dados, como o scikit-learn ou TensorFlow.

Considere o seguinte ao dividir seu conjunto de dados:

• Manter a distribuição dos dados: Certifique-se de que a distribuição dos dados das classes seja mantida nos conjuntos de treinamento, validação e teste.
• Evitar vazamento de dados: Normalmente, o aumento de dados é feito após a divisão do conjunto de dados. O aumento de dados e qualquer outro pré-processamento devem ser aplicados apenas ao conjunto de treinamento para evitar que informações dos conjuntos de validação ou teste influenciem o treinamento do modelo.
• Equilibrar classes: Para conjuntos de dados desequilibrados, considere técnicas como superamostragem da classe minoritária ou subamostragem da classe majoritária dentro do conjunto de treinamento.

O que é o aumento de dados?

A etapa de pré-processamento de dados mais comumente discutida é o aumento de dados. O aumento de dados aumenta artificialmente o tamanho do conjunto de dados criando versões modificadas das imagens. Ao aumentar seus dados, você pode reduzir o overfitting e melhorar a generalização do modelo.

Aqui estão outros benefícios do aumento de dados:

• Cria um conjunto de dados mais robusto: O aumento de dados pode tornar o modelo mais robusto a variações e distorções nos dados de entrada. Isso inclui mudanças na iluminação, orientação e escala.
• Custo-benefício: O aumento de dados é uma maneira econômica de aumentar a quantidade de dados de treinamento sem coletar e rotular novos dados.
• Melhor uso dos dados: Cada ponto de dados disponível é usado em seu potencial máximo criando novas variações.

Métodos de aumento de dados

Técnicas comuns de aumento incluem inversão, rotação, escala e ajustes de cor. Várias bibliotecas, como Albumentations, Imgaug e o ImageDataGenerator do TensorFlow, podem gerar esses aumentos.

Em relação ao YOLO26, você pode aumentar seu conjunto de dados personalizado modificando o arquivo de configuração do conjunto de dados, um arquivo .yaml. Nesse arquivo, você pode adicionar uma seção de aumento com parâmetros que especificam como você deseja aumentar seus dados.

O repositório Ultralytics YOLO26 suporta uma ampla gama de aumentos de dados. Você pode aplicar várias transformações, tais como:

• Recortes aleatórios
• Inversão: As imagens podem ser invertidas horizontal ou verticalmente.
• Rotação: As imagens podem ser giradas em ângulos específicos.
• Distorção

Além disso, você pode ajustar a intensidade dessas técnicas de aumento através de parâmetros específicos para gerar mais variedade de dados.

Um estudo de caso de pré-processamento

Considere um projeto destinado a desenvolver um modelo para detectar e classificar diferentes tipos de veículos em imagens de tráfego usando o YOLO26. Coletamos imagens de tráfego e as anotamos com caixas delimitadoras e rótulos.

Veja como seria cada etapa do pré-processamento para este projeto:

• Redimensionar Imagens: Como o YOLO26 lida com tamanhos de entrada flexíveis e realiza o redimensionamento automaticamente, o redimensionamento manual não é necessário. O modelo ajustará o tamanho da imagem de acordo com o parâmetro 'imgsz' especificado durante o treinamento.
• Normalizar Valores de Pixels: O YOLO26 normaliza automaticamente os valores dos pixels para um intervalo de 0 a 1 durante o pré-processamento, portanto, não é necessário.
• Dividir o Conjunto de Dados: Divida o conjunto de dados em conjuntos de treinamento (70%), validação (20%) e teste (10%) usando ferramentas como o scikit-learn.
• Aumento de Dados: Modifique o arquivo de configuração do conjunto de dados (.yaml) para incluir técnicas de aumento de dados, como recortes aleatórios, inversões horizontais e ajustes de brilho.

Essas etapas garantem que o conjunto de dados seja preparado sem problemas potenciais e esteja pronto para a Análise Exploratória de Dados (EDA).

Técnicas de Análise Exploratória de Dados

Após pré-processar e aumentar seu conjunto de dados, o próximo passo é obter insights através da Análise Exploratória de Dados. A EDA usa técnicas estatísticas e ferramentas de visualização para entender os padrões e distribuições em seus dados. Você pode identificar problemas como desequilíbrios de classe ou valores discrepantes e tomar decisões informadas sobre o pré-processamento adicional de dados ou ajustes no treinamento do modelo.

Técnicas estatísticas de EDA

As técnicas estatísticas geralmente começam com o cálculo de métricas básicas como média, mediana, desvio padrão e intervalo. Essas métricas fornecem uma visão geral rápida das propriedades do seu conjunto de dados de imagem, como distribuições de intensidade de pixel. Entender essas estatísticas básicas ajuda você a compreender a qualidade geral e as características dos seus dados, permitindo identificar irregularidades desde o início.

Técnicas visuais de EDA

As visualizações são fundamentais na EDA para conjuntos de dados de imagem. Por exemplo, a análise de desequilíbrio de classe é outro aspecto vital da EDA. Ela ajuda a determinar se certas classes estão sub-representadas em seu conjunto de dados. Visualizar a distribuição de diferentes classes ou categorias de imagem usando gráficos de barras pode revelar rapidamente quaisquer desequilíbrios. Da mesma forma, valores discrepantes podem ser identificados usando ferramentas de visualização como gráficos de caixa, que destacam anomalias na intensidade dos pixels ou distribuições de recursos. A detecção de valores discrepantes evita que pontos de dados incomuns distorçam seus resultados.

Ferramentas comuns para visualizações incluem:

• Histogramas e Gráficos de Caixa: Úteis para entender a distribuição dos valores dos pixels e identificar valores discrepantes.
• Gráficos de Dispersão: Úteis para explorar relações entre recursos de imagem ou anotações.
• Mapas de Calor: Eficazes para visualizar a distribuição das intensidades dos pixels ou a distribuição espacial dos recursos anotados dentro das imagens.

Usando a Plataforma Ultralytics para EDA

Para uma abordagem sem código para EDA, carregue seu conjunto de dados na Plataforma Ultralytics. A guia Charts do conjunto de dados gera automaticamente as visualizações descritas acima: distribuição da divisão, contagens das principais classes, histogramas de largura/altura da imagem e mapas de calor 2D das posições das anotações e dimensões da imagem. A guia Images permite que você navegue pelos seus dados em visualizações de grade, compacta ou de tabela com sobreposições de anotações, tornando fácil identificar exemplos rotulados incorretamente ou classes desequilibradas sem escrever uma única linha de código.

Entre em contato e conecte-se

Ter discussões sobre seu projeto com outros entusiastas de visão computacional pode lhe dar novas ideias de diferentes perspectivas. Aqui estão algumas ótimas maneiras de aprender, solucionar problemas e fazer networking:

Canais para se conectar com a comunidade

• GitHub Issues: Visite o repositório YOLO26 no GitHub e use a aba Issues para levantar questões, relatar bugs e sugerir recursos. A comunidade e os mantenedores estão lá para ajudar com quaisquer problemas que você enfrentar.
• Servidor Discord da Ultralytics: Entre no servidor Discord da Ultralytics para se conectar com outros usuários e desenvolvedores, obter suporte, compartilhar conhecimento e trocar ideias.

Documentação Oficial

• Documentação do Ultralytics YOLO26: Consulte a documentação oficial do YOLO26 para obter guias completos e insights valiosos sobre inúmeras tarefas e projetos de visão computacional.

Seu conjunto de dados está pronto!

Dados devidamente redimensionados, normalizados e aumentados melhoram o desempenho do modelo, reduzindo o ruído e melhorando a generalização. Seguindo as técnicas de pré-processamento e as melhores práticas descritas neste guia, você pode criar um conjunto de dados sólido. Com seu conjunto de dados pré-processado pronto, você pode prosseguir com confiança para as próximas etapas do seu projeto.

FAQ

Qual é a importância do pré-processamento de dados em projetos de visão computacional?

O pré-processamento de dados é essencial em projetos de visão computacional porque garante que os dados sejam limpos, consistentes e estejam em um formato ideal para o treinamento do modelo. Ao abordar problemas como ruído, inconsistência e desequilíbrio nos dados brutos, as etapas de pré-processamento, como redimensionamento, normalização, aumento e divisão do conjunto de dados, ajudam a reduzir a carga computacional e melhorar o desempenho do modelo. Para mais detalhes, visite as etapas de um projeto de visão computacional.

Como posso usar o Ultralytics YOLO para aumento de dados?

Para o aumento de dados com o Ultralytics YOLO26, você precisa modificar o arquivo de configuração do conjunto de dados (.yaml). Nesse arquivo, você pode especificar várias técnicas de aumento, como recortes aleatórios, inversões horizontais e ajustes de brilho. Isso pode ser feito de forma eficaz usando as configurações de treinamento explicadas aqui. O aumento de dados ajuda a criar um conjunto de dados mais robusto, reduzir o overfitting e melhorar a generalização do modelo.

Quais são as melhores técnicas de normalização de dados para dados de visão computacional?

A normalização escala os valores dos pixels para um intervalo padrão para uma convergência mais rápida e melhor desempenho durante o treinamento. As técnicas comuns incluem:

• Escalonamento Min-Max: Escala os valores dos pixels para um intervalo de 0 a 1.
• Normalização Z-Score: Escala os valores dos pixels com base em sua média e desvio padrão.

Para o YOLO26, a normalização é tratada automaticamente, incluindo a conversão para RGB e o escalonamento dos valores de pixel. Saiba mais sobre isso na seção de treinamento de modelo.

Como devo dividir meu conjunto de dados anotado para treinamento?

Para dividir seu conjunto de dados, uma prática comum é dividi-lo em 70% para treinamento, 20% para validação e 10% para teste. É importante manter a distribuição de dados das classes nessas divisões e evitar o vazamento de dados realizando o aumento apenas no conjunto de treinamento. Use ferramentas como scikit-learn ou TensorFlow para uma divisão eficiente do conjunto de dados. Veja o guia detalhado sobre preparação de conjunto de dados.

Posso lidar com tamanhos de imagem variados no YOLO26 sem redimensionamento manual?

Sim, o Ultralytics YOLO26 pode lidar com tamanhos de imagem variados através do parâmetro 'imgsz' durante o treinamento do modelo. Este parâmetro garante que as imagens sejam redimensionadas para que sua maior dimensão corresponda ao tamanho especificado (por exemplo, 640 pixels), mantendo a proporção. Para um manuseio de entrada mais flexível e ajustes automáticos, verifique a seção de treinamento de modelo.