YOLOv10: deteção de objetos de ponta a ponta em tempo real#

O YOLOv10, lançado em maio de 2024 e desenvolvido com base no Ultralytics Python package por investigadores da Universidade de Tsinghua, introduz uma nova abordagem à deteção de objetos em tempo real, resolvendo tanto as deficiências do pós-processamento como as da arquitetura dos modelos encontradas nas versões anteriores do YOLO. Ao eliminar a supressão não máxima (NMS) e otimizar vários componentes do modelo, o YOLOv10 alcançou um desempenho excelente com uma sobrecarga computacional significativamente reduzida no momento do seu lançamento. O seu design de ponta a ponta sem NMS introduziu uma abordagem que foi posteriormente desenvolvida no YOLO26.

Visão geral#

A deteção de objetos em tempo real procura prever com precisão as categorias e as posições dos objetos nas imagens, com baixa latência. A série YOLO tem estado na vanguarda desta investigação devido ao seu equilíbrio entre desempenho e eficiência. No entanto, a dependência de NMS e as ineficiências arquiteturais têm limitado o desempenho ideal. O YOLOv10 resolve estes problemas ao introduzir atribuições duplas consistentes para treino sem NMS e uma estratégia holística de design de modelos orientada pela eficiência e pela precisão.

Arquitetura#

A arquitetura do YOLOv10 baseia-se nos pontos fortes dos modelos YOLO anteriores, introduzindo simultaneamente várias inovações importantes. A arquitetura do modelo é composta pelos seguintes componentes:

1. Backbone: Responsável pela extração de características, o backbone do YOLOv10 utiliza uma versão melhorada da CSPNet (Rede Parcial entre Estágios) para melhorar o fluxo dos gradientes e reduzir a redundância computacional.
2. Neck: O neck foi concebido para agregar características de diferentes escalas e passá-las ao head. Inclui camadas PAN (Rede de Agregação de Caminhos) para uma fusão eficaz de características multiescala.
3. Head de um para muitos: Gera várias previsões por objeto durante o treino para fornecer sinais de supervisão ricos e melhorar a precisão da aprendizagem.
4. Head de um para um: Gera uma única previsão ideal por objeto durante a inferência para eliminar a necessidade de NMS, reduzindo assim a latência e melhorando a eficiência.

Principais funcionalidades#

1. Treino sem NMS: Utiliza atribuições duplas consistentes para eliminar a necessidade de NMS, reduzindo a latência de inferência.
2. Design Holístico do Modelo: Otimização abrangente de vários componentes sob as perspectivas de eficiência e precisão, incluindo cabeças de classificação leves, subamostragem desacoplada de canal espacial e design de bloco guiado por rank.
3. Capacidades melhoradas do modelo: Incorpora convoluções de kernel grande e módulos de autoatenção parcial para melhorar o desempenho sem um custo computacional significativo.

Variantes do modelo#

O YOLOv10 está disponível em várias escalas de modelo para responder a diferentes necessidades de aplicação:

• YOLOv10n: Versão Nano para ambientes com recursos extremamente limitados.
• YOLOv10s: Versão Small que equilibra velocidade e precisão.
• YOLOv10m: Versão Medium para utilização geral.
• YOLOv10b: Versão equilibrada com maior largura para obter mais precisão.
• YOLOv10l: Versão Large para maior precisão, à custa de recursos computacionais adicionais.
• YOLOv10x: Versão Extra-large para obter a máxima precisão e desempenho.

Desempenho#

O YOLOv10 supera as versões anteriores do YOLO e outros modelos de vanguarda em termos de precisão e eficiência. Por exemplo, o YOLOv10s é 1.8x mais rápido do que o RT-DETR-R18, com AP semelhante no conjunto de dados COCO, e o YOLOv10b tem menos 46% de latência e menos 25% de parâmetros do que o YOLOv9-C, com o mesmo desempenho.

Metodologia#

Atribuições duplas consistentes para treino sem NMS#

O YOLOv10 emprega atribuições de rótulos duplas, combinando estratégias de um para muitos e de um para um durante o treinamento para garantir supervisão rica e implantação eficiente de ponta a ponta. A previsão e a validação do Ultralytics usam o cabeçote de um para muitos com NMS por padrão; define nms=False para selecionar o cabeçote sem NMS. A métrica de correspondência consistente alinha a supervisão entre ambas as estratégias, aprimorando a qualidade das previsões durante a inferência.

Design de modelos orientado holisticamente pela eficiência e pela precisão#

Melhorias de eficiência#

1. Head de classificação leve: Reduz a sobrecarga computacional do head de classificação através do uso de convoluções separáveis em profundidade.
2. Subamostragem Desacoplada de Canal Espacial: Desacopla a redução espacial e a modulação de canais para minimizar a perda de informação e o custo computacional.
3. Design de blocos orientado pela hierarquia: Adapta o design dos blocos com base na redundância intrínseca das etapas, garantindo uma utilização ideal dos parâmetros.

Melhorias de precisão#

1. Convolução de kernel grande: Aumenta o campo recetivo para melhorar a capacidade de extração de características.
2. Autoatenção parcial (PSA): Incorpora módulos de autoatenção para melhorar a aprendizagem de representações globais com uma sobrecarga mínima.

Experiências e resultados#

O YOLOv10 foi amplamente testado em benchmarks padrão como o COCO, demonstrando desempenho e eficiência superiores. O modelo alcança resultados de vanguarda em diferentes variantes, evidenciando melhorias significativas na latência e na precisão em comparação com versões anteriores e outros detetores contemporâneos.

Comparações#

Em comparação com outros detetores de vanguarda:

• YOLOv10s / x são 1.8× / 1.3× mais rápidos do que RT-DETR-R18 / R101, com precisão semelhante
• O YOLOv10b tem menos 25% de parâmetros e menos 46% de latência do que o YOLOv9-C, com a mesma precisão
• YOLOv10l / x superam o YOLOv8l / x em 0.3 AP / 0.5 AP, com 1.8× / 2.3× menos parâmetros

Os valores de parâmetros e FLOPs referem-se ao modelo fundido após model.fuse(), que combina as camadas Conv e BatchNorm e remove o head de deteção auxiliar de um para muitos. Os checkpoints pré-treinados mantêm a arquitetura completa de treino e podem apresentar contagens superiores.

Exemplos de utilização#

Para prever novas imagens com o YOLOv10. Também podes treinar modelos em GPUs na nuvem através da Ultralytics Platform:

from ultralytics import YOLO

# Load a pretrained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

Para treinar o YOLOv10 num conjunto de dados personalizado:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Tarefas e modos suportados#

A série de modelos YOLOv10 oferece uma variedade de modelos, cada um otimizado para deteção de objetos de alto desempenho. Estes modelos respondem a diferentes necessidades computacionais e requisitos de precisão, tornando-os versáteis para uma ampla variedade de aplicações.

Exportar o YOLOv10#

Devido às novas operações introduzidas com o YOLOv10, nem todos os formatos de exportação fornecidos pela Ultralytics são atualmente suportados. A tabela seguinte indica quais os formatos que foram convertidos com êxito utilizando a Ultralytics para o YOLOv10. Podes abrir um pull request se conseguires contribuir com uma alteração para adicionar suporte de exportação a formatos adicionais para o YOLOv10.

Conclusão#

O YOLOv10 estabeleceu um novo padrão na deteção de objetos em tempo real aquando do seu lançamento, ao resolver as limitações das versões anteriores do YOLO e incorporar estratégias de design inovadoras. A sua abordagem sem NMS foi pioneira na deteção de objetos de ponta a ponta na família YOLO. Para conhecer o modelo Ultralytics mais recente, com desempenho melhorado e inferência sem NMS, consulta o YOLO26.

Citações e agradecimentos#

Gostaríamos de reconhecer os autores do YOLOv10 da Universidade de Tsinghua pela sua extensa investigação e pelas suas contribuições significativas para a estrutura Ultralytics:

@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

Para obter informações detalhadas sobre a implementação, as inovações arquiteturais e os resultados experimentais, consulta o artigo de investigação do YOLOv10 e o repositório do GitHub da equipa da Universidade de Tsinghua.

Perguntas frequentes#