Salta para o conte√ļdo

RT-DETR da Baidu: um detetor de objectos em tempo real baseado no transformador de vis√£o

Vis√£o geral

O Real-Time Detection Transformer (RT-DETR), desenvolvido pela Baidu, é um detetor de objectos de ponta a ponta que proporciona um desempenho em tempo real, mantendo uma elevada precisão. Aproveita o poder dos Transformadores de Visão (ViT) para processar eficazmente características multiescala, dissociando a interação intra-escala e a fusão inter-escala. RT-DETR é altamente adaptável, suportando o ajuste flexível da velocidade de inferência utilizando diferentes camadas de descodificadores sem reciclagem. O modelo destaca-se em backends acelerados como CUDA com TensorRT, superando muitos outros detectores de objectos em tempo real.

Imagem de exemplo de modelo Vis√£o geral da Baidu RT-DETR. O diagrama de arquitetura do modelo RT-DETR mostra as √ļltimas tr√™s fases da espinha dorsal {S3, S4, S5} como entrada para o codificador. O codificador h√≠brido eficiente transforma as caracter√≠sticas multiescala numa sequ√™ncia de caracter√≠sticas de imagem atrav√©s da intera√ß√£o de caracter√≠sticas intra-escala (AIFI) e do m√≥dulo de fus√£o de caracter√≠sticas inter-escala (CCFM). A sele√ß√£o de consultas com reconhecimento de IoU √© utilizada para selecionar um n√ļmero fixo de caracter√≠sticas de imagem para servir de consultas de objectos iniciais para o descodificador. Finalmente, o descodificador com cabe√ßas de previs√£o auxiliares optimiza iterativamente as consultas de objectos para gerar caixas e pontua√ß√Ķes de confian√ßa (fonte).

Características principais

  • Codificador h√≠brido eficiente: O RT-DETR da Baidu utiliza um codificador h√≠brido eficiente que processa caracter√≠sticas de v√°rias escalas, dissociando a intera√ß√£o intra-escala e a fus√£o entre escalas. Este design √ļnico baseado nos Transformadores de Vis√£o reduz os custos computacionais e permite a dete√ß√£o de objectos em tempo real.
  • Sele√ß√£o de consultas com conhecimento da IoU: O RT-DETR da Baidu melhora a inicializa√ß√£o da consulta de objectos utilizando a sele√ß√£o de consultas com conhecimento da IoU. Isto permite que o modelo se concentre nos objectos mais relevantes da cena, melhorando a precis√£o da dete√ß√£o.
  • Velocidade de infer√™ncia adapt√°vel: O RT-DETR da Baidu suporta ajustes flex√≠veis da velocidade de infer√™ncia, utilizando diferentes camadas de descodificadores sem necessidade de reciclagem. Esta adaptabilidade facilita a aplica√ß√£o pr√°tica em v√°rios cen√°rios de dete√ß√£o de objectos em tempo real.

Modelos pré-treinados

A API Ultralytics Python fornece modelos pré-treinados PaddlePaddle RT-DETR com diferentes escalas:

  • RT-DETR-L: 53,0% de AP no COCO val2017, 114 FPS no GPU T4
  • RT-DETR-X: 54,8% de AP no COCO val2017, 74 FPS no GPU T4

Exemplos de utilização

Este exemplo fornece exemplos simples de formação e inferência RT-DETRR. Para obter documentação completa sobre estes e outros modos, consulta as páginas de documentação Prever, Treinar, Avaliar e Exportar.

Exemplo

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR('rtdetr-l.pt')

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data='coco8.yaml', epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model('path/to/bus.jpg')
# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

Tarefas e modos suportados

Esta tabela apresenta os tipos de modelos, os pesos pré-treinados específicos, as tarefas suportadas por cada modelo e os vários modos(Train, Val, Predict, Export) que são suportados, indicados por emojis ✅.

Tipo de modelo Pesos pré-treinados Tarefas suportadas Inferência Validação Formação Exportação
RT-DETR Grande rtdetr-l.pt Deteção de objectos ✅ ✅ ✅ ✅
RT-DETR Extra-grande rtdetr-x.pt Deteção de objectos ✅ ✅ ✅ ✅

Cita√ß√Ķes e agradecimentos

Se utilizares o RT-DETR da Baidu no teu trabalho de investigação ou desenvolvimento, por favor cita o artigo original:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Gostaríamos de agradecer à Baidu e à equipa PaddlePaddle pela criação e manutenção deste valioso recurso para a comunidade da visão computacional. A sua contribuição para o campo com o desenvolvimento do detetor de objectos em tempo real baseado em Transformadores de Visão, RT-DETR, é muito apreciada.

Palavras-chave: RT-DETR, Transformer, ViT, Vision Transformers, Baidu RT-DETR, PaddlePaddle, Paddle Paddle RT-DETR, deteção de objectos em tempo real, deteção de objectos baseada em Vision Transformers, modelos pré-treinados PaddlePaddle RT-DETR , utilização de RT-DETR da Baidu, Ultralytics Python API



Criado em 2023-11-12, Atualizado em 2024-01-16
Autores: glenn-jocher (7)

Coment√°rios