RT-DETR da Baidu: um detetor de objetos em tempo real baseado em Transformer visual#

Visão geral#

O Transformer de deteção em tempo real (RT-DETR), desenvolvido pela Baidu, é um detetor de objetos avançado, de ponta a ponta, que oferece desempenho em tempo real mantendo uma elevada precisão. Baseia-se na ideia do DETR (a estrutura sem NMS) e, ao mesmo tempo, introduz uma rede base baseada em convoluções e um codificador híbrido eficiente para alcançar velocidade em tempo real. O RT-DETR processa eficientemente características multiescala ao separar a interação intrasescala da fusão entre escalas. O modelo é altamente adaptável e permite ajustar flexivelmente a velocidade de inferência usando diferentes camadas do descodificador, sem necessidade de novo treino. O RT-DETR tem um desempenho excelente em backends acelerados, como CUDA com TensorRT, superando muitos outros detetores de objetos em tempo real.

Visão geral do RT-DETR da Baidu. O diagrama da arquitetura do modelo RT-DETR mostra as três últimas etapas da rede base {S3, S4, S5} como entrada do codificador. O codificador híbrido eficiente transforma características multiescala numa sequência de características de imagem através da interação de características intrasescala (AIFI) e do módulo de fusão de características entre escalas (CCFM). A seleção de consultas ciente de IoU é usada para selecionar um número fixo de características de imagem que servirão como consultas de objetos iniciais para o descodificador. Por fim, o descodificador, com cabeças de predição auxiliares, otimiza iterativamente as consultas de objetos para gerar caixas e pontuações de confiança (fonte).

Principais funcionalidades#

• Codificador híbrido eficiente: o RT-DETR da Baidu usa um codificador híbrido eficiente que processa características multiescala ao separar a interação intrasescala da fusão entre escalas. Este design exclusivo baseado em Vision Transformers reduz os custos computacionais e permite a deteção de objetos em tempo real.
• Seleção de consultas ciente de IoU: o RT-DETR da Baidu melhora a inicialização das consultas de objetos recorrendo à seleção de consultas ciente de IoU. Isto permite que o modelo se concentre nos objetos mais relevantes da cena, aumentando a precisão da deteção.
• Velocidade de inferência adaptável: o RT-DETR da Baidu permite ajustar flexivelmente a velocidade de inferência usando diferentes camadas do descodificador, sem necessidade de novo treino. Esta adaptabilidade facilita a aplicação prática em vários cenários de deteção de objetos em tempo real.
• Estrutura sem NMS: baseado em DETR, o RT-DETR elimina a necessidade de pós-processamento de supressão não máxima, simplificando o pipeline de deteção e podendo melhorar a eficiência.
• Deteção sem âncoras: como detetor sem âncoras, o RT-DETR simplifica o processo de deteção e pode melhorar a generalização entre diferentes conjuntos de dados.

Modelos pré-treinados#

A API Python da Ultralytics disponibiliza modelos RT-DETR pré-treinados com PaddlePaddle em diferentes escalas:

• RT-DETR-L: 53,0% AP em COCO val2017, 114 FPS numa GPU T4
• RT-DETR-X: 54,8% AP em COCO val2017, 74 FPS numa GPU T4

Além disso, a Baidu lançou o RTDETRv2 em julho de 2024, que melhora ainda mais a arquitetura original, com métricas de desempenho superiores.

Exemplos de uso#

Este exemplo apresenta exemplos simples de treino e inferência com RT-DETR. Para a documentação completa sobre estes e outros modos, consulta as páginas de documentação Prever, Treinar, Validar e Exportar. Também podes treinar modelos em GPUs na nuvem através da Plataforma Ultralytics.

from ultralytics import RTDETR

# Carrega um modelo RT-DETR-l pré-treinado em COCO
model = RTDETR("rtdetr-l.pt")

# Exibir informações do modelo (opcional)
model.info()

# Treina o modelo no conjunto de dados de exemplo COCO8 durante 100 épocas
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Executa a inferência com o modelo RT-DETR-l na imagem 'bus.jpg'
results = model("path/to/bus.jpg")

from ultralytics import RTDETR

rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]

# Escolhe uma ou ambas as definições depois de validares o compromisso entre velocidade e precisão.
head.decoder.eval_idx = 3  # Usa 4 das 6 camadas do descodificador.
head.num_queries = 100  # Usa menos consultas de objetos.

results = rtdetr("path/to/image.jpg")

# A exportação usa as mesmas definições do descodificador e das consultas, incluindo nas exportações TensorRT.
rtdetr.export(format="engine", device=0, quantize=16)

Tarefas e modos compatíveis#

Esta tabela apresenta os tipos de modelos, os pesos pré-treinados específicos, as tarefas compatíveis com cada modelo e os vários modos (Treinar, Validar, Prever, Exportar) compatíveis, assinalados com emojis ✅.

Casos de utilização ideais#

O RT-DETR é especialmente adequado para aplicações que exigem elevada precisão e desempenho em tempo real:

• Condução autónoma: para uma perceção fiável do ambiente em sistemas de condução autónoma, nos quais a velocidade e a precisão são fundamentais. Sabe mais sobre IA em carros autónomos.
• Robótica avançada: permite que os robôs executem tarefas complexas que exigem reconhecimento preciso de objetos e interação em ambientes dinâmicos. Explora o papel da IA na robótica.
• Imagiologia médica: para aplicações na área da saúde em que a precisão da deteção de objetos pode ser crucial para o diagnóstico. Descobre a IA na área da saúde.
• Sistemas de vigilância: para aplicações de segurança que exigem monitorização em tempo real com elevada precisão de deteção. Sabe mais sobre sistemas de alarme de segurança.
• Análise de imagens de satélite: para a análise detalhada de imagens de alta resolução, em que é importante compreender o contexto global. Lê sobre visão computacional em imagens de satélite.

Citações e agradecimentos#

Se usares o RT-DETR da Baidu no teu trabalho de investigação ou desenvolvimento, cita o artigo original:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Para RTDETRv2, podes citar o artigo de 2024:

@misc{lv2024rtdetrv2,
      title={RTDETRv2: All-in-One Detection Transformer Beats YOLO and DINO},
      author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
      year={2024},
      eprint={2407.17140},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Gostaríamos de agradecer à Baidu e à equipa PaddlePaddle por criarem e manterem este recurso valioso para a comunidade de visão computacional. Agradecemos imenso o contributo da equipa para a área, com o desenvolvimento do detetor de objetos em tempo real baseado em Vision Transformers, RT-DETR.

Perguntas frequentes#