바이두( RT-DETR): 비전 트랜스포머 기반 실시간 물체 감지기

개요

바이두에서 개발한 실시간 감지 트랜스포머(RT-DETR)는 높은 정확도를 유지하면서 실시간 성능을 제공하는 최첨단 엔드투엔드 객체 감지기입니다. 비전 트랜스포머(ViT)의 성능을 활용하여 규모 내 상호 작용과 규모 간 융합을 분리함으로써 멀티스케일 특징을 효율적으로 처리합니다. RT-DETR )는 적응력이 뛰어나 재교육 없이 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있도록 지원합니다. 이 모델은 CUDA( TensorRT)와 같은 가속화된 백엔드에서 다른 많은 실시간 객체 검출기보다 뛰어난 성능을 발휘합니다.

Watch: 실시간 감지 트랜스포머 (RT-DETR)

바이두의 개요 RT-DETR. RT-DETR 모델 아키텍처 다이어그램은 인코더에 대한 입력으로 백본의 마지막 세 단계 {S3, S4, S5}를 보여줍니다. 효율적인 하이브리드 인코더는 스케일 내 특징 상호 작용(AIFI)과 스케일 간 특징 융합 모듈(CCFM)을 통해 멀티스케일 특징을 이미지 특징 시퀀스로 변환합니다. IoU 인식 쿼리 선택은 디코더의 초기 오브젝트 쿼리로 사용할 고정된 수의 이미지 특징을 선택하는 데 사용됩니다. 마지막으로, 보조 예측 헤드가 있는 디코더는 객체 쿼리를 반복적으로 최적화하여 박스 및 신뢰 점수(출처).

주요 기능

• 효율적인 하이브리드 인코더: 바이두의 RT-DETR 는 효율적인 하이브리드 인코더를 사용하여 스케일 내 상호 작용과 스케일 간 융합을 분리하여 멀티스케일 기능을 처리합니다. 이 독특한 비전 트랜스포머 기반 설계는 계산 비용을 절감하고 실시간 물체 감지를 가능하게 합니다.
• IoU 인식 쿼리 선택: Baidu의 RT-DETR 는 IoU 인식 쿼리 선택을 활용하여 객체 쿼리 초기화를 개선합니다. 이를 통해 모델이 장면에서 가장 관련성이 높은 객체에 집중하여 감지 정확도를 높일 수 있습니다.
• 적응형 추론 속도: 바이두의 RT-DETR 는 재교육 없이도 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있도록 지원합니다. 이러한 적응성 덕분에 다양한 실시간 객체 감지 시나리오에서 실제 적용이 용이합니다.

사전 학습된 모델

Ultralytics Python API는 다양한 스케일로 사전 학습된 PaddlePaddle RT-DETR 모델을 제공합니다:

• RT-DETR-L: COCO val2017에서 53.0% AP, T4 GPU에서 114 FPS
• RT-DETR-X: COCO val2017에서 54.8% AP, T4 GPU에서 74 FPS

사용 예

이 예는 간단한 RT-DETR 학습 및 추론 예제를 제공합니다. 이러한 모드 및 기타 모드에 대한 전체 설명서는 예측, 학습, Val 및 내보내기 문서 페이지를 참조하세요.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR('rtdetr-l.pt')

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data='coco8.yaml', epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model('path/to/bus.jpg')

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

지원되는 작업 및 모드

이 표에는 모델 유형, 사전 학습된 특정 가중치, 각 모델이 지원하는 작업 및 지원되는 다양한 모드(학습, Val, 예측, 내보내기)가 ✅ 이모티콘으로 표시되어 있습니다.

인용 및 감사

연구 또는 개발 작업에 Baidu의 RT-DETR 을 사용하는 경우 원본 논문을 인용해 주세요:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

컴퓨터 비전 커뮤니티의 귀중한 리소스를 제작하고 유지 관리해 주신 Baidu와 PaddlePaddle 컴퓨터 비전 커뮤니티를 위해 이 귀중한 리소스를 만들고 유지 관리해 주신 팀에게 감사의 말씀을 전합니다. 비전 트랜스포머 기반 실시간 물체 감지기( RT-DETR)를 개발하여 이 분야에 기여한 그들의 노고에 깊은 감사를 표합니다.

키워드: RT-DETR, 트랜스포머, ViT, 비전 트랜스포머, 바이두 RT-DETR, PaddlePaddle, 패들 패들 RT-DETR, 실시간 물체 감지, 비전 트랜스포머 기반 물체 감지, 사전 학습된 PaddlePaddle RT-DETR 모델, 바이두의 RT-DETR 사용법, Ultralytics Python API

댓글