Baidu's RT-DETR: A Vision Transformer-Based Real-Time Object Detector

개요

Real-Time Detection Transformer (RT-DETR), developed by Baidu, is a cutting-edge end-to-end object detector that provides real-time performance while maintaining high accuracy. It is based on the idea of DETR (the NMS-free framework), meanwhile introducing conv-based backbone and an efficient hybrid encoder to gain real-time speed. RT-DETR efficiently processes multiscale features by decoupling intra-scale interaction and cross-scale fusion. The model is highly adaptable, supporting flexible adjustment of inference speed using different decoder layers without retraining. RT-DETR excels on accelerated backends like CUDA with TensorRT, outperforming many other real-time object detectors.

Watch: 실시간 감지 트랜스포머 (RT-DETR)

바이두의 개요 RT-DETR. RT-DETR 모델 아키텍처 다이어그램은 인코더에 대한 입력으로 백본의 마지막 세 단계 {S3, S4, S5}를 보여줍니다. 효율적인 하이브리드 인코더는 스케일 내 특징 상호 작용(AIFI)과 스케일 간 특징 융합 모듈(CCFM)을 통해 멀티스케일 특징을 이미지 특징 시퀀스로 변환합니다. IoU 인식 쿼리 선택은 디코더의 초기 오브젝트 쿼리로 사용할 고정된 수의 이미지 특징을 선택하는 데 사용됩니다. 마지막으로, 보조 예측 헤드가 있는 디코더는 객체 쿼리를 반복적으로 최적화하여 박스 및 신뢰 점수(출처).

주요 기능

• Efficient Hybrid Encoder: Baidu's RT-DETR uses an efficient hybrid encoder that processes multiscale features by decoupling intra-scale interaction and cross-scale fusion. This unique Vision Transformers-based design reduces computational costs and allows for real-time object detection.
• IoU 인식 쿼리 선택: Baidu의 RT-DETR 는 IoU 인식 쿼리 선택을 활용하여 객체 쿼리 초기화를 개선합니다. 이를 통해 모델이 장면에서 가장 관련성이 높은 객체에 집중하여 감지 정확도를 높일 수 있습니다.
• 적응형 추론 속도: 바이두의 RT-DETR 는 재교육 없이도 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있도록 지원합니다. 이러한 적응성 덕분에 다양한 실시간 객체 감지 시나리오에서 실제 적용이 용이합니다.

사전 학습된 모델

Ultralytics Python API는 다양한 스케일로 사전 학습된 PaddlePaddle RT-DETR 모델을 제공합니다:

• RT-DETR-L: COCO val2017에서 53.0% AP, T4에서 114 FPS GPU
• RT-DETR-X: COCO val2017에서 54.8% AP, T4에서 74 FPS GPU

사용 예

이 예는 간단한 RT-DETR 학습 및 추론 예제를 제공합니다. 이러한 모드 및 기타 모드에 대한 전체 설명서는 예측, 학습, Val 및 내보내기 문서 페이지를 참조하세요.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

지원되는 작업 및 모드

이 표에는 모델 유형, 사전 학습된 특정 가중치, 각 모델이 지원하는 작업 및 지원되는 다양한 모드(학습, Val, 예측, 내보내기)가 ✅ 이모티콘으로 표시되어 있습니다.

인용 및 감사

연구 또는 개발 작업에 Baidu의 RT-DETR 을 사용하는 경우 원본 논문을 인용해 주세요:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

We would like to acknowledge Baidu and the PaddlePaddle team for creating and maintaining this valuable resource for the computer vision community. Their contribution to the field with the development of the Vision Transformers-based real-time object detector, RT-DETR, is greatly appreciated.

자주 묻는 질문

바이두의 RT-DETR 모델이란 무엇이며 어떻게 작동하나요?

바이두의 RT-DETR (실시간 감지 트랜스포머)는 비전 트랜스포머 아키텍처를 기반으로 구축된 고급 실시간 물체 감지기입니다. 효율적인 하이브리드 인코더를 통해 스케일 내 상호 작용과 스케일 간 융합을 분리하여 멀티스케일 기능을 효율적으로 처리합니다. 이 모델은 IoU 인식 쿼리 선택을 사용하여 가장 관련성이 높은 객체에 집중함으로써 감지 정확도를 높입니다. 재교육 없이 디코더 레이어를 조정하여 추론 속도를 조정할 수 있으므로 RT-DETR 다양한 실시간 객체 감지 시나리오에 적합합니다. RT-DETR 기능에 대해 자세히 알아보세요.

Ultralytics 에서 제공하는 사전 학습된 RT-DETR 모델을 사용하려면 어떻게 해야 하나요?

Ultralytics Python API를 활용하여 사전 학습된 PaddlePaddle RT-DETR 모델을 사용할 수 있습니다. 예를 들어, COCO val2017에서 사전 학습된 RT-DETR-l 모델을 로드하고 T4 GPU 에서 높은 FPS를 달성하려면 다음 예제를 활용할 수 있습니다:

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

다른 실시간 물체 감지기가 아닌 Baidu의 RT-DETR 을 선택해야 하는 이유는 무엇인가요?

바이두의 RT-DETR 는 효율적인 하이브리드 인코더와 IoU 인식 쿼리 선택으로 높은 정확도를 유지하면서 계산 비용을 대폭 절감할 수 있는 점이 돋보입니다. 재교육 없이 다양한 디코더 레이어를 사용하여 추론 속도를 조정할 수 있는 고유한 기능으로 상당한 유연성을 제공합니다. 따라서 CUDA 와 같은 가속화된 백엔드에서 실시간 성능이 필요한 애플리케이션에 특히 유리하며, 다른 많은 실시간 객체 탐지기를 능가하는 TensorRT 을 제공합니다.

RT-DETR 은 다양한 실시간 애플리케이션에 적합한 추론 속도를 어떻게 지원하나요?

Baidu's RT-DETR allows flexible adjustments of inference speed by using different decoder layers without requiring retraining. This adaptability is crucial for scaling performance across various real-time object detection tasks. Whether you need faster processing for lower precision needs or slower, more accurate detections, RT-DETR can be tailored to meet your specific requirements.

RT-DETR 모델을 교육, 유효성 검사 및 내보내기와 같은 다른 Ultralytics 모드와 함께 사용할 수 있나요?

예, RT-DETR 모델은 학습, 검증, 예측, 내보내기 등 다양한 Ultralytics 모드와 호환됩니다. 이러한 모드를 활용하는 방법에 대한 자세한 지침은 각 설명서를 참조하세요: 훈련, Val, 예측 및 내보내기. 이를 통해 객체 감지 솔루션 개발 및 배포를 위한 포괄적인 워크플로우를 보장합니다.

📅 Created 11 months ago ✏️ Updated 18 days ago

댓글