바이두( RT-DETR): 비전 트랜스포머 기반 실시간 물체 감지기

개요

바이두가 개발한 실시간 감지 트랜스포머(RT-DETR)는 높은 정확도를 유지하면서 실시간 성능을 제공하는 최첨단 엔드투엔드 객체 감지기입니다. 실시간 속도를 높이기 위해 컨버팅 기반 백본과 효율적인 하이브리드 인코더를 도입하는 한편, NMS가 필요 없는 프레임워크인 DETR의 아이디어를 기반으로 합니다. RT-DETR )는 규모 내 상호 작용과 규모 간 융합을 분리하여 멀티스케일 기능을 효율적으로 처리합니다. 이 모델은 적응력이 뛰어나 재학습 없이 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있습니다. RT-DETR 은 CUDA 과 같은 가속화된 백엔드에서 다른 많은 실시간 객체 감지기보다 뛰어난 성능을 발휘합니다( TensorRT).

Watch: 실시간 감지 트랜스포머 (RT-DETR)

바이두의 개요 RT-DETR. RT-DETR 모델 아키텍처 다이어그램은 인코더에 대한 입력으로 백본의 마지막 세 단계 {S3, S4, S5}를 보여줍니다. 효율적인 하이브리드 인코더는 스케일 내 특징 상호 작용(AIFI)과 스케일 간 특징 융합 모듈(CCFM)을 통해 멀티스케일 특징을 이미지 특징 시퀀스로 변환합니다. IoU 인식 쿼리 선택은 디코더의 초기 오브젝트 쿼리로 사용할 고정된 수의 이미지 특징을 선택하는 데 사용됩니다. 마지막으로, 보조 예측 헤드가 있는 디코더는 객체 쿼리를 반복적으로 최적화하여 박스 및 신뢰 점수(출처).

주요 기능

• 효율적인 하이브리드 인코더: 바이두의 RT-DETR 는 효율적인 하이브리드 인코더를 사용하여 스케일 내 상호 작용과 스케일 간 융합을 분리하여 멀티스케일 기능을 처리합니다. 이 독특한 비전 트랜스포머 기반 설계는 계산 비용을 절감하고 실시간 물체 감지를 가능하게 합니다.
• IoU 인식 쿼리 선택: Baidu의 RT-DETR 는 IoU 인식 쿼리 선택을 활용하여 객체 쿼리 초기화를 개선합니다. 이를 통해 모델이 장면에서 가장 관련성이 높은 객체에 집중하여 감지 정확도를 높일 수 있습니다.
• 적응형 추론 속도: 바이두의 RT-DETR 는 재교육 없이도 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있도록 지원합니다. 이러한 적응성 덕분에 다양한 실시간 객체 감지 시나리오에서 실제 적용이 용이합니다.

사전 학습된 모델

Ultralytics Python API는 다양한 스케일로 사전 학습된 PaddlePaddle RT-DETR 모델을 제공합니다:

• RT-DETR-L: COCO val2017에서 53.0% AP, T4에서 114 FPS GPU
• RT-DETR-X: COCO val2017에서 54.8% AP, T4에서 74 FPS GPU

사용 예

이 예는 간단한 RT-DETR 학습 및 추론 예제를 제공합니다. 이러한 모드 및 기타 모드에 대한 전체 설명서는 예측, 학습, Val 및 내보내기 문서 페이지를 참조하세요.

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

지원되는 작업 및 모드

이 표에는 모델 유형, 사전 학습된 특정 가중치, 각 모델이 지원하는 작업 및 지원되는 다양한 모드(학습, Val, 예측, 내보내기)가 ✅ 이모티콘으로 표시되어 있습니다.

인용 및 감사

연구 또는 개발 작업에 Baidu의 RT-DETR 을 사용하는 경우 원본 논문을 인용해 주세요:

@misc{lv2023detrs,
      title={DETRs Beat YOLOs on Real-time Object Detection},
      author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
      year={2023},
      eprint={2304.08069},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

컴퓨터 비전 커뮤니티의 귀중한 리소스를 제작하고 유지 관리해 주신 Baidu와 PaddlePaddle 컴퓨터 비전 커뮤니티를 위해 이 귀중한 리소스를 만들고 유지 관리해 주신 팀에게 감사의 말씀을 전합니다. 비전 트랜스포머 기반 실시간 물체 감지기( RT-DETR)를 개발하여 이 분야에 기여한 그들의 노고에 깊은 감사를 표합니다.

자주 묻는 질문

바이두의 RT-DETR 모델이란 무엇이며 어떻게 작동하나요?

바이두의 RT-DETR (실시간 감지 트랜스포머)는 비전 트랜스포머 아키텍처를 기반으로 구축된 고급 실시간 물체 감지기입니다. 효율적인 하이브리드 인코더를 통해 스케일 내 상호 작용과 스케일 간 융합을 분리하여 멀티스케일 기능을 효율적으로 처리합니다. 이 모델은 IoU 인식 쿼리 선택을 사용하여 가장 관련성이 높은 객체에 집중함으로써 감지 정확도를 높입니다. 재교육 없이 디코더 레이어를 조정하여 추론 속도를 조정할 수 있으므로 RT-DETR 다양한 실시간 객체 감지 시나리오에 적합합니다. RT-DETR 기능에 대해 자세히 알아보세요.

Ultralytics 에서 제공하는 사전 학습된 RT-DETR 모델을 사용하려면 어떻게 해야 하나요?

Ultralytics Python API를 활용하여 사전 학습된 PaddlePaddle RT-DETR 모델을 사용할 수 있습니다. 예를 들어, COCO val2017에서 사전 학습된 RT-DETR-l 모델을 로드하고 T4 GPU 에서 높은 FPS를 달성하려면 다음 예제를 활용할 수 있습니다:

from ultralytics import RTDETR

# Load a COCO-pretrained RT-DETR-l model
model = RTDETR("rtdetr-l.pt")

# Display model information (optional)
model.info()

# Train the model on the COCO8 example dataset for 100 epochs
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Run inference with the RT-DETR-l model on the 'bus.jpg' image
results = model("path/to/bus.jpg")

# Load a COCO-pretrained RT-DETR-l model and train it on the COCO8 example dataset for 100 epochs
yolo train model=rtdetr-l.pt data=coco8.yaml epochs=100 imgsz=640

# Load a COCO-pretrained RT-DETR-l model and run inference on the 'bus.jpg' image
yolo predict model=rtdetr-l.pt source=path/to/bus.jpg

다른 실시간 물체 감지기가 아닌 Baidu의 RT-DETR 을 선택해야 하는 이유는 무엇인가요?

바이두의 RT-DETR 는 효율적인 하이브리드 인코더와 IoU 인식 쿼리 선택으로 높은 정확도를 유지하면서 계산 비용을 대폭 절감할 수 있는 점이 돋보입니다. 재교육 없이 다양한 디코더 레이어를 사용하여 추론 속도를 조정할 수 있는 고유한 기능으로 상당한 유연성을 제공합니다. 따라서 CUDA 와 같은 가속화된 백엔드에서 실시간 성능이 필요한 애플리케이션에 특히 유리하며, 다른 많은 실시간 객체 탐지기를 능가하는 TensorRT 을 제공합니다.

RT-DETR 은 다양한 실시간 애플리케이션에 적합한 추론 속도를 어떻게 지원하나요?

바이두의 RT-DETR 에서는 재교육 없이도 다양한 디코더 레이어를 사용하여 추론 속도를 유연하게 조정할 수 있습니다. 이러한 적응성은 다양한 실시간 객체 감지 작업에서 성능을 확장하는 데 매우 중요합니다. 낮은 정밀도를 위해 더 빠른 처리가 필요하든, 더 느리고 정확한 감지가 필요하든, RT-DETR 은 특정 요구 사항을 충족하도록 맞춤화할 수 있습니다.

RT-DETR 모델을 교육, 유효성 검사 및 내보내기와 같은 다른 Ultralytics 모드와 함께 사용할 수 있나요?

예, RT-DETR 모델은 학습, 검증, 예측, 내보내기 등 다양한 Ultralytics 모드와 호환됩니다. 이러한 모드를 활용하는 방법에 대한 자세한 지침은 각 설명서를 참조하세요: 훈련, Val, 예측 및 내보내기. 이를 통해 객체 감지 솔루션 개발 및 배포를 위한 포괄적인 워크플로우를 보장합니다.

댓글