Baidu의 RT-DETR: Vision Transformer 기반 실시간 객체 검출기
개요#
Baidu가 개발한 실시간 검출 Transformer(RT-DETR)는 높은 정확도를 유지하면서 실시간 성능을 제공하는 엔드투엔드 객체 검출기입니다. NMS가 필요 없는 Transformer 검출 프레임워크인 DETR를 기반으로 합성곱 백본과 효율적인 하이브리드 인코더를 추가해 실시간 속도를 구현합니다. RT-DETR은 스케일 내 상호작용과 스케일 간 융합을 분리해 다중 스케일 특징을 효율적으로 처리합니다. 재학습 없이 서로 다른 디코더 레이어를 사용해 추론 속도를 유연하게 조정할 수 있어 적응성이 뛰어납니다. RT-DETR은 CUDA 및 TensorRT와 같은 가속 백엔드에서 최상의 성능을 발휘합니다.
시청: 객체 검출에 Baidu의 RT-DETR 사용하기 | Ultralytics로 추론 및 벤치마킹
Baidu RT-DETR 개요. RT-DETR 모델 아키텍처 다이어그램은 백본의 마지막 세 단계 {S3, S4, S5}가 인코더의 입력으로 사용되는 모습을 보여줍니다. 효율적인 하이브리드 인코더는 스케일 내 특징 상호작용(AIFI)과 스케일 간 특징 융합 모듈(CCFM)을 통해 멀티스케일 특징을 이미지 특징 시퀀스로 변환합니다. IoU 인식 쿼리 선택을 사용해 디코더의 초기 객체 쿼리로 사용할 고정 개수의 이미지 특징을 선택합니다. 마지막으로, 보조 예측 헤드가 있는 디코더는 객체 쿼리를 반복적으로 최적화하여 박스와 신뢰도 점수를 생성합니다(출처).
주요 기능#
- 효율적인 하이브리드 인코더: Baidu의 RT-DETR은 스케일 내 상호작용과 스케일 간 융합을 분리해 다중 스케일 특징을 처리하는 효율적인 하이브리드 인코더를 사용합니다. 이 Transformer 기반 설계는 연산 비용을 줄이고 실시간 객체 검출을 지원합니다.
- IoU 인식 쿼리 선택: Baidu의 RT-DETR은 IoU 인식 쿼리 선택을 통해 객체 쿼리 초기화를 개선합니다. 이를 통해 모델은 장면에서 가장 관련성 높은 객체에 집중하여 검출 정확도를 높입니다.
- 유연한 추론 속도: Baidu의 RT-DETR은 재학습할 필요 없이 서로 다른 디코더 레이어를 사용해 추론 속도를 유연하게 조정할 수 있습니다. 이러한 적응성은 다양한 실시간 객체 탐지 시나리오에서 실제 적용을 용이하게 합니다.
- NMS가 필요 없는 프레임워크: DETR을 기반으로 하는 RT-DETR은 비최대 억제 후처리가 필요하지 않아 탐지 파이프라인을 단순화하고 효율성을 높일 수 있습니다.
- 앵커가 필요 없는 탐지: 앵커 프리 탐지기인 RT-DETR은 탐지 과정을 단순화하고 다양한 데이터셋에 대한 일반화 성능을 향상할 수 있습니다.
사전 학습 모델#
Ultralytics Python API는 서로 다른 스케일의 사전 학습된 PaddlePaddle RT-DETR 모델을 제공합니다.
- RT-DETR-L: COCO val2017에서 AP 53.0%, T4 GPU에서 114 FPS
- RT-DETR-X: COCO val2017에서 AP 54.8%, T4 GPU에서 74 FPS
Baidu는 2024년 7월 RTDETRv2를 출시했으며, 이 모델은 원래 아키텍처를 한층 개선했습니다.
사용 예시#
아래 예시에서는 RT-DETR의 간단한 학습 및 추론 방법을 보여 줍니다. Ultralytics Platform을 통해 클라우드 GPU에서 모델을 학습할 수도 있습니다.
from ultralytics import RTDETR
# COCO로 사전 학습된 RT-DETR-l 모델 로드
model = RTDETR("rtdetr-l.pt")
# 모델 정보 표시(선택 사항)
model.info()
# COCO8 예제 데이터셋으로 100 에포크 동안 모델 학습
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 'bus.jpg' 이미지에서 RT-DETR-l 모델로 추론 실행
results = model("path/to/bus.jpg")PyTorch 2.0 이상 버전으로 CUDA에서 RT-DETR을 학습할 때 deterministic=False을 설정하세요. 변형 어텐션은 결정론적 CUDA 역전파를 지원하지 않는 F.grid_sample을 사용하므로, deterministic=True로 실행을 재현할 수 없으며 학습 처리량이 감소할 수 있습니다. seed은 가중치 초기화, 데이터 순서, 증강 샘플링을 계속 제어합니다.
RT-DETR 사전 학습 가중치는 재학습 없이 지연 시간을 줄이기 위해 추론 시 다음 두 가지 설정을 지원합니다.
eval_idx: 디코딩을 조기에 중단합니다. 기본 6개 레이어 디코더에서는 0부터 시작하는 인덱스(0–5)를 사용합니다.eval_idx=5은 모든 레이어를 사용하고eval_idx=3는 4개 레이어를 사용합니다. TensorRT v10.11을 사용하는 T4 GPU에서 RT-DETR-L은 8.0ms / 52.7 mAP에서 4개 레이어 사용 시 7.4ms / 52.5 mAP로 개선됩니다.num_queries: 객체 쿼리 수를 줄입니다(기본값: 300). 동일한 설정에서 값을 100으로 낮추면 COCO에서 7.4ms / 51.7 mAP를 달성할 수 있습니다. 이미지당 객체 수가 더 적은 데이터셋에서는 일반적으로 mAP 하락 폭이 더 작지만, 값을 이미지당 예상되는 최대 객체 수보다 높게 설정해야 합니다.
두 설정 모두 mAP를 낮출 수 있으므로 배포 전에 데이터셋에서 절충점을 검증하세요.
from ultralytics import RTDETR
rtdetr = RTDETR("rtdetr-l.pt")
head = rtdetr.model.model[-1]
# 속도와 정확도 간의 절충점을 검증한 후 설정을 하나 또는 모두 선택하세요.
head.decoder.eval_idx = 3 # 디코더 레이어 6개 중 4개를 사용합니다.
head.num_queries = 100 # 객체 쿼리 수를 줄입니다.
results = rtdetr("path/to/image.jpg")
# 내보내기 시 TensorRT 내보내기를 포함해 동일한 디코더 및 쿼리 설정이 적용됩니다.
rtdetr.export(format="engine", device=0, quantize=16)지원 작업 및 모드#
이 표에는 모델 유형, 해당 모델의 사전 학습된 가중치, 각 모델이 지원하는 작업 및 ✅ 이모지로 표시된 지원 모드(Train, Val, Predict, Export)가 나와 있습니다.
| 모델 유형 | 사전 학습 가중치 | 지원 작업 | 학습 | 검증 | 추론 | 내보내기 |
|---|---|---|---|---|---|---|
| RT-DETR 대형 | rtdetr-l.pt | 객체 탐지 | ✅ | ✅ | ✅ | ✅ |
| RT-DETR 초대형 | rtdetr-x.pt | 객체 탐지 | ✅ | ✅ | ✅ | ✅ |
rtdetr-resnet50.yaml 및 rtdetr-resnet101.yaml은 YAML 아키텍처만 제공됩니다. Ultralytics는 rtdetr-l 및 rtdetr-x의 사전 학습 가중치만 공개합니다. YAML에서 ResNet 변형을 인스턴스화한 다음(예: RTDETR("rtdetr-resnet50.yaml")) 필요에 따라 학습하거나 파인튜닝하세요.
적합한 사용 사례#
RT-DETR은 높은 정확도와 실시간 성능을 모두 요구하는 애플리케이션에 특히 적합합니다.
- 자율 주행: 속도와 정확도가 모두 중요한 자율 주행 시스템에서 신뢰할 수 있는 환경 인식을 지원합니다.
- 고급 로봇공학: 역동적인 환경에서 정확한 객체 인식과 상호작용이 필요한 복잡한 작업을 로봇이 수행하도록 지원합니다.
- 의료 영상: 객체 검출의 정밀도가 진단에 중요할 수 있는 의료 분야의 애플리케이션에 활용됩니다.
- 감시 시스템: 높은 탐지 정확도로 실시간 모니터링을 수행해야 하는 보안 애플리케이션에 적합합니다. 보안 경보 시스템 알아보기.
- 위성 이미지 분석: 전역 맥락 이해가 중요한 고해상도 이미지의 상세 분석에 적합합니다. 위성 이미지 컴퓨터 비전에 관한 글 읽기.
인용 및 감사의 글#
연구 또는 개발 작업에서 Baidu의 RT-DETR을 사용하는 경우 원본 논문을 인용해 주세요.
@misc{lv2023detrs,
title={DETRs Beat YOLOs on Real-time Object Detection},
author={Wenyu Lv and Shangliang Xu and Yian Zhao and Guanzhong Wang and Jinman Wei and Cheng Cui and Yuning Du and Qingqing Dang and Yi Liu},
year={2023},
eprint={2304.08069},
archivePrefix={arXiv},
primaryClass={cs.CV}
}RTDETRv2의 경우 2024년 논문을 인용할 수 있습니다.
@misc{lv2024rtdetrv2,
title={RT-DETRv2: Improved Baseline with Bag-of-Freebies for Real-Time Detection Transformer},
author={Wenyu Lv and Yian Zhao and Qinyao Chang and Kui Huang and Guanzhong Wang and Yi Liu},
year={2024},
eprint={2407.17140},
archivePrefix={arXiv},
primaryClass={cs.CV}
}이 유용한 리소스를 컴퓨터 비전 커뮤니티를 위해 만들고 유지 관리해 주신 Baidu와 PaddlePaddle 팀에 감사드립니다. Transformer 기반 실시간 객체 검출기 RT-DETR을 개발해 주신 데 깊이 감사드립니다.
자주 묻는 질문#
Baidu의 RT-DETR(실시간 탐지 Transformer)은 실시간 Transformer 기반 객체 탐지기입니다. 효율적인 하이브리드 인코더를 통해 동일 스케일 내 상호작용과 스케일 간 융합을 분리하여 멀티스케일 특징을 효율적으로 처리합니다. IoU 인식 쿼리 선택을 적용해 가장 관련성 높은 객체에 집중함으로써 탐지 정확도를 높입니다. 재학습 없이 디코더 레이어를 조정해 추론 속도를 변경할 수 있으므로 RT-DETR은 다양한 실시간 객체 탐지 시나리오에 적합합니다.
Ultralytics Python API를 사용해 사전 학습된 PaddlePaddle RT-DETR 모델을 로드하세요. 예를 들어 COCO로 사전 학습된 RT-DETR-l 모델을 로드하고 파인튜닝한 다음 추론을 실행하려면 다음과 같이 합니다:
예제from ultralytics import RTDETR # COCO로 사전 학습된 RT-DETR-l 모델 로드 model = RTDETR("rtdetr-l.pt") # 모델 정보 표시(선택 사항) model.info() # COCO8 예제 데이터셋으로 100 에포크 동안 모델 학습 results = model.train(data="coco8.yaml", epochs=100, imgsz=640) # 'bus.jpg' 이미지에서 RT-DETR-l 모델로 추론 실행 results = model("path/to/bus.jpg")Baidu의 RT-DETR은 효율적인 하이브리드 인코더와 IoU 인식 쿼리 선택을 결합해 높은 정확도를 유지하면서 연산 비용을 줄입니다. 재학습 없이 서로 다른 디코더 레이어를 사용해 추론 속도를 조정할 수 있어 유연성이 높으며, CUDA와 TensorRT 같은 가속 백엔드에서 실시간 애플리케이션을 실행할 때 유용합니다. 또한 Transformer 아키텍처는 기존 CNN 기반 검출기보다 더 많은 전역 컨텍스트를 포착합니다.
Baidu의 RT-DETR은 재학습 없이 서로 다른 디코더 레이어를 사용해 추론 속도를 유연하게 조정할 수 있습니다. 따라서 실시간 객체 검출 작업에서 속도와 정확도의 균형을 조절할 수 있습니다. 디코더 레이어를 적게 사용하면 정확도가 약간 낮아지는 대신 더 빠르게 처리하고, 모든 레이어를 사용하면 가장 정확하게 검출할 수 있습니다. 이 기능은 연산 성능이 서로 다른 디바이스에 모델을 배포할 때 특히 유용합니다.
아니요. RT-DETR에서
max_det은 추론 후 반환되는 예측 수를 제한하지만, 디코더가 생성하는 객체 쿼리 수를 늘리지는 않습니다. Ultralytics의 RT-DETR 사전 학습 체크포인트는 객체 쿼리 300개를 사용하므로max_det을 더 큰 값으로 설정해도 이미지당 300개가 넘는 탐지 결과를 반환할 수 없습니다.더 적은 수의 고신뢰도 예측만 필요한 경우
max_det을 사용해 반환되는 탐지 결과를 줄일 수 있습니다(예:max_det=100). 데이터셋에 이미지당 300개가 넘는 객체가 포함될 수 있다면 모델 YAML에서 디코더 쿼리 수(nq)를 늘려 사용자 지정 RT-DETR 모델을 학습하세요. 학습 후 사전 학습 체크포인트에서 이 값을 변경하는 것은 동일한 결과를 내지 않으며, 추가 쿼리를 학습하려면 재학습이 필요합니다.
댓글148
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.
PhucPhamSy
Hi all, Could you please let me know how to use all parameters in the appendix of the original paper, "https://arxiv.org/pdf/2304.08069"? Thanks!
1
Glenn JocherUltralyticsHey there! 👋
We're really glad you're interested in diving deep into the parameters detailed in the original paper. Specifically, for utilizing parameters as mentioned in the RT-DETR paper ("DETRs Beat YOLOs on Real-time Object Detection"), I recommend focusing on the key components such as the Efficient Hybrid Encoder, IoU-aware Query Selection, and adaptability in Inference Speed adjustments that make RT-DETR efficient.
Details on these components can be extrapolated to parameter usage within your model through our Python API. For instance, when initializing the RT-DETR model or adjusting inference speed, you would consider the different scales of pre-trained models available:
from ultralytics import RTDETR # For a larger model with potentially higher accuracy but lower FPS (Frames Per Second) model = RTDETR('rtdetr-l.pt') # For an extra-large model prioritizing accuracy over speed model_x = RTDETR('rtdetr-x.pt')Adjustments for inference speed and applying IoU-aware query selection can directly correlate with your focus during the
.train()or.predict()processes, especially understanding what goes behind each configuration setting in these functions.Unfortunately, we don't provide a direct mapping for every parameter mentioned in the appendix to code-level argument settings as the implementation abstracts many complexities for user convenience and to maintain the API's simplicity. However, understanding the RT-DETR's key features and translating that understanding into practical API usage is a great way to leverage the power of RT-DETR. 😊
For more tailored guidance, always feel free to ask or refer to our official documentation for specific examples and deeper insights.
Happy coding! 🚀
Murat Raimbekovhey @wba-zzu, thanks for raising this.
quick rundown of where things stand:
resnet50 / resnet101 - the architectures are already shipped as yaml configs:
you can build and train them straight from yaml:
from ultralytics import RTDETR model = RTDETR("rtdetr-resnet50.yaml") model.train(data="coco.yaml", epochs=100, imgsz=640)however, ultralytics does not publish pretrained weights for these. the only official rt-detr checkpoints in the ultralytics/assets releases are
rtdetr-l.ptandrtdetr-x.pt, both of which use the hgnetv2 backbone (not resnet). this is also flagged in the model docs under "architecture-only variants".resnet18 - not shipped. there is no
rtdetr-resnet18.yamlin the repo, so a resnet18 variant would need its own yaml and corresponding modules added.loading external pretrained weights: ultralytics builds the model from yaml, so the state_dict keys follow a pattern like
model.<index>.layer.<...>.conv.weight. weights from another implementation will not load directly - they would need a key-mapping / conversion step to match this layout.hope this helps!
Boao Wang想要将原版RT-DETR中的ResNet50和ResNet18以及ResNet101完全移植到Ultralytics,并且获得其预训练模型
995742853
您好,我想请问一下,在哪里有基于rtdetr-resnet50的预训练pt权重,我知道看到rtdetr-l以及x的预训练权重
Glenn JocherUltralytics目前 RT-DETR 文档 里公开提供的 Ultralytics 预训练权重只有
rtdetr-l.pt和rtdetr-x.pt;如果你找的是 ResNet50 版本,建议查看 Baidu 官方的 RT-DETR PyTorch 权重列表,其中提供的是rtdetr_r50vd_*.pth,不是 Ultralytics 直接发布的rtdetr-resnet50.pt,也欢迎直接在这里继续提问,方便 Ultralytics 团队跟进。 (docs.ultralytics.com)995742853
谢谢您的回复
maitianstudio-arch
How to use RT-DETRv2?
Glenn JocherUltralyticsUltralytics currently exposes the original RT-DETR pretrained weights (
rtdetr-l.pt,rtdetr-x.pt) via theRTDETRAPI; RT-DETRv2 pretrained weights/configs aren’t packaged inultralyticsyet, so if you share what RT-DETRv2 checkpoint you have (Paddle vs PyTorch) and how you’re trying to run it, we can point you to the right conversion/workflow—meanwhile you can use RT-DETR as shown in the RT-DETR docs.from ultralytics import RTDETR model = RTDETR("rtdetr-l.pt") results = model("path/to/image.jpg")
fxc0627
你好,请问RE-DETR模型适用于小目标工业缺陷检测吗?对于小目标检测有什么天然的优势?
wang18382140151-hub
你好,最近deim,dfine等对于rtdetr有了很好的改进,尤其是deim能很好的加速训练的速度,能将其整合进rtdetr中吗?
yuwencool
您好RT-DETR模型的推理支持model.track模式吗?
liyansong123456
RT-DETRv3 has been released. Does Ultralytics have plans to integrate it?
AK993
你好,rt-detr支持在转为rknn格式,并在rk3588上部署吗