RTDETRv2 대 YOLOv5: 실시간 탐지 Transformer 및 CNN 평가
컴퓨터 비전의 발전은 정확도와 실시간 추론 속도 사이의 균형을 끊임없이 추구하며 정의되어 왔습니다. RTDETRv2와 Ultralytics YOLOv5를 비교할 때, 개발자들은 본질적으로 Transformer 아키텍처의 정교한 전역 컨텍스트(Global Context) 능력과 검증된 고도로 최적화된 합성곱 신경망(CNN)의 효율성을 비교하게 됩니다.
이 가이드는 두 가지 주요 아키텍처에 대한 심층적인 기술 분석을 제공하며, 성능 지표, 학습 방법론, 메모리 요구 사항 및 이상적인 배포 시나리오를 상세히 설명하여 사용자의 특정 활용 사례에 가장 적합한 객체 탐지 모델을 선택하도록 돕습니다.
RTDETRv2: 실시간 탐지를 위한 트랜스포머 접근 방식
기존의 실시간 탐지 Transformer(RT-DETR)를 기반으로 구축된 RTDETRv2는 추론 지연 시간(Latency)을 희생하지 않으면서 기준 아키텍처를 개선하기 위해 일련의 "bag-of-freebies" 기법을 도입했습니다.
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang 및 Yi Liu
- 조직: Baidu
- 날짜: 2024-07-24
- 링크: Arxiv 논문, GitHub 저장소
아키텍처 및 기능
RTDETRv2는 하이브리드 CNN-Transformer 아키텍처를 활용합니다. CNN은 미세한 시각적 특징을 추출하는 백본 역할을 하며, Transformer 인코더-디코더 계층은 전체 특징 맵을 처리하여 전역 컨텍스트를 이해합니다. RTDETRv2의 주요 특징은 종단간(End-to-End) 방식이며, 이를 통해 비최대 억제(NMS) 후처리가 완전히 필요하지 않게 되었습니다.
RTDETRv2는 특히 객체가 겹치는 복잡하고 밀집된 장면에서 인상적인 정확도를 달성하지만, 눈에 띄는 상충 관계(Trade-off)가 존재합니다. Transformer 고유의 어텐션 메커니즘은 학습 중에 표준 CNN에 비해 훨씬 더 많은 CUDA 메모리를 요구합니다. 또한 NVIDIA A100 또는 T4와 같은 고급 GPU에서는 잘 작동하지만, 표준 CPU 및 성능이 크게 제한된 엣지 장치에서는 아키텍처가 눈에 띄게 느려집니다.
Ultralytics YOLOv5: 효율성의 업계 표준
Ultralytics YOLOv5는 출시 당시 응용 머신러닝 환경을 근본적으로 변화시켰으며, 매우 직관적인 프레임워크를 통해 전 세계 개발자들이 고성능 컴퓨터 비전을 쉽게 사용할 수 있도록 만들었습니다.
- 저자: Glenn Jocher
- 조직: Ultralytics
- 날짜: 2020년 6월 26일
- 링크: 공식 문서, GitHub 저장소
생태계 및 성능 균형
YOLOv5는 전적으로 PyTorch 프레임워크를 기반으로 구축되었으며 매우 효율적인 CNN 아키텍처를 사용합니다. 이 모델은 사용 편의성을 위해 처음부터 설계되었으며, 간소화된 API와 AI 업계에서 가장 광범위한 문서들을 제공합니다.
YOLOv5의 가장 큰 장점은 독보적인 범용성과 낮은 메모리 요구 사항입니다. YOLOv5 모델을 학습시키는 데는 Transformer 기반 모델보다 훨씬 적은 VRAM이 필요하므로 하드웨어 예산이 제한적인 연구자와 엔지니어도 쉽게 접근할 수 있습니다. 또한 RTDETRv2는 경계 상자(BBox) 탐지에만 집중하는 반면, YOLOv5는 인스턴스 분할 및 이미지 분류를 지원하는 다재다능한 강자로 발전했습니다.
궁극적으로 간소화된 워크플로를 경험하려면 Ultralytics Platform을 사용하여 YOLOv5를 직접 학습, 검증 및 배포할 수 있습니다. 이 플랫폼은 클라우드 학습 기능과 코드 없는(Zero-code) 배포 파이프라인을 제공합니다.
성능 및 메트릭 비교
표준 COCO 데이터셋에서 원시 성능을 분석하면 이 모델들이 자원을 우선순위에 두는 방식에 대한 뚜렷한 차이를 확인할 수 있습니다.
| 모델 | 크기 (픽셀) | mAPval 50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv5n | 640 | 28.0 | 73.6 | 1.12 | 2.6 | 7.7 |
| YOLOv5s | 640 | 37.4 | 120.7 | 1.92 | 9.1 | 24.0 |
| YOLOv5m | 640 | 45.4 | 233.9 | 4.03 | 25.1 | 64.2 |
| YOLOv5l | 640 | 49.0 | 408.4 | 6.61 | 53.2 | 135.0 |
| YOLOv5x | 640 | 50.7 | 763.2 | 11.89 | 97.2 | 246.4 |
절충안 분석
데이터에 따르면 RTDETRv2-x는 54.3%의 최대 평균 정밀도(mAP)를 달성하여 YOLOv5x의 50.7%를 약간 앞섭니다. 그러나 이러한 미미한 정확도 향상은 엄청난 연산 비용을 수반합니다. YOLOv5x는 더 낮은 지연 시간(TensorRT 기준 11.89ms 대 15.03ms)으로 작동하며 훨씬 적은 메모리 공간을 차지합니다. 초저전력 엣지 배포의 경우, YOLOv5n(Nano)은 불과 1.12ms 만에 추론을 완료하고 2.6M 파라미터라는 매우 작은 크기를 유지하며, 이는 RTDETRv2가 경쟁조차 하지 않는 영역입니다.
학습 효율성 및 코드 단순성
Ultralytics 생태계의 핵심 강점 중 하나는 통합 API입니다. 특정 고연산 작업에 RT-DETR의 Transformer 아키텍처를 사용하기로 결정하더라도 Ultralytics Python 패키지 내에서 모델을 단 한 줄의 코드로 원활하게 교체하며 작업할 수 있습니다.
from ultralytics import RTDETR, YOLO
# Load the Ultralytics YOLOv5 small model
model_yolo = YOLO("yolov5s.pt")
# Load the RT-DETR large model via Ultralytics
model_rtdetr = RTDETR("rtdetr-l.pt")
# Train YOLOv5 effortlessly on your custom data
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# Run inference with both models seamlessly
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo[0].show()개발자는 Ultralytics 라이브러리를 활용하여 실험 추적 통합(Weights & Biases 및 Comet ML 등)과 ONNX 및 OpenVINO와 같은 배포 형식으로의 원클릭 내보내기 기능을 갖춘 잘 관리된 생태계에 자동으로 접근할 수 있습니다.
실제 애플리케이션 및 이상적인 사용 사례
RTDETRv2가 빛을 발하는 곳
RTDETRv2는 하드웨어 제약이 없으며 가능한 최대 정밀도가 유일한 목표인 환경에 가장 적합합니다.
- 서버 측 의료 영상: 고해상도 엑스레이에서 미세한 이상 징후 탐지.
- 위성 영상: 강력한 클라우드 클러스터에서 항공 감시 작업 중 밀집되고 겹치는 객체 추적.
YOLOv5가 압도하는 곳
YOLOv5는 다양한 하드웨어 전반에서 실용적인 실제 배포를 위한 부정할 수 없는 챔피언입니다.
- 엣지 AI 장치: 메모리가 매우 제한적인 Raspberry Pi 또는 NVIDIA Jetson 장치에 보안 경보 시스템 배포.
- 모바일 애플리케이션: CoreML 또는 TFLite를 통해 스마트폰에서 직접 빠른 실시간 경계 상자 및 분할 추론 실행.
- 고속 산업 제조: 밀리초 단위의 지연 시간이 운영 성공에 중요한 빠른 생산 라인에서 부품 검사.
YOLOv5는 전설적인 모델이지만, Ultralytics 생태계는 지속적으로 AI의 한계를 넓히고 있습니다. 2026년에 새로운 프로젝트를 위해 모델을 비교하고 있다면 최첨단 Ultralytics YOLO26을 살펴보는 것을 고려하십시오. YOLO26은 네이티브 End-to-End NMS-Free 설계(Transformer와 유사하지만 CNN 속도 제공)를 통합하고, 매우 안정적인 학습을 위한 혁신적인 MuSGD Optimizer를 특징으로 하며 최대 43% 더 빠른 CPU 추론을 제공합니다. 또는 YOLO11은 자세 추정(Pose Estimation) 및 OBB 탐지가 필요한 다양한 배포를 위해 여전히 훌륭하고 강력하게 지원되는 선택지입니다.
결론적으로, RTDETRv2는 Transformer 계층을 사용하여 정확도 한계를 높이지만, Ultralytics YOLO 프레임워크는 속도, 가벼운 메모리 요구 사항 및 프로토타입에서 프로덕션까지의 시간을 획기적으로 단축하는 훌륭하게 설계된 개발자 경험 간의 독보적인 균형을 제공합니다.