RTDETRv2와 YOLOv5#
컴퓨터 비전의 발전은 정확도와 실시간 추론 속도의 균형을 맞추려는 끊임없는 노력으로 정의되어 왔습니다. RTDETRv2와 Ultralytics YOLOv5를 비교할 때 개발자는 Transformer 아키텍처의 정교한 전역 문맥 파악 능력과 고도로 최적화되어 충분히 검증된 합성곱 신경망(CNN)의 효율성 중 하나를 선택하게 됩니다.
이 가이드에서는 두 가지 주요 아키텍처를 심층적으로 기술 분석하고, 성능 지표, 학습 방법론, 메모리 요구 사항, 이상적인 배포 시나리오를 자세히 설명하여 사용 사례에 가장 적합한 객체 감지 모델을 선택하도록 돕습니다.
RTDETRv2: 실시간 탐지를 위한 Transformer 접근법#
기존 실시간 감지 Transformer(Real-Time Detection Transformer, RT-DETR)를 발전시킨 RTDETRv2는 추론 지연 시간을 늘리지 않으면서 기본 아키텍처를 개선하는 일련의 "bag-of-freebies"를 도입합니다.
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 기관: Baidu
- 날짜: 2024-07-24
- 링크: Arxiv 논문, GitHub 저장소
아키텍처 및 기능#
RTDETRv2는 하이브리드 CNN-Transformer 아키텍처를 활용합니다. CNN은 백본으로 작동하여 세밀한 시각적 특징을 추출하고, Transformer 인코더-디코더 계층은 전체 특징 맵을 처리하여 전역 문맥을 파악합니다. RTDETRv2의 주요 특징은 종단 간 구조로, 비최대 억제(NMS) 후처리가 전혀 필요하지 않습니다.
RTDETRv2는 특히 객체가 겹치는 복잡하고 밀집된 장면에서 뛰어난 정확도를 달성하지만, 그에 따른 절충점도 있습니다. Transformer에 내재된 어텐션 메커니즘은 학습 시 표준 CNN보다 훨씬 더 많은 CUDA 메모리를 필요로 합니다. 또한 NVIDIA A100이나 T4와 같은 고성능 GPU에서는 우수한 성능을 발휘하지만, 일반 CPU와 성능이 크게 제한된 엣지 장치에서는 아키텍처 특성상 속도가 눈에 띄게 느립니다.
Ultralytics YOLOv5: 효율성의 업계 표준#
Ultralytics YOLOv5는 출시 당시 응용 머신러닝의 판도를 근본적으로 바꾸었습니다. 직관성이 뛰어난 프레임워크를 통해 고성능 컴퓨터 비전을 전 세계 개발자가 활용할 수 있도록 했습니다.
- 저자: Glenn Jocher
- 기관: Ultralytics
- 날짜: 2020년 6월 26일
- 링크: 공식 문서, GitHub 저장소
생태계와 성능의 균형#
YOLOv5는 전적으로 PyTorch 프레임워크를 기반으로 구축되었으며, 매우 효율적인 CNN 아키텍처를 사용합니다. 간소화된 API와 AI 업계에서 손꼽히는 방대한 문서를 제공하여 사용 편의성을 최우선으로 설계되었습니다.
YOLOv5의 가장 큰 장점은 타의 추종을 불허하는 다기능성과 낮은 메모리 요구량입니다. YOLOv5 모델을 학습하는 데 필요한 VRAM은 Transformer 기반 모델보다 훨씬 적으므로, 하드웨어 예산이 제한된 연구자와 엔지니어도 사용할 수 있습니다. 또한 RTDETRv2가 바운딩 박스 감지에만 집중하는 반면, YOLOv5는 인스턴스 분할과 이미지 분류를 지원하는 다기능 모델로 발전했습니다.
간소화된 워크플로를 경험하려면 Ultralytics Platform을 사용해 YOLOv5를 직접 학습, 검증, 배포할 수 있습니다. 이 플랫폼은 클라우드 학습 기능과 코드 작성이 필요 없는 배포 파이프라인을 제공합니다.
성능 및 지표 비교#
표준 COCO 데이터셋에서 원시 성능을 분석하면 각 모델이 리소스의 우선순위를 어떻게 설정하는지 명확히 알 수 있습니다.
| 모델 | 크기 (픽셀) | mAP검증 50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv5n | 640 | 28.0 | - | 1.12 | 1.9 | 4.5 |
| YOLOv5s | 640 | 37.4 | - | 1.92 | 7.2 | 16.5 |
| YOLOv5m | 640 | 45.4 | - | 4.03 | 21.2 | 49.0 |
| YOLOv5l | 640 | 49.0 | - | 6.61 | 46.5 | 109.1 |
| YOLOv5x | 640 | 50.7 | - | 11.89 | 86.7 | 205.7 |
절충점 분석#
데이터에 따르면 RTDETRv2-x는 평균 정밀도(mAP) 최고 54.3%를 기록해 YOLOv5x의 50.7%를 약간 앞섭니다. 그러나 이처럼 작은 정확도 향상에는 막대한 계산 비용이 따릅니다. YOLOv5x는 지연 시간이 더 짧고(TensorRT에서 11.89ms 대 15.03ms), 필요한 메모리도 훨씬 적습니다. 초저전력 엣지 배포에서는 YOLOv5n(Nano)이 여전히 독보적입니다. 매개변수가 190만 개에 불과한 초소형 모델로 추론을 단 1.12ms 만에 완료하며, RTDETRv2는 이 등급의 성능을 경쟁 대상으로 삼지도 않습니다.
학습 효율성과 코드 간결성#
Ultralytics 생태계의 주요 강점 중 하나는 통합 API입니다. 특정 고연산 작업에 Transformer 아키텍처인 RT-DETR을 사용하기로 하더라도 Ultralytics Python 패키지 안에서 모두 처리할 수 있으며, 코드 한 줄만으로 모델을 원활하게 교체할 수 있습니다.
from ultralytics import RTDETR, YOLO
# Ultralytics YOLOv5 소형 모델을 불러옵니다
model_yolo = YOLO("yolov5su.pt") # YOLOv5u: ultralytics 패키지용 앵커 프리 YOLOv5 가중치
# Ultralytics를 통해 RT-DETR 대형 모델을 불러옵니다
model_rtdetr = RTDETR("rtdetr-l.pt")
# 사용자 지정 데이터로 YOLOv5를 손쉽게 학습합니다
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# 두 모델 모두로 원활하게 추론을 실행합니다
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo[0].show()Ultralytics 라이브러리를 활용하면 개발자는 실험 추적 통합(Weights & Biases, Comet ML 등)과 ONNX 및 OpenVINO와 같은 배포 형식으로의 원클릭 내보내기 기능을 포함한, 잘 관리되는 생태계를 자동으로 활용할 수 있습니다.
실제 애플리케이션과 적합한 사용 사례#
RTDETRv2가 강점을 보이는 분야#
RTDETRv2는 하드웨어 제약이 없고 가능한 최고 수준의 정밀도가 유일한 목표인 환경에 가장 적합합니다.
- 서버 측 의료 영상: 고해상도 X선 영상에서 미세한 이상을 감지합니다.
- 위성 이미지: 강력한 클라우드 클러스터에서 항공 감시 작업 중 밀집해 겹쳐 있는 객체를 추적합니다.
YOLOv5가 강점을 보이는 분야#
YOLOv5는 다양한 하드웨어에서 실용적인 실제 배포에 가장 적합한 모델입니다.
- 엣지 AI 장치: 메모리가 엄격히 제한된 Raspberry Pi 또는 NVIDIA Jetson 장치에 보안 경보 시스템을 배포합니다.
- 모바일 애플리케이션: CoreML 또는 LiteRT를 통해 스마트폰에서 바운딩 박스 및 분할 추론을 빠르고 실시간으로 직접 실행합니다.
- 고속 산업 제조: 밀리초 단위 지연 시간이 운영 성과에 중요한 고속 생산 라인에서 부품을 검사합니다.
YOLOv5는 전설적인 모델이지만, Ultralytics 생태계는 AI의 한계를 계속 확장하고 있습니다. 2026년에 새로운 프로젝트를 위한 모델을 비교하고 있다면 최첨단 모델인 Ultralytics YOLO26을 살펴보세요. YOLO26은 Transformer와 유사하면서 CNN의 속도를 구현한 선택형 일대일 헤드(nms=False)를 통해 네이티브 종단 간 NMS 제거 설계를 적용하고, 매우 안정적인 학습을 위한 혁신적인 MuSGD 옵티마이저를 갖추었으며, CPU 추론 속도를 최대 43% 높입니다. 또는 YOLO11은 포즈 추정 및 OBB 감지가 필요한 다기능 배포를 위한 탁월하고 폭넓게 지원되는 선택지입니다.
결국 RTDETRv2는 Transformer 계층으로 정확도의 한계를 높이는 반면, Ultralytics YOLO 프레임워크는 속도, 낮은 메모리 요구량, 탁월하게 설계된 개발자 경험 사이에서 독보적인 균형을 제공하여 프로토타입에서 프로덕션까지 걸리는 시간을 크게 단축합니다.