RTDETRv2와 YOLOv7 비교
최근 몇 년간 컴퓨터 비전은 합성곱 신경망(CNN)과 비전 Transformer(ViT)의 발전에 힘입어 빠르게 성장했습니다. 배포용 아키텍처를 선택하려면 속도, 정확도, 연산 오버헤드 간의 장단점을 이해해야 합니다. 이 가이드에서는 잘 알려진 두 아키텍처인 RTDETRv2와 YOLOv7의 기술적 차이를 비교하고, 새로운 Ultralytics YOLO26을 소개합니다.
RTDETRv2: 실시간 탐지를 위한 Transformer 접근법#
RTDETRv2(실시간 탐지 Transformer 버전 2)는 기존 모델을 발전시켜 Transformer 기반 아키텍처가 기존 후처리 단계에 의존하지 않고도 실시간 시나리오에서 경쟁력을 갖출 수 있음을 보여줍니다.
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 기관: Baidu
- 날짜: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: RTDETRv2 저장소
아키텍처 주요 특징#
RTDETRv2는 하이브리드 인코더와 Transformer 디코더를 사용합니다. 셀프 어텐션을 통해 모델이 이미지 전체를 한 번에 처리하므로, 엄격하게 지역적인 합성곱 커널이 놓치는 공간적 관계를 포착할 수 있습니다. 주요 특징은 네이티브 NMS-Free 설계입니다. 비최대 억제(NMS)를 제거하여 배포 중 변동성 있는 추론 지연 시간을 유발하는 일반적인 병목을 해소합니다.
장점과 한계#
RTDETRv2의 주요 강점은 복잡한 장면에서 밀집되고 서로 겹치는 객체를 처리하는 능력입니다. Transformer 어텐션 레이어가 제공하는 전역 맥락은 특히 가림이 자주 발생하는 시나리오에서 정확도를 높입니다.
하지만 여기에는 연산 비용이 따릅니다. Transformer 모델은 일반적으로 학습 및 추론 중 CNN보다 메모리를 더 많이 사용합니다. 이로 인해 소비자용 GPU에서 배치 크기가 제한되고, 사용자 지정 데이터셋을 튜닝하는 개발자의 반복 주기가 길어질 수 있습니다.
YOLOv7: 속도를 위한 CNN 기준 모델#
RTDETRv2보다 2년 앞서 출시된 YOLOv7은 기존 YOLO 프레임워크에 여러 구조적 최적화를 도입해, 발표 당시 CNN 기반 실시간 탐지기의 강력한 기준을 세웠습니다.
- 저자: Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao
- 기관: 대만 중앙연구원 정보과학연구소
- 날짜: 2022-07-06
- arXiv: https://arxiv.org/abs/2207.02696
- GitHub: YOLOv7 저장소
아키텍처 주요 특징#
YOLOv7의 아키텍처는 확장 효율적 계층 집계 네트워크(E-ELAN) 개념을 기반으로 합니다. 이 접근 방식은 그래디언트 경로를 최적화하여 연산 복잡도를 크게 늘리지 않고도 모델이 더 효과적으로 학습하도록 합니다. 저자들은 학습 중 추론 비용을 증가시키지 않으면서 모델 정확도를 향상하는 여러 기법인 "학습 가능한 무료 혜택(trainable bag-of-freebies)"도 도입했습니다.
장점과 한계#
YOLOv7은 표준 객체 감지 작업에 여전히 적합한 모델이며, 소비자용 GPU에서 빠르게 처리합니다. CNN인 YOLOv7은 일반적으로 RTDETRv2와 같은 Transformer 기반 모델보다 학습 중 CUDA 메모리를 덜 사용합니다.
이러한 장점에도 불구하고 YOLOv7은 후처리에 여전히 NMS를 사용합니다. 예측 밀도가 높은 환경에서는 NMS 단계로 인해 처리 시간이 변동할 수 있어 엄격한 실시간 성능을 보장하기 어렵습니다. 또한 YOLOv7은 인스턴스 분할 및 자세 추정과 같은 작업을 하나의 통합 프레임워크가 아니라 별도의 코드 분기에서 처리합니다.
성능 비교#
아래 표는 COCO 검증 세트에서 평균 정밀도(mAP), 매개변수 수, 추론 속도를 비교합니다.
| 모델 | 크기 (픽셀) | mAPval50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv7l | 640 | 51.4 | - | 6.84 | 36.9 | 104.7 |
| YOLOv7x | 640 | 53.1 | - | 11.57 | 71.3 | 189.9 |
RTDETRv2-x는 가장 높은 mAP(54.3)를 달성하지만, 매개변수 수와 FLOPs도 가장 많습니다. YOLOv7l(51.4 mAP, 6.84 ms)은 RTDETRv2-m(51.9 mAP, 7.51 ms)보다 약간 빠르며, RTDETRv2-l(53.4 mAP, 9.76 ms)은 YOLOv7x(53.1 mAP, 11.57 ms)보다 정확하면서도 빠릅니다. 여기서는 두 모델 모두 CPU 속도를 보고하지 않으므로, 전용 GPU가 없는 저전력 환경을 대상으로 하는 사용자는 CPU 추론 성능을 직접 벤치마크해야 합니다.
최신 솔루션: YOLO26의 등장#
RTDETRv2와 YOLOv7은 모두 컴퓨터 비전 애플리케이션을 발전시켰으며, 이 분야는 계속 변화하고 있습니다. 2026년 1월에 출시된 YOLO26은 CNN의 효율성과 Transformer 감지기와 유사한 선택적 NMS 없는 추론을 결합합니다.
새로운 시스템을 구축하는 개발자와 연구자에게는 통합된 Ultralytics Platform과 Python 생태계가 통합 워크플로를 제공하여 통합 및 유지 관리 작업을 줄여 줍니다.
YOLO26의 주요 혁신#
- 엔드투엔드 NMS 없는 설계: YOLO26은 네이티브 엔드투엔드 추론을 지원하며, 선택적 일대일 헤드(
nms=False)를 사용해 NMS 후처리를 생략하므로 더 빠르고 간편하게 배포할 수 있습니다. YOLOv10에서 처음 도입된 이 접근 방식은 객체 밀도와 관계없이 지연 시간을 안정적으로 유지합니다. - 최대 43% 빠른 CPU 추론: YOLO26n은 CPU에서 YOLO11n보다 최대 43% 빠르게 실행되므로, 더 무거운 Transformer 모델을 배포하기 어려운 엣지 컴퓨팅 및 GPU가 없는 장치에 적합합니다.
- MuSGD 옵티마이저: Moonshot AI의 Kimi K2에서 영감을 얻은 SGD와 Muon의 하이브리드로, 대규모 언어 모델(LLM) 학습 기법을 컴퓨터 비전에 적용해 더 안정적인 학습과 빠른 수렴을 지원합니다.
- DFL 제거: 분포 초점 손실을 제거하여 계산 그래프를 단순화하고 임베디드 NPU 및 TensorRT 환경으로 더욱 원활하게 내보낼 수 있습니다.
- ProgLoss + STAL: 점진적 손실(Progressive Loss)과 소형 객체 인식형 레이블 할당(STAL)은 로보틱스, IoT, 항공 이미지 분석에 중요한 소형 객체 인식 성능을 향상합니다.
- 작업별 개선: YOLO26은 탐지에만 국한되지 않습니다. 분할을 위한 멀티스케일 프로토타입, 자세 추정을 위한 잔차 로그 우도 추정(RLE), 방향 경계 상자(OBB)의 경계 문제를 해결하는 특수 각도 손실을 제공합니다.
간소화된 개발자 경험#
YOLO26이나 널리 사용되는 YOLO11과 같은 Ultralytics 모델의 주요 장점은 잘 관리되는 생태계입니다. 사용자 지정 데이터셋 학습은 몇 줄의 코드만으로 수행할 수 있습니다.
from ultralytics import YOLO
# YOLO26 모델 초기화
model = YOLO("yolo26s.pt")
# COCO8 데이터셋으로 모델 학습
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 엣지 배포용으로 내보내기
model.export(format="onnx", dynamic=True)적합한 사용 사례 및 응용 분야#
이러한 아키텍처 중 무엇을 선택할지는 대상 하드웨어와 구체적인 운영 요구 사항에 따라 달라집니다.
RTDETRv2를 고려할 시점#
RTDETRv2는 강력한 GPU를 갖춘 서버 측 처리 환경에서 효과적입니다. 전역 어텐션 메커니즘은 혼잡한 행사 모니터링이나 겹치는 특징을 심층적으로 분석해야 하는 전문 의료 영상과 같은 복잡한 장면 이해에 적합합니다.
YOLOv7을 고려해야 하는 경우#
YOLOv7은 학술 연구에서 기준 비교 모델로 기존 연구를 유지하는 데 사용되는 경우가 많습니다. 특정 PyTorch 버전에 맞춰 파이프라인이 하드코딩되어 있고 최신 프레임워크의 멀티태스크 유연성이 필요하지 않은 구형 산업 배포 환경에서도 사용됩니다.
YOLO26을 권장 표준으로 삼는 이유#
현대적인 스마트 시티 인프라, 드론 내비게이션, 고속 제조 분야에서 YOLO26은 속도와 정확도의 균형이 뛰어납니다. 낮은 메모리 요구량 덕분에 소비자용 하드웨어에서도 하이퍼파라미터 튜닝과 학습을 수행할 수 있으며, 선택적 NMS 없는 추론과 CPU 최적화는 Raspberry Pi나 NVIDIA Jetson과 같은 리소스 제약이 있는 엣지 장치에 적합합니다.
다른 아키텍처와 비교한 모델 성능이 궁금하신가요? 비전 AI 프로젝트에 적합한 모델을 찾으려면 YOLO11과 RT-DETR 비교 및 YOLOv8과 YOLOv7 비교에 관한 상세 가이드를 확인해 보세요.
댓글
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.