RTDETRv2와 YOLOv8 비교
객체 탐지용 컴퓨터 비전 모델은 점차 합성곱 신경망(CNN)과 새로운 Transformer 기반 아키텍처라는 두 가지 진영으로 나뉘고 있습니다. 이 기술 비교에서는 실시간 탐지 Transformer인 RTDETRv2와 가장 널리 도입된 CNN 모델 중 하나인 Ultralytics YOLOv8을 비교합니다. 두 모델 모두 뛰어난 기능을 갖추었지만, 아키텍처의 차이로 학습, 배포 제약, 성능에서 서로 다른 특성을 보입니다.
모델 개요: RTDETRv2#
RTDETRv2(실시간 탐지 Transformer 버전 2)는 Transformer 아키텍처를 실시간 추론에 맞게 최적화하여 기존 RT-DETR을 발전시켰습니다.
주요 기술 세부 정보:
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 기관: Baidu
- 날짜: 2024-07-24
- 링크: arXiv 논문 | GitHub 저장소
아키텍처 및 강점#
RTDETRv2는 CNN 백본과 Transformer 인코더-디코더를 결합한 하이브리드 아키텍처를 사용합니다. 이 방식으로 이미지 전체를 한 번에 고려하므로 객체가 겹치는 복잡한 장면을 처리하는 데 도움이 됩니다. 가장 두드러지는 특징은 네이티브 엔드투엔드 설계로, 비최대 억제(NMS) 후처리를 생략합니다. 이를 통해 탐지 파이프라인의 마지막 단계에서 알고리즘 복잡성을 줄입니다. 멀티스케일 특징을 활용하면 큰 구조물과 배경의 작은 요소를 모두 탐지할 수 있습니다.
단점#
맥락을 잘 이해하지만 RTDETRv2와 같은 Transformer 기반 아키텍처는 학습 중 연산 오버헤드가 큽니다. CUDA 메모리가 더 많이 필요하므로 일반 소비자용 하드웨어에서 학습하기 어렵습니다. 공식 리포지토리에서 사용자 지정 데이터셋을 설정하고 학습 하이퍼파라미터를 튜닝하려면 초보자 친화적인 소프트웨어 래퍼가 없어 분야 전문 지식이 필요한 경우가 많습니다. 어텐션 레이어의 연산 비용이 높아 구형 Raspberry Pi 하드웨어와 같은 저전력 엣지 장치에 배포하는 것도 어려울 수 있습니다.
모델 개요: YOLOv8#
출시 이후 Ultralytics YOLOv8은 간편한 개발자 경험과 높은 정확도를 결합하여 프로덕션 컴퓨터 비전에서 널리 사용되는 표준으로 자리 잡았습니다.
주요 기술 세부 정보:
- 저자: Glenn Jocher, Ayush Chaurasia, Jing Qiu
- 조직: Ultralytics
- 날짜: 2023년 1월 10일
- 링크: 공식 문서 | GitHub 저장소
아키텍처 및 강점#
YOLOv8은 분리형 헤드를 갖춘 앵커 프리 CNN 아키텍처를 사용하여 이전 YOLO 세대보다 객체 위치 추정 및 분류 정확도를 높입니다. 주요 강점은 효율성과 다양성입니다. 아키텍처가 비전 Transformer보다 학습 중 메모리를 적게 사용하므로 실무자는 일반 GPU에서 더 큰 배치 크기로 실행할 수 있습니다. 또한 Ultralytics 생태계는 간소화된 워크플로를 제공합니다. 통합 Python API를 사용하면 몇 줄의 코드로 하이퍼파라미터 튜닝, 학습, 검증, 내보내기를 수행할 수 있습니다.
단점#
YOLOv8은 후처리 단계에서 기존 NMS를 사용합니다. Ultralytics 엔진이 내부적으로 이를 효율적으로 처리하지만, 네이티브 NMS 프리 아키텍처와 비교하면 기술적으로 약간의 후처리 지연 시간이 발생합니다.
성능 및 지표 비교#
아래 표는 COCO 검증 정확도(mAP), CPU 및 T4 TensorRT 속도, 파라미터 수, FLOPs를 비교합니다. 두 모델군은 배포 파이프라인의 서로 다른 요소를 우선시합니다.
| 모델 | 크기 (픽셀) | mAPval50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
RTDETRv2-x는 YOLOv8x(53.9)보다 약간 높은 최고 mAP(54.3)를 기록하며, 크기가 비슷한 모델끼리 비교해도 RTDETRv2의 정확도가 더 높습니다. 소형 모델에서는 YOLOv8이 더 빠릅니다. YOLOv8s는 TensorRT에서 RTDETRv2-s보다 거의 두 배 빠르게 실행되며(2.66ms 대 5.03ms), 파라미터 수는 거의 절반이고 mAP는 3.2포인트 낮습니다. 대형 모델에서는 YOLOv8l과 RTDETRv2-l의 속도와 크기가 비슷합니다. 여기서 CPU ONNX 속도를 보고하는 모델은 YOLOv8뿐입니다.
메모리 요구량 및 학습 효율성#
독립 개발자와 엔터프라이즈 팀 모두 학습 비용을 고려해야 합니다. Ultralytics YOLO 모델은 일반적으로 학습 과정에서 Transformer 아키텍처보다 CUDA 메모리를 덜 사용합니다. 표준 RTDETRv2 모델은 소비자용 GPU에서 병목을 일으킬 수 있지만, YOLOv8은 NVIDIA RTX 4070과 같은 하드웨어에서 안정적으로 학습됩니다.
생태계, API, 사용 편의성#
지원 소프트웨어 프레임워크도 중요한 차별점입니다. Ultralytics 생태계는 엔지니어링 작업의 상당 부분을 처리하며, Discord에서 이루어지는 활발한 개발, 상세한 문서, 커뮤니티 지원은 프로젝트를 원활하게 진행하는 데 도움이 됩니다.
YOLOv8은 객체 탐지를 넘어 인스턴스 세그멘테이션, 이미지 분류, 포즈 추정, 회전 경계 상자(OBB)를 기본적으로 지원합니다. RTDETRv2는 탐지만 지원합니다.
코드 예제: 통합된 간결성#
Ultralytics Python API를 사용하면 동일한 인터페이스로 두 모델군을 모두 실행할 수 있습니다.
from ultralytics import RTDETR, YOLO
# RT-DETR 모델과 YOLOv8 모델 로드
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")
# 동일한 API를 사용하여 샘플 이미지에서 예측합니다
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")
# 빠른 엣지 배포를 위해 YOLOv8을 ONNX로 내보냅니다
model_cnn.export(format="onnx")학습이 끝나면 한 줄의 코드로 YOLOv8을 ONNX, TensorRT, OpenVINO 형식으로 내보내 하드웨어 백엔드 전반에서 효율적으로 추론할 수 있습니다.
사용 사례 및 권장 사항#
RT-DETR과 YOLOv8 중에서 선택할 때는 구체적인 프로젝트 요구 사항, 배포 제약, 생태계 선호도를 고려해야 합니다.
RT-DETR을 선택해야 하는 경우#
RT-DETR은 다음과 같은 경우에 적합합니다:
- Transformer 기반 탐지 연구: NMS를 사용하지 않는 엔드투엔드 객체 탐지를 위해 어텐션 메커니즘과 Transformer 아키텍처를 연구하는 프로젝트입니다.
- 지연 시간 제약이 유연한 고정확도 시나리오: 탐지 정확성이 최우선이며 추론 지연 시간이 약간 높아도 괜찮은 애플리케이션입니다.
- 대형 객체 탐지: 주로 중대형 객체가 있는 장면으로, Transformer의 전역 어텐션 메커니즘이 자연스러운 이점을 제공하는 경우입니다.
YOLOv8을 선택해야 하는 경우#
다음과 같은 경우 YOLOv8을 권장합니다.
- 다목적 배포: Ultralytics 생태계에서 탐지, 분할, 분류, 자세 추정을 수행할 검증된 모델이 필요한 프로젝트입니다.
- 안정적인 프로덕션 시스템: 이미 YOLOv8 아키텍처를 기반으로 구축되어 안정적이고 충분히 테스트된 배포 파이프라인을 갖춘 기존 프로덕션 환경.
- 폭넓은 커뮤니티 및 생태계 지원: YOLOv8의 방대한 튜토리얼, 타사 통합, 활발한 커뮤니티 리소스를 활용하는 애플리케이션.
Ultralytics(YOLO26)를 선택해야 하는 경우#
대부분의 신규 프로젝트에는 성능과 개발자 경험을 가장 잘 조합한 Ultralytics YOLO26을 권장합니다.
- NMS가 필요 없는 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관된 저지연 추론이 필요한 애플리케이션입니다.
- CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서는 YOLO26n의 CPU 추론 속도가 YOLO11n보다 최대 43% 빠르다는 점이 결정적인 이점입니다.
- 작은 객체 탐지: 항공 드론 이미지 분석이나 IoT 센서 분석과 같이 ProgLoss와 STAL이 작은 객체의 정확도를 높이는 까다로운 시나리오입니다.
앞으로의 방향: YOLO26의 이점#
YOLOv8은 여전히 중요한 이정표가 된 모델이지만 컴퓨터 비전 분야는 빠르게 발전하고 있습니다. 2026년에 새 프로젝트를 시작하는 팀에는 후속 모델인 Ultralytics YOLO26을 권장합니다.
RTDETRv2의 NMS-Free 설계에 관심이 있다면 YOLO26은 선택적 엔드투엔드 NMS-Free 설계(nms=False)를 제공하여 Transformer의 후처리 간결성과 CNN의 속도를 결합합니다. YOLO26은 또한 MuSGD 옵티마이저를 사용하여 대규모 언어 모델(LLM) 학습 기법을 비전 모델에 적용함으로써 더욱 안정적인 학습과 빠른 수렴을 지원합니다. DFL 제거(Distribution Focal Loss 제거로 내보내기를 간소화하고 엣지 및 저전력 장치 호환성을 향상)를 통해 YOLO26n은 YOLO11n보다 CPU 추론 속도가 최대 43% 빠릅니다. 소형 객체 탐지 성능을 높이는 ProgLoss + STAL(점진적 손실 및 소형 객체 인식 라벨 할당)과 결합된 YOLO26은 YOLOv8과 RTDETRv2 모두에서 업그레이드할 때 권장되는 경로입니다.
대안 모델은 YOLO11을 참조하거나 YOLOv10과 YOLOv8 비교의 상세 분석을 통해 YOLO 제품군에서 NMS-Free 아키텍처가 어떻게 발전했는지 확인하세요.
댓글1
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.
CathyFisher(수정됨)
Excellent technical comparison! RTDETRv2’s transformer-based architecture brings impressive accuracy and end-to-end detection without the need for NMS, which is quite innovative. However, this YOLOv8 comparison shows that v8 still excels in real-time performance, lighter deployment, and ease of customization. It’s clear that RTDETRv2 is pushing boundaries, but YOLOv8 remains a go-to for many practical applications due to its balance of speed and flexibility.