YOLOv8 vs RTDETRv2
컴퓨터 비전 분야는 새로운 아키텍처가 실시간 객체 감지의 가능성을 넓히면서 끊임없이 발전하고 있습니다. 주목받는 대표 모델로는 Ultralytics YOLOv8과 Baidu의 RTDETRv2가 있습니다. 이 가이드에서는 두 모델의 아키텍처, 성능 지표, 이상적인 배포 시나리오를 살펴보며 기술적으로 비교합니다.
YOLOv8 개요#
Ultralytics YOLOv8은 YOLO(You Only Look Once) 모델 제품군의 중요한 이정표로, 다양한 작업에서 속도, 정확도, 사용 편의성을 결합합니다.
주요 특징:
- 저자: Glenn Jocher, Ayush Chaurasia, Jing Qiu
- 조직: Ultralytics
- 날짜: 2023년 1월 10일
- GitHub: Ultralytics 저장소
- 문서: YOLOv8 문서
아키텍처 및 강점#
YOLOv8은 특징 추출과 바운딩 박스 회귀를 모두 최적화하는 간소화된 아키텍처를 도입했습니다. 앵커 프리 감지기로서 예측 헤드를 간소화하고 학습 중 필요한 하이퍼파라미터 조정 횟수를 줄입니다. 이를 통해 추론 속도와 평균 정밀도(mAP) 사이에서 균형을 이루어 엣지 디바이스와 클라우드 서버 모두에 실제 배포하기 적합합니다.
YOLOv8은 학습 중 Transformer 기반 아키텍처보다 메모리 요구량도 낮아, 개발자는 메모리 부족 없이 일반 소비자용 GPU에서 모델을 학습할 수 있습니다.
다재다능함#
YOLOv8을 대표하는 강점 중 하나는 기본적으로 제공되는 다재다능함입니다. 많은 모델이 바운딩 박스에만 초점을 맞추는 반면, YOLOv8은 객체 탐지, 인스턴스 분할, 이미지 분류, 포즈 추정, 방향성 바운딩 박스(OBB) 탐지를 기본적으로 지원합니다.
RTDETRv2 개요#
RTDETRv2(실시간 감지 Transformer 버전 2)는 기존 RT-DETR을 기반으로 하며, Vision Transformers의 어텐션 메커니즘을 실시간 객체 감지 애플리케이션에 적용하는 것을 목표로 합니다.
주요 특징:
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 기관: Baidu
- 날짜: 2024-07-24
- arXiv: 2407.17140
- GitHub: RT-DETR 저장소
- 문서: RTDETRv2 README
아키텍처 및 강점#
RTDETRv2는 합성곱 신경망(CNN) 백본과 Transformer 인코더-디코더 구조를 결합한 하이브리드 아키텍처를 사용합니다. 이를 통해 셀프 어텐션 메커니즘으로 복잡한 공간 관계와 전역 컨텍스트를 포착할 수 있습니다. RTDETRv2는 "bag-of-freebies" 학습 전략을 활용해 COCO 데이터셋 같은 표준 벤치마크 데이터셋에서 경쟁력 있는 mAP 점수를 달성합니다.
단점#
RTDETRv2는 정확도가 높지만, Transformer 기반 특성 때문에 순수 CNN 아키텍처보다 메모리 사용량이 많고 학습 시간이 더 깁니다. 일반적으로 Transformer에는 더 많은 VRAM이 필요하므로 리소스가 제한된 하드웨어에서는 학습하기 어렵습니다. 또한 RTDETRv2는 감지 성능이 뛰어나지만, Ultralytics 생태계에 내장된 멀티태스크 지원(세그멘테이션 및 자세 추정 등)은 제공하지 않습니다.
성능 비교#
프로덕션용 모델을 평가할 때는 모델 크기, 추론 속도, 정확도 사이의 균형이 중요합니다. 아래 표에서 YOLOv8과 RTDETRv2 변형을 직접 비교합니다.
| 모델 | 크기 (픽셀) | mAPval50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
사용 사례 및 권장 사항#
YOLOv8과 RT-DETR 중 어떤 모델을 선택할지는 구체적인 프로젝트 요구 사항, 배포 제약, 생태계 선호도에 따라 달라집니다.
YOLOv8을 선택해야 하는 경우#
YOLOv8은 다음과 같은 경우에 적합합니다.
- 다양한 작업의 통합 배포: Ultralytics 생태계에서 탐지, 분할, 분류, 포즈 추정에 검증된 모델이 필요한 프로젝트에 적합합니다.
- 안정적인 프로덕션 시스템: 이미 YOLOv8 아키텍처를 기반으로 구축되어 안정적이고 충분히 테스트된 배포 파이프라인을 갖춘 기존 프로덕션 환경.
- 폭넓은 커뮤니티 및 생태계 지원: YOLOv8의 방대한 튜토리얼, 타사 통합, 활발한 커뮤니티 리소스를 활용하는 애플리케이션.
RT-DETR을 선택해야 하는 경우#
다음과 같은 경우 RT-DETR을 권장합니다.
- Transformer 기반 감지 연구: NMS 없이 엔드투엔드 객체 감지를 구현하기 위해 어텐션 메커니즘과 Transformer 아키텍처를 탐구하는 프로젝트입니다.
- 지연 시간 제약이 유연한 고정확도 시나리오: 탐지 정확성이 최우선이며 추론 지연 시간이 약간 높아도 괜찮은 애플리케이션입니다.
- 대형 객체 탐지: 주로 중대형 객체가 있는 장면으로, Transformer의 전역 어텐션 메커니즘이 자연스러운 이점을 제공하는 경우입니다.
Ultralytics(YOLO26)를 선택해야 하는 경우#
대부분의 신규 프로젝트에는 성능과 개발자 경험을 가장 잘 조합한 Ultralytics YOLO26을 권장합니다.
- NMS가 필요 없는 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관된 저지연 추론이 필요한 애플리케이션입니다.
- CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서는 YOLO26n의 CPU 추론 속도가 YOLO11n보다 최대 43% 빠르다는 점이 결정적인 이점입니다.
- 소형 객체 탐지: 항공 드론 이미지 분석이나 IoT 센서 분석처럼 어려운 시나리오에서 ProgLoss와 STAL은 작은 객체의 정확도를 향상합니다.
Ultralytics의 강점#
모델 선택은 원시 지표를 비교하는 것만으로 끝나지 않습니다. 개발자 생산성에는 주변 소프트웨어 생태계가 중요합니다. Ultralytics 생태계는 사용 편의성을 고려해 설계되었으며, 전체 머신러닝 수명 주기를 간소화하는 통합 Python API를 제공합니다.
데이터셋 관리부터 분산 학습까지 Ultralytics는 복잡한 상용구 코드를 처리합니다. 개발자는 바로 사용할 수 있는 사전 학습 가중치와 Hugging Face 같은 플랫폼 및 실험 모니터링 도구와의 통합 기능을 활용할 수 있습니다. 생태계는 활발히 개발되고 자주 업데이트되며, 대규모 커뮤니티의 지원을 받습니다.
Ultralytics YOLO 모델은 학습 과정에서 빠르게 수렴하고 메모리 사용량을 줄이도록 최적화되어 있어 RTDETRv2 같은 Transformer 기반 감지기보다 실험 속도가 빠릅니다.
앞으로의 전망: YOLO26의 강력한 성능#
YOLOv8은 여전히 강력한 모델이지만, Ultralytics는 2026년 1월에 출시된 YOLO26을 새 프로젝트에 권장하며, YOLO26에는 다음과 같은 개선 사항이 추가되었습니다.
- 엔드투엔드 NMS 프리 설계: YOLO26의 선택적 원투원 헤드(
nms=False)는 후처리 과정에서 비최대 억제(NMS)를 제거하여 더 빠르고 결정론적인 배포 워크플로를 제공합니다. - DFL 제거: Distribution Focal Loss를 제거해 모델을 간소화하고 엣지 및 저전력 디바이스와의 호환성을 높입니다.
- MuSGD Optimizer: LLM 학습에서 영감을 얻은 MuSGD(SGD와 Muon의 하이브리드)는 더 안정적인 학습과 빠른 수렴을 제공합니다.
- CPU 추론 속도 최대 43% 향상: YOLO26n은 CPU ONNX 추론에서 YOLO11n보다 최대 43% 빠르게 실행되므로 전용 GPU가 없는 환경에 적합합니다.
- ProgLoss + STAL: Progressive Loss와 Small-Target-Aware Label Assignment를 통해 작은 객체 인식 성능이 크게 향상됩니다. 이는 항공 영상 및 로보틱스에서 매우 중요합니다.
Ultralytics 제품군에서 살펴볼 만한 다른 최신 대안으로는 기존 프로젝트에 여전히 적합한 YOLO11이 있습니다. 다만 새 배포에는 YOLO26을 권장합니다.
코드 예제: 학습 및 추론#
Ultralytics API는 간편하므로 몇 줄의 Python 코드만으로 모델을 불러오고 학습한 뒤 배포할 수 있습니다. 다음 예제를 실행하기 전에 PyTorch가 설치되어 있는지 확인하세요.
from ultralytics import YOLO
# 사전 학습된 YOLOv8 소형 모델 불러오기
model = YOLO("yolov8s.pt")
# 사용자 지정 데이터셋으로 모델을 학습합니다
# 메모리 효율적인 학습으로 배치 크기를 늘릴 수 있습니다
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640, batch=16)
# 테스트 이미지에서 추론을 실행합니다.
results = model("https://ultralytics.com/images/bus.jpg")
# 결과를 표시합니다
results[0].show()
# 엣지 배포용으로 내보내기
export_path = model.export(format="onnx")Ultralytics는 ONNX, TensorRT, CoreML을 포함한 다양한 형식으로 원클릭 내보내기를 지원하여 다양한 하드웨어 아키텍처에서 모델 배포 옵션을 간소화합니다.
결론#
YOLOv8과 RTDETRv2는 모두 실시간 객체 감지에 매력적인 기능을 제공합니다. RTDETRv2는 Transformer가 전역 컨텍스트를 포착하는 방식을 보여주므로, 추론 속도와 메모리 오버헤드가 주요 제약 조건이 아닌 복잡한 공간 추론 작업에 적합합니다.
그러나 속도, 정확도, 리소스 효율성의 균형을 우선시하는 개발자에게는 Ultralytics YOLO 모델이 더 실용적인 선택입니다. YOLOv8의 경량 설계, 사용 편의성, 멀티태스크 지원, 활발한 오픈소스 생태계는 확장 가능한 프로덕션 환경에 적합합니다. 엣지에서 최고의 성능을 원한다면 YOLO26이 NMS 프리 추론과 더 빠른 CPU 속도를 제공합니다.
댓글
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.