RTDETRv2와 YOLOv10
컴퓨터 비전의 발전은 주로 속도와 정확도 간 균형을 맞추려는 요구에 따라 이루어졌습니다. 기존 실시간 객체 탐지 파이프라인은 겹치는 경계 상자를 필터링하는 후처리 단계로 비최대 억제(NMS)를 사용해 왔습니다. 그러나 NMS는 지연 시간을 늘리고 임계값 조정을 필요로 합니다. 두 가지 아키텍처 접근 방식은 모델 자체에서 NMS를 제거합니다. RTDETRv2와 같은 Transformer 기반 모델과 YOLOv10과 같은 CNN 기반 모델입니다.
이 가이드에서는 두 모델의 아키텍처, 성능 지표, 적합한 사용 사례를 비교하고, 최신 모델이 현대적인 배포를 위한 Ultralytics 생태계에 어떻게 적용되는지 살펴봅니다.
RTDETRv2: 실시간 탐지 Transformer#
RTDETRv2는 기존 RT-DETR 아키텍처를 기반으로 하며, Vision Transformer의 전역 맥락 이해 능력과 기존에 YOLO 모델이 주도해 온 실시간 속도 요구 사항을 결합하는 것을 목표로 합니다.
주요 특징:
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 기관: Baidu
- 날짜: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: https://github.com/lyuwenyu/RT-DETR/tree/main/rtdetrv2_pytorch
아키텍처 및 학습 방법론#
RTDETRv2는 NMS를 사용하지 않는 엔드투엔드 Transformer 아키텍처입니다. 학습 전략을 최적화하고 멀티스케일 탐지 기능을 통합하는 "Bag-of-Freebies" 접근 방식을 도입하여 이전 버전을 개선했습니다. 모델은 CNN 백본을 사용해 특징 맵(가장자리와 텍스처 같은 시각적 세부 정보)을 추출한 다음 Transformer 인코더-디코더 구조로 처리합니다. 이를 통해 이미지 전체의 맥락을 동시에 분석하므로 객체가 밀집되거나 겹치는 복잡한 장면을 효과적으로 이해할 수 있습니다.
장점과 단점#
장점:
- 전역 맥락: 어텐션 메커니즘을 통해 모델은 복잡하고 혼잡한 환경에서 뛰어난 성능을 발휘합니다.
- NMS 프리: 객체 좌표를 직접 예측하여 배포 파이프라인을 간소화합니다.
- 높은 정확도: COCO 데이터 세트에서 우수한 평균 정밀도(mAP)를 달성합니다.
단점:
- 높은 리소스 사용량: Transformer 아키텍처는 일반적으로 학습 중 CNN보다 CUDA 메모리를 더 많이 사용하므로 표준 하드웨어에서 파인튜닝하는 데 비용이 많이 듭니다.
- 추론 속도의 변동성: 빠른 편이지만, 무거운 어텐션 연산으로 인해 전용 AI 가속기가 없는 엣지 디바이스에서는 컴퓨터 비전 FPS가 낮아질 수 있습니다.
YOLOv10: 실시간 종단 간 객체 감지#
YOLOv10은 CNN 프레임워크 내에서 오랜 NMS 병목 문제를 직접 해결하여 YOLO 객체 감지 계보에 큰 변화를 가져왔습니다.
주요 특징:
- 저자: Ao Wang, Hui Chen, Lihao Liu 외
- 조직: 칭화대학교
- 날짜: 2024-05-23
- arXiv: https://arxiv.org/abs/2405.14458
- GitHub: https://github.com/THU-MIG/yolov10
아키텍처 및 학습 방법론#
YOLOv10의 핵심 혁신은 NMS 프리 학습을 위한 일관된 이중 할당 방식입니다. 학습 중에는 두 개의 감지 헤드를 사용합니다. 하나는 풍부한 감독 신호를 제공하는 일대다 할당 방식(기존 YOLO와 유사)이고, 다른 하나는 NMS가 필요 없도록 하는 일대일 할당 방식입니다. 추론 중에는 일대일 헤드만 사용하여 종단 간 처리를 구현합니다. 또한 저자들은 전체적인 효율성 및 정확도 중심의 모델 설계 전략을 적용하고 다양한 구성 요소를 종합적으로 최적화하여 계산 중복을 줄였습니다.
장점과 단점#
장점:
- 낮은 지연 시간: NMS를 제거하고 아키텍처를 최적화하여 YOLOv10은 매우 낮은 추론 지연 시간을 달성합니다.
- 효율성: 다른 모델과 비슷한 정확도를 달성하는 데 필요한 파라미터와 FLOPs가 더 적어 리소스가 제한된 환경에 매우 적합합니다.
- NMS 프리 배포: 스마트 감시와 같은 엣지 애플리케이션에 더 쉽게 통합할 수 있습니다.
단점:
- 1세대 개념: 이 특정 NMS 프리 아키텍처를 구현한 최초의 YOLO로서 기반을 마련했으며, 이후 모델인 YOLO11과 YOLO26에서 볼 수 있는 멀티태스크 범용성과 최적화는 추가로 발전할 여지를 남겼습니다.
성능 비교#
프로덕션용 모델을 평가할 때는 정확도와 연산 비용을 함께 고려해야 합니다. 아래 표는 COCO에서 RTDETRv2와 YOLOv10의 모델 크기별 장단점을 보여줍니다.
| 모델 | 크기 (픽셀) | mAPval50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv10n | 640 | 38.5 | - | 1.84 | 2.3 | 6.7 |
| YOLOv10s | 640 | 46.3 | - | 2.49 | 7.2 | 21.6 |
| YOLOv10m | 640 | 51.1 | - | 4.74 | 15.4 | 59.1 |
| YOLOv10b | 640 | 52.5 | - | 5.74 | 19.1 | 92.0 |
| YOLOv10l | 640 | 53.2 | - | 7.28 | 24.4 | 120.3 |
| YOLOv10x | 640 | 54.4 | - | 10.70 | 29.5 | 160.4 |
RTDETRv2는 소형, 중형, 대형 모델에서 정확도가 약간 더 높습니다(YOLOv10s, m, l의 46.3, 51.1, 53.2 mAP에 비해 각각 48.1, 51.9, 53.4 mAP). 그러나 YOLOv10은 모든 크기에서 더 빠르고 작습니다. YOLOv10x는 RTDETRv2-x와 비슷한 정확도(54.4 대 54.3 mAP)를 달성하면서 파라미터 수는 76M이 아니라 29.5M이고, TensorRT 지연 시간은 15.03ms가 아니라 10.70ms입니다. 나노 및 소형 모델은 엣지 컴퓨팅 및 AIoT 애플리케이션에 YOLOv10이 매력적인 선택이 되게 합니다.
배치 크기와 VRAM의 제약이 비교적 적은 서버급 GPU에 배포하는 경우, 큰 모델(-x 또는 -l 등)을 선택하면 정확도를 극대화할 수 있습니다. Raspberry Pi나 휴대폰 같은 엣지 디바이스에서는 실시간 프레임 레이트를 유지하도록 nano(-n) 또는 small(-s) 변형을 우선적으로 고려하세요.
사용 사례 및 권장 사항#
RT-DETR과 YOLOv10 중 무엇을 선택할지는 구체적인 프로젝트 요구 사항, 배포 제약 조건, 선호하는 생태계에 따라 달라집니다.
RT-DETR을 선택해야 하는 경우#
RT-DETR은 다음과 같은 경우에 적합합니다:
- Transformer 기반 탐지 연구: NMS를 사용하지 않는 엔드투엔드 객체 탐지를 위해 어텐션 메커니즘과 Transformer 아키텍처를 연구하는 프로젝트입니다.
- 지연 시간 제약이 유연한 고정확도 시나리오: 탐지 정확성이 최우선이며 추론 지연 시간이 약간 높아도 괜찮은 애플리케이션입니다.
- 대형 객체 탐지: 주로 중대형 객체가 있는 장면으로, Transformer의 전역 어텐션 메커니즘이 자연스러운 이점을 제공하는 경우입니다.
YOLOv10을 선택해야 하는 경우#
다음과 같은 경우 YOLOv10을 권장합니다:
- NMS가 필요 없는 실시간 탐지: 비최대 억제 없이 엔드 투 엔드 탐지를 활용하여 배포 복잡성을 줄일 수 있는 애플리케이션입니다.
- 속도와 정확도의 균형: 다양한 모델 규모에서 추론 속도와 탐지 정확도 간의 균형이 중요한 프로젝트입니다.
- 일관된 지연 시간이 필요한 애플리케이션: 로보틱스나 자율 시스템처럼 예측 가능한 추론 시간이 중요한 배포 시나리오입니다.
Ultralytics(YOLO26)를 선택해야 하는 경우#
대부분의 신규 프로젝트에는 성능과 개발자 경험을 가장 잘 조합한 Ultralytics YOLO26을 권장합니다.
- NMS가 필요 없는 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관된 저지연 추론이 필요한 애플리케이션입니다.
- CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서는 YOLO26n의 CPU 추론 속도가 YOLO11n보다 최대 43% 빠르다는 점이 결정적인 이점입니다.
- 작은 객체 탐지: 항공 드론 이미지 분석이나 IoT 센서 분석과 같이 ProgLoss와 STAL이 작은 객체의 정확도를 높이는 까다로운 시나리오입니다.
Ultralytics의 강점: YOLO26 소개#
RTDETRv2와 YOLOv10은 모두 뛰어난 연구 성과이지만, 실제 환경에 배포하려면 잘 관리되는 소프트웨어 생태계가 필요합니다. Ultralytics Platform은 사용 편의성, 폭넓은 문서, 데이터 어노테이션 및 배포 도구를 통합합니다.
2026년에 시작하는 새 프로젝트에는 Ultralytics YOLO26을 권장합니다. 두 아키텍처의 아이디어를 발전시키고 여러 개선 사항을 추가했습니다.
- 엔드투엔드 NMS 프리 설계: YOLO26은 NMS 후처리를 생략하는 선택적 일대일 헤드(
nms=False)를 제공하며, 이는 YOLOv10이 YOLO 모델에 도입한 NMS 프리 학습을 바탕으로 합니다. 그 결과 배포 로직이 더 빠르고 간단해지며 지연 시간도 더 일관적으로 유지됩니다. - DFL 제거: Distribution Focal Loss를 제거하여 YOLO26은 모델 내보내기를 간소화하고 엣지 및 저전력 장치와의 호환성을 높입니다.
- MuSGD 옵티마이저: LLM 학습 기법에서 영감을 받은 SGD와 Muon의 하이브리드 옵티마이저로, 더 안정적인 학습과 빠른 수렴을 지원합니다.
- 최대 43% 빠른 CPU 추론: YOLO26n은 ONNX를 사용해 CPU에서 YOLO11n보다 최대 43% 빠르게 실행되므로 전용 GPU가 없는 환경에 유용합니다.
- ProgLoss + STAL: 점진적 손실(Progressive Loss)과 소형 객체 인식 라벨 할당(Small-Target-Aware Label Assignment, STAL)은 소형 객체 인식 성능을 높이며, 드론을 활용하는 애플리케이션과 IoT 센서에서 특히 중요합니다.
- 멀티태스크 지원: 경계 상자만 지원하는 모델과 달리 YOLO26은 인스턴스 세그멘테이션, 시맨틱 세그멘테이션, 깊이 추정, 이미지 분류, 포즈 추정, OBB 탐지도 지원하며, 포즈 추정을 위한 잔차 로그 우도 추정(RLE)과 같은 작업별 개선 사항도 제공합니다.
Python으로 구현하기#
Ultralytics Python API를 사용한 모델 학습 및 배포는 간편하게 설계되었습니다. Transformer 중심 아키텍처보다 학습 중 메모리 요구량이 낮아 일반 하드웨어에서도 강력한 모델을 학습할 수 있습니다.
from ultralytics import YOLO
# YOLO26 모델 로드(권장)
# 또는 YOLO('yolov10n.pt')를 사용해 YOLOv10 모델 로드
model = YOLO("yolo26n.pt")
# 사용자 지정 데이터셋으로 모델을 학습합니다
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# 엣지 배포를 위해 다양한 형식으로 간편하게 내보내기
model.export(format="onnx", simplify=True)보안 경보 시스템을 구현하든 의료 이미지 분석을 수행하든, 활발한 Ultralytics 커뮤니티가 지원하는 모델을 선택하면 성공에 필요한 도구, 하이퍼파라미터 튜닝 가이드, 지속적인 업데이트를 이용할 수 있습니다. YOLOv10과 RTDETRv2가 NMS-Free 아키텍처의 길을 열었으며, YOLO26은 성능, 다양성, 프로덕션 준비도를 균형 있게 개선했습니다.
댓글
질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.