YOLOv7와 RTDETRv2#

컴퓨터 비전 분야는 합성곱 신경망(CNNs)과 비전 Transformer(ViTs) 간의 경쟁에 큰 영향을 받으며 빠르게 발전하고 있습니다. 이 기술 비교에서는 고도로 최적화된 CNN 기반 객체 검출기인 YOLOv7과 최첨단 실시간 검출 Transformer인 RTDETRv2라는 두 가지 대표 아키텍처를 자세히 살펴봅니다.

아키텍처 차이, 성능 지표 및 이상적인 배포 시나리오를 분석하면 개발자는 이러한 비전 AI 모델을 프로덕션 파이프라인에 통합할 때 정보에 기반한 결정을 내릴 수 있습니다.

YOLOv7: Bag-of-Freebies CNN 아키텍처#

YOLOv7은 기존 YOLO 제품군에 여러 패러다임 전환적 구조 최적화를 도입하여, 일련의 "학습 가능한 bag-of-freebies"를 통해 실시간 객체 검출의 한계를 확장했습니다.

주요 특징:

• 저자: Chien-Yao Wang, Alexey Bochkovskiy, Hong-Yuan Mark Liao
• 기관: Academia Sinica 정보과학연구소
• 날짜: 2022-07-06
• Arxiv: https://arxiv.org/abs/2207.02696
• GitHub: WongKinYiu/yolov7

아키텍처 및 강점#

YOLOv7은 Extended Efficient Layer Aggregation Network(E-ELAN) 아키텍처를 기반으로 뛰어난 성능을 발휘합니다. 이 구조는 원래의 gradient 경로를 손상시키지 않으면서 모델이 더욱 다양한 feature를 학습할 수 있도록 합니다. 또한 정확도를 저하시키지 않고 inference 속도를 최적화하는 계획된 re-parameterized convolution을 통합합니다. 학습 가능한 bag-of-freebies 접근 방식 덕분에 속도와 정확도 간의 인상적인 균형을 달성하므로, 서버급 GPU에서 실시간 객체 검출 작업에 매우 적합합니다.

YOLOv7은 활용성도 매우 뛰어납니다. 표준 bounding box 검출 외에도 repository에서 pose estimation 및 instance segmentation용 브랜치를 제공하여 높은 적응성을 보여줍니다.

제한 사항#

많은 레거시 CNN 모델과 마찬가지로 YOLOv7은 후처리에 Non-Maximum Suppression(NMS)을 사용합니다. NMS는 특히 혼잡한 장면에서 가변적인 latency를 유발하므로 edge device에서 엄격한 실시간 성능을 보장하기가 복잡해질 수 있습니다.

YOLOv7에 대해 자세히 알아보세요

RTDETRv2: 실시간 Transformer의 발전#

RTDETRv2는 기존 RT-DETR framework를 기반으로 구축되었으며, 높은 공간 정확도를 유지하면서 Transformer가 실시간 latency 측면에서 YOLO 아키텍처와 경쟁할 수 있음을 한층 더 입증합니다.

주요 특징:

• 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
• 조직: Baidu
• 날짜: 2024-07-24
• Arxiv: https://arxiv.org/abs/2407.17140
• GitHub: lyuwenyu/RT-DETR

아키텍처 및 강점#

RTDETRv2는 Vision Transformer의 중요한 발전을 나타냅니다. 유연한 query selection 프로세스와 효율적인 hybrid encoder를 활용하여 multi-scale feature를 빠르게 처리합니다. Detection Transformer(DETRs)에 특화된 새로운 "bag-of-freebies"를 도입하여 공간 추론의 한계를 확장합니다. 기본적으로 NMS가 필요 없으므로 결정론적인 inference 시간을 제공하며, 이는 엄격한 스마트 시티 애플리케이션과 자율주행에 중요한 기능입니다.

제한 사항#

이러한 발전에도 불구하고 RTDETRv2는 Transformer 기반 아키텍처의 전통적인 부담을 안고 있습니다. CNN에 비해 training과 inference 모두에서 훨씬 더 많은 CUDA 메모리를 요구합니다. 또한 training 수렴 시간도 눈에 띄게 길어, 방대한 양의 고품질 주석 데이터(예: COCO dataset)와 높은 computational resource가 필요합니다.

RTDETRv2에 대해 자세히 알아보기

성능 비교#

이러한 모델을 벤치마킹할 때는 precision, raw inference speed 및 computational footprint를 포괄하는 종합적인 관점에서 살펴봐야 합니다. 아래에 직접 비교한 표가 있습니다.

Ultralytics의 강점: 생태계와 발전#

YOLOv7과 RTDETRv2는 강력한 기능을 제공하지만, 이를 프로덕션 환경에 배포하면 물류 및 운영상의 마찰이 드러나는 경우가 많습니다. 이러한 부분에서 Ultralytics 생태계가 뛰어난 성능을 발휘합니다. 원활한 end-to-end 통합을 위해 설계된 Ultralytics framework는 일반적인 컴퓨터 비전 파이프라인의 복잡성을 추상화하는 통합 API를 개발자에게 제공합니다.

탁월한 활용성과 메모리 효율성#

막대한 양의 VRAM을 사용하는 경직된 Transformer 모델과 달리 Ultralytics YOLO 모델은 엄격한 메모리 효율성을 유지합니다. 이를 통해 접근성이 높은 하드웨어에서 신속한 모델 training이 가능합니다. 이 생태계는 단일 codebase에서 image classification과 oriented bounding box(OBB) detection을 포함한 여러 컴퓨터 비전 작업을 기본적으로 지원하여, 현재 RTDETRv2에는 부족한 유연성을 제공합니다.

원활한 배포#

research에서 production으로 전환하려면 강력한 deployment 옵션이 필요합니다. Ultralytics API는 industry-standard format으로의 원클릭 model export를 기본적으로 처리합니다. 플랫폼 간 호환성을 위한 ONNX 또는 GPU 가속을 최대한 활용하기 위한 TensorRT를 대상으로 하든, 파이프라인은 완전히 자동화되고 안정적으로 작동합니다.

궁극적인 업그레이드: Ultralytics YOLO26#

YOLOv7과 RTDETRv2 중에서 고민하는 개발자에게 앞으로 나아갈 최적의 경로는 실제로 비전 AI의 새로운 표준인 Ultralytics YOLO26입니다. 2026년 1월에 출시된 YOLO26은 CNN의 속도와 Transformer의 정교한 추론 간의 격차를 해소하면서 각각의 약점을 완전히 제거합니다.

YOLO26은 server 및 edge deployment 모두에 적합한 획기적인 혁신을 도입합니다.

• End-to-End NMS-Free Design: YOLOv10에서 처음 개척된 이 설계를 통해 YOLO26은 NMS 후처리를 기본적으로 제거합니다. 따라서 Transformer의 부담스러운 computational overhead 없이 RTDETRv2의 결정론적 latency를 보장합니다.
• MuSGD Optimizer: 대규모 language model training 기법(예: Moonshot AI의 Kimi K2)에서 영감을 받은 YOLO26은 SGD와 Muon의 hybrid를 활용합니다. 이를 통해 ViTs에서 사용하는 표준 AdamW 구현보다 전례 없이 안정적인 training과 훨씬 빠른 수렴 시간을 제공합니다.
• ProgLoss + STAL: 이러한 advanced loss function은 small-object recognition을 크게 향상시켜 RTDETRv2의 multi-scale feature 강점과 직접 경쟁하며, robotic automation에 매우 중요합니다.
• Edge Optimization & DFL Removal: Distribution Focal Loss(DFL)를 제거하여 output head를 간소화함으로써 최대 43% 더 빠른 CPU inference를 구현합니다. 따라서 무거운 Transformer 모델보다 edge device에 훨씬 더 쉽게 배포할 수 있습니다.

Ultralytics를 활용한 training 예제#

간단한 Ultralytics Python API를 사용하면 몇 줄의 code만으로 최첨단 YOLO26 모델을 training할 수 있습니다.

from ultralytics import YOLO

# Load the highly efficient YOLO26 small model
model = YOLO("yolo26s.pt")

# Train the model on the COCO8 dataset
# The framework automatically manages data augmentation and hyperparameter tuning
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device="0")

# Effortlessly export to TensorRT for deployment
model.export(format="engine", dynamic=True)

이상적인 사용 사례#

적합한 아키텍처를 선택하는 일은 deployment 제약 조건과 사용 가능한 하드웨어에 크게 좌우됩니다.

YOLOv7을 고려할 때:

• YOLOv7이 확립된 baseline인 레거시 research project.
• raw GPU acceleration이 풍부하고 NMS latency jitter를 허용할 수 있는 환경.

RTDETRv2를 고려해야 하는 경우:

• 절대적으로 가장 높은 mAP가 필요한 high-end server deployment.
• 결정론적 inference latency(NMS-free)가 엄격하게 필요하고, Transformer backbone을 지원할 수 있는 충분한 VRAM을 보유한 시나리오.

Ultralytics YOLO26을 선택해야 하는 경우:

• 거의 항상 그렇습니다. RTDETRv2의 NMS-free 결정론성을 제공하고 YOLOv7의 속도와 정확도를 능가하며 훨씬 적은 VRAM을 사용하고, 간편한 dataset 관리, training 및 deployment를 위해 Ultralytics Platform에 완전히 통합되어 있습니다.