YOLOv7과 RTDETRv2

컴퓨터 비전은 합성곱 신경망(CNN)과 비전 Transformer(ViTs) 간의 경쟁 속에서 계속 빠르게 발전하고 있습니다. 이 기술 비교에서는 대표적인 두 아키텍처인 고도로 최적화된 CNN 기반 객체 감지 모델 YOLOv7과 최첨단 실시간 감지 Transformer인 RTDETRv2를 살펴봅니다.

아키텍처 차이, 성능 지표, 적합한 배포 시나리오를 분석하면 개발자가 이러한 비전 AI 모델을 프로덕션 파이프라인에 통합할 때 정보에 기반한 결정을 내릴 수 있습니다.

YOLOv7: Bag-of-Freebies CNN 아키텍처#

YOLOv7은 기존 YOLO 계열에 여러 구조적 최적화를 도입하고, 일련의 "학습 가능한 공짜 성능 향상 기법"을 통해 실시간 객체 감지의 한계를 넓혔습니다.

주요 특징:

아키텍처 및 강점#

YOLOv7은 확장 효율 레이어 집계 네트워크(E-ELAN) 아키텍처를 기반으로 합니다. 이 구조 설계는 기존 그래디언트 경로를 훼손하지 않고 모델이 더욱 다양한 특징을 학습하도록 합니다. 또한 계획된 재매개변수화 합성곱을 적용하여 정확도를 떨어뜨리지 않으면서 추론 속도를 최적화합니다. 학습 가능한 공짜 성능 향상 기법을 통해 속도와 정확도 사이에서 뛰어난 균형을 이루므로 서버급 GPU에서 실시간 객체 감지 작업을 수행하는 데 적합합니다.

YOLOv7은 활용 범위도 넓습니다. 저장소에서는 일반적인 바운딩 박스 감지 외에도 인스턴스 세그멘테이션과 포즈 추정 브랜치를 제공하여 높은 적응성을 보여 줍니다.

제한 사항#

이전의 많은 CNN 모델과 마찬가지로 YOLOv7은 후처리에 비최대 억제(NMS)를 사용합니다. NMS는 특히 객체가 밀집된 장면에서 지연 시간을 변동시키므로, 엣지 디바이스에서 엄격한 실시간 성능을 보장하기 어렵게 만들 수 있습니다.

YOLOv7에 대해 자세히 알아보기

RTDETRv2: 실시간 Transformer의 발전#

RTDETRv2는 기존 RT-DETR 프레임워크를 바탕으로 하며, Transformer가 높은 공간 정확도를 유지하면서 실시간 지연 시간 측면에서 YOLO 아키텍처와 경쟁할 수 있음을 더욱 입증합니다.

주요 특징:

아키텍처 및 강점#

RTDETRv2는 비전 Transformer의 중요한 발전을 보여 줍니다. 유연한 쿼리 선택 프로세스와 효율적인 하이브리드 인코더를 활용해 멀티스케일 특징을 빠르게 처리합니다. Detection Transformer(DETR)에 특화된 새로운 "공짜 성능 향상 기법"을 도입하여 추론 비용을 늘리지 않고 정확도를 높입니다. NMS-Free 방식이므로 추론 시간이 더 예측 가능하며, 이는 스마트 시티 애플리케이션과 자율 주행에 유용합니다.

제한 사항#

발전된 기능에도 불구하고 RTDETRv2는 Transformer 기반 아키텍처의 전통적인 부담을 안고 있습니다. CNN보다 학습과 추론 모두에서 훨씬 더 많은 CUDA 메모리가 필요합니다. 또한 학습 수렴에 걸리는 시간도 눈에 띄게 길어 COCO 데이터셋과 같은 고품질 어노테이션 데이터와 상당한 컴퓨팅 리소스가 필요합니다.

RTDETRv2에 대해 자세히 알아보기

성능 비교#

이 모델들의 벤치마크를 살펴볼 때는 정확도, 순수 추론 속도, 컴퓨팅 리소스를 함께 고려하는 것이 좋습니다. 아래에서 두 모델을 직접 비교합니다.

모델크기
(픽셀)
mAPval50-95속도
CPU ONNX
(ms)
속도
T4 TensorRT10
(ms)
파라미터
(M)
FLOPs
(B)
YOLOv7l64051.4-6.8436.9104.7
YOLOv7x64053.1-11.5771.3189.9
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
벤치마크 해석

RTDETRv2-x는 54.3%로 가장 높은 mAPval50-95를 달성하지만, 259 billion FLOPs가 필요합니다. 반면 YOLOv7 아키텍처는 탄탄한 기준 성능을 제공하지만, 순수 네트워크 지연 시간 지표에는 포함되지 않는 NMS 오버헤드가 추가됩니다.

Ultralytics의 강점: 생태계와 발전#

YOLOv7과 RTDETRv2는 강력한 기능을 제공하지만, 프로덕션 환경에 배포하면 운영상의 마찰이 드러나는 경우가 많습니다. Ultralytics 생태계는 이러한 마찰을 줄이도록 설계되었으며, 일반적인 컴퓨터 비전 파이프라인의 복잡성을 추상화하는 통합 API를 개발자에게 제공합니다.

다재다능함과 메모리 효율성#

많은 VRAM이 필요한 Transformer 모델과 달리 Ultralytics YOLO 모델은 메모리 효율성이 높습니다. 따라서 접근성이 높은 하드웨어에서 모델 학습을 빠르게 수행할 수 있습니다. 이 생태계는 단일 코드베이스에서 이미지 분류와 방향 바운딩 박스(OBB) 감지를 비롯한 여러 컴퓨터 비전 작업을 기본 지원하여, 현재 RTDETRv2에는 없는 유연성을 제공합니다.

배포#

연구에서 프로덕션으로 전환하려면 강력한 배포 옵션이 필요합니다. Ultralytics API를 사용하면 한 번의 호출로 업계 표준 형식으로 모델 내보내기를 수행할 수 있습니다. 플랫폼 간 호환성을 위한 ONNX 또는 GPU 가속을 극대화하기 위한 TensorRT를 대상으로 하든 변환이 자동화됩니다.

Ultralytics YOLO26으로 업그레이드하기#

YOLOv7과 RTDETRv2 중에서 선택하려는 개발자에게는 Ultralytics YOLO26을 권장합니다. 2026년 1월에 출시된 YOLO26은 CNN의 속도와 Transformer의 엔드투엔드 추론을 결합하는 동시에 각 아키텍처의 여러 약점을 해결합니다.

YOLO26은 서버와 엣지 배포 모두를 위한 여러 혁신을 도입합니다.

  • 엔드투엔드 NMS 프리 설계: YOLOv10이 YOLO 모델에 도입한 NMS 프리 학습을 바탕으로, YOLO26은 선택적 NMS 프리 헤드(nms=False)를 제공합니다. 이 헤드는 NMS 후처리를 생략합니다. 이를 통해 트랜스포머의 연산 오버헤드 없이 RTDETRv2의 예측 가능한 지연 시간을 구현합니다.
  • MuSGD 옵티마이저: 대규모 언어 모델 학습 기법(Moonshot AI의 Kimi K2 등)에서 영감을 얻은 YOLO26은 SGD와 Muon의 하이브리드 방식을 활용합니다. 이는 여러 ViT에서 사용하는 표준 AdamW 설정과 비교해 학습 안정성과 수렴 속도를 개선합니다.
  • ProgLoss + STAL: 점진적 손실과 소형 객체 인식형 레이블 할당은 소형 객체 인식을 개선합니다. 이를 통해 로봇 자동화에서 중요한 RTDETRv2의 멀티스케일 특징 장점과 직접 경쟁할 수 있습니다.
  • 엣지 최적화 및 DFL 제거: Distribution Focal Loss(DFL)를 제거하여 YOLO26은 출력 헤드를 간소화합니다. YOLO26n은 YOLO11n보다 CPU에서 최대 43% 빠르게 실행되므로, 대형 Transformer 모델보다 엣지 디바이스에 훨씬 쉽게 배포할 수 있습니다.

Ultralytics 학습 예제#

간결한 Ultralytics Python API를 사용하면 몇 줄의 코드만으로 YOLO26s 모델을 학습할 수 있습니다.

from ultralytics import YOLO

# YOLO26 소형 모델을 불러옵니다
model = YOLO("yolo26s.pt")

# COCO8 데이터셋으로 모델 학습
# 프레임워크가 데이터 증강과 옵티마이저 선택을 자동으로 관리합니다
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device="0")

# 배포를 위해 TensorRT로 내보내기
model.export(format="engine", dynamic=True)

적합한 사용 사례#

적절한 아키텍처를 선택하려면 배포 제약과 하드웨어 가용성을 면밀히 고려해야 합니다.

YOLOv7을 고려할 경우:

  • YOLOv7이 확립된 기준 모델인 기존 연구 프로젝트.
  • GPU 가속 리소스가 풍부하고 NMS 지연 시간 변동을 허용할 수 있는 환경.

RTDETRv2를 고려할 시점:

  • 최고 수준의 mAP가 필요한 고성능 서버 배포.
  • 예측 가능한 NMS-Free 추론 지연 시간이 반드시 필요한 시나리오이며, Transformer 백본을 지원할 VRAM이 있는 경우에 적합합니다.

Ultralytics YOLO26을 선택할 시점:

  • 대부분의 신규 프로젝트. RTDETRv2와 같은 선택적 NMS-Free 추론을 제공하고, YOLOv7보다 빠르고 정확하며, VRAM을 적게 사용합니다. 또한 데이터셋 관리, 학습, 배포를 위한 Ultralytics Platform에 완전히 통합되어 있습니다.
다른 모델 살펴보기

다른 아키텍처의 성능이 궁금하신가요? YOLO11과 YOLOv8 같은 이전 세대를 살펴보거나, 하이퍼파라미터 튜닝으로 프로젝트의 정확도를 높이는 방법을 알아보세요.

댓글

질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.