RTDETRv2와 YOLO11

새로운 컴퓨터 비전 아키텍처는 엣지 장치와 클라우드 서버에서 가능한 작업의 범위를 계속 넓히고 있습니다. RTDETRv2와 YOLO11은 실시간 객체 탐지에 널리 사용되는 두 가지 옵션입니다. 두 모델 모두 성능이 뛰어나지만, Transformer 기반 탐지기와 고도로 최적화된 합성곱 신경망(CNN)이라는 서로 다른 아키텍처 접근 방식을 대표합니다.

이 비교에서는 두 모델의 아키텍처, 성능 지표, 학습 방법론, 적합한 사용 사례를 살펴보고 다음 애플리케이션에 적합한 모델을 선택할 수 있도록 안내합니다.

RTDETRv2: Transformer 기반 도전자#

원래의 실시간 탐지 Transformer를 발전시켜 도입된 RTDETRv2는 CNN 백본에서 추출한 멀티스케일 특징에 어텐션 메커니즘을 적용합니다. 하이브리드 인코더와 Transformer 디코더가 이미지의 전역 맥락을 포착하므로, 복잡한 장면에서 크게 겹친 객체를 탐지하는 데 효과적입니다.

모델 세부 정보:

아키텍처의 강점과 약점#

RTDETRv2의 핵심 혁신은 엔드투엔드 NMS-Free 아키텍처입니다. 비최대 억제(NMS)를 제거하여 후처리 파이프라인을 간소화합니다. 또한 멀티스케일 특징 추출 기능이 기존 RT-DETR 모델보다 개선되어 크기가 다양한 객체를 더 정확하게 식별할 수 있습니다.

그러나 Transformer에 의존하기 때문에 RTDETRv2는 학습 중 메모리 요구량이 더 높은 편입니다. Transformer는 일반적으로 수렴 속도가 더 느리고 기존 CNN보다 CUDA 메모리를 더 많이 사용하므로, 일반 소비자용 하드웨어를 사용하는 연구자나 리소스가 제한된 엣지 AI 환경에 배포하는 사용자에게는 접근성이 떨어집니다.

RTDETRv2 자세히 알아보기

Ultralytics YOLO11: CNN 효율성#

이전 YOLO 연구를 발전시킨 Ultralytics YOLO11은 속도와 정확도 간 균형을 개선하도록 CNN 아키텍처를 다듬으면서, 유연하고 개발자 친화적인 Ultralytics 생태계를 유지합니다.

모델 세부 정보:

Ultralytics의 강점#

YOLO11의 주요 강점은 성능 균형입니다. 속도와 정확도 간 균형 덕분에 대규모 클라우드 컴퓨팅 클러스터부터 경량 모바일 장치까지 다양한 배포 시나리오에 적합합니다.

Ultralytics YOLO 모델은 학습 및 추론 중 메모리도 더 적게 사용합니다. VRAM을 빠르게 소진할 수 있는 Transformer 모델과 달리 YOLO11은 일반 GPU에서 더 큰 배치 크기를 사용할 수 있습니다. YOLO11은 객체 탐지를 넘어 다양성도 제공하며, 인스턴스 세그멘테이션, 이미지 분류, 포즈 추정, 회전 경계 상자(OBB)를 기본적으로 지원합니다.

성능 및 지표 비교#

아래 표는 COCO 정확도와 속도를 비교합니다. RTDETRv2는 소형 및 중형 모델에서 정확도가 약간 더 높지만, YOLO11은 나노 모델을 포함한 5가지 크기를 제공하고 크기가 비슷한 모든 모델에서 TensorRT 지연 시간이 더 낮습니다.

모델크기
(픽셀)
mAPval50-95속도
CPU ONNX
(ms)
속도
T4 TensorRT10
(ms)
파라미터
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLO11n64039.556.11.52.66.5
YOLO11s64047.090.02.59.421.6
YOLO11m64051.5183.24.720.168.1
YOLO11l64053.4238.66.225.387.2
YOLO11x64054.7462.811.356.9195.3

YOLO11x는 54.7% mAPval를 달성하여 RTDETRv2-x보다 0.4포인트 높고, FLOPs는 더 적으며(195.3B 대 259B), TensorRT 추론도 더 빠릅니다(11.3ms 대 15.03ms). YOLO11l은 6.2ms에 실행되면서 RTDETRv2-l과 동일한 53.4%를 달성합니다. RTDETRv2-s와 -m은 YOLO11s와 -m보다 각각 1.1포인트와 0.4포인트 앞서지만 지연 시간은 1.6~2배 높습니다. YOLO11 나노 및 소형 모델은 Raspberry Pi와 같이 리소스가 제한된 장치에 적합한 경량 옵션입니다.

생태계, 사용 편의성, 학습#

Ultralytics 모델은 간편한 사용자 경험을 제공하도록 설계되었습니다. ultralytics Python 패키지는 데이터 증강, 분산 학습, 모델 내보내기를 처리하는 통합 API를 제공합니다. RTDETRv2 연구 리포지토리는 더 많은 상용구 코드와 구성이 필요한 반면, Ultralytics는 데이터부터 배포까지 전체 파이프라인을 제공합니다.

Ultralytics 패키지는 YOLO 모델과 함께 RT-DETR 모델도 실행하므로, 두 모델 모두 실험 추적을 위한 Weights & Biases 및 Comet 통합을 비롯한 Ultralytics의 잘 관리되는 생태계를 활용할 수 있습니다.

from ultralytics import RTDETR, YOLO

# Ultralytics API를 통해 RTDETR 모델 로드
model_rtdetr = RTDETR("rtdetr-l.pt")

# 고도로 최적화된 YOLO11 모델 로드
model_yolo = YOLO("yolo11n.pt")

# 메모리를 매우 효율적으로 사용하여 YOLO11 학습
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)

# 학습된 YOLO 모델을 ONNX 형식으로 내보내기
model_yolo.export(format="onnx")
워크플로 간소화

머신러닝에서는 학습 효율이 중요합니다. Ultralytics 모델은 사전 학습된 가중치에서 시작하므로 사용자 지정 데이터에 대한 전이 학습이 빠르게 수렴합니다. 코드를 작성하지 않고 데이터셋, 학습 실행, 배포 엔드포인트를 관리하려면 통합된 MLOps 워크플로를 제공하는 Ultralytics Platform을 사용하세요.

실제 애플리케이션#

이러한 아키텍처 중 무엇을 선택할지는 프로젝트의 구체적인 배포 제약 조건에 따라 결정되는 경우가 많습니다.

RTDETRv2가 강점을 보이는 분야: RTDETRv2의 Transformer 백본은 전역 맥락이 필요한, 객체가 밀집되어 있고 심하게 가려지는 시나리오에서 매우 효과적입니다. 객체 간 관계 모델링보다 연산 예산이 덜 중요한 애플리케이션과 학술 연구에서 자주 사용됩니다.

YOLO11이 강점을 보이는 분야: YOLO11은 실용적인 실제 환경 배포에 적합합니다. 작은 메모리 사용량과 빠른 추론 속도 덕분에 다음과 같은 상황에 잘 맞습니다.

  • 스마트 제조: 산업용 PC를 사용해 생산 라인에서 실시간 결함 감지를 수행합니다.
  • 농업: 드론에 배포해 작물 상태를 실시간으로 모니터링하고 수확 로봇을 자동화합니다.
  • 리테일 분석: 대규모 서버 클러스터 없이 여러 카메라 스트림을 동시에 처리하여 대기열 관리와 재고 추적을 수행합니다.

사용 사례 및 권장 사항#

RT-DETR과 YOLO11 중 무엇을 선택할지는 구체적인 프로젝트 요구 사항, 배포 제약 조건, 선호하는 생태계에 따라 달라집니다.

RT-DETR을 선택해야 하는 경우#

RT-DETR은 다음과 같은 경우에 적합합니다:

  • Transformer 기반 탐지 연구: NMS를 사용하지 않는 엔드투엔드 객체 탐지를 위해 어텐션 메커니즘과 Transformer 아키텍처를 연구하는 프로젝트입니다.
  • 지연 시간 제약이 유연한 고정확도 시나리오: 탐지 정확성이 최우선이며 추론 지연 시간이 약간 높아도 괜찮은 애플리케이션입니다.
  • 대형 객체 탐지: 주로 중대형 객체가 있는 장면으로, Transformer의 전역 어텐션 메커니즘이 자연스러운 이점을 제공하는 경우입니다.

YOLO11을 선택해야 하는 경우#

YOLO11은 다음과 같은 경우에 권장됩니다:

  • 프로덕션 엣지 배포: 안정성과 지속적인 유지 관리가 중요한 Raspberry Pi 또는 NVIDIA Jetson과 같은 장치의 상용 애플리케이션입니다.
  • 멀티태스크 비전 애플리케이션: 탐지, 분할, 분류, 자세 추정, OBB를 단일 통합 프레임워크에서 처리해야 하는 프로젝트입니다.
  • 신속한 프로토타이핑 및 배포: 간소화된 Ultralytics Python API를 사용하여 데이터 수집부터 프로덕션 배포까지 빠르게 진행해야 하는 팀에 적합합니다.

Ultralytics(YOLO26)를 선택해야 하는 경우#

대부분의 신규 프로젝트에는 성능과 개발자 경험을 가장 잘 조합한 Ultralytics YOLO26을 권장합니다.

  • NMS가 필요 없는 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관된 저지연 추론이 필요한 애플리케이션입니다.
  • CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서는 YOLO26n의 CPU 추론 속도가 YOLO11n보다 최대 43% 빠르다는 점이 결정적인 이점입니다.
  • 작은 객체 탐지: 항공 드론 이미지 분석이나 IoT 센서 분석과 같이 ProgLoss와 STAL이 작은 객체의 정확도를 높이는 까다로운 시나리오입니다.

향후 전망: YOLO26의 등장#

새 프로젝트를 시작한다면 2026년 1월에 출시된 Ultralytics 권장 모델인 Ultralytics YOLO26도 고려해 보세요. YOLO26은 두 접근 방식의 아이디어를 결합합니다. 선택적 엔드투엔드 NMS 프리 헤드(nms=False, YOLOv10이 YOLO 모델에 도입)는 RTDETRv2처럼 NMS 후처리를 제거하면서 CNN의 속도를 유지합니다.

YOLO26은 LLM 학습 기법에서 영감을 얻은 MuSGD 옵티마이저를 사용하여 안정적이고 빠르게 수렴합니다. 또한 Distribution Focal Loss(DFL)를 제거한 덕분에 YOLO26n은 YOLO11n보다 CPU 추론 속도가 최대 43% 빠릅니다. 점진적 손실(Progressive Loss)과 소형 객체 인식 라벨 할당(ProgLoss + STAL)은 소형 객체 인식 성능을 높여 YOLO26을 새로운 컴퓨터 비전 파이프라인에 권장되는 모델로 만듭니다.

검증된 다양성을 위해 YOLO11을 선택하든, 어텐션 메커니즘을 위해 RTDETRv2를 선택하든, 엣지 성능을 위해 YOLO26을 선택하든 Ultralytics 문서에서 YOLO11, YOLO26, 기존 RT-DETR의 학습 및 배포 방법을 확인할 수 있습니다.

댓글1

질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.

  1. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for starting this discussion about comparing RTDETRv2 and YOLO11 🚀! We’re thrilled to see your interest in exploring the strengths and ideal use cases of these models.

    For those looking to dive deeper, the Comparison Guide is a great resource to start with. It highlights key differences and performance metrics, helping you make informed decisions based on your project needs.

    If you have specific questions about YOLO11 performance or implementation, feel free to provide more details so we can assist better. For custom training or real-world applications, including dataset examples or logs would be immensely helpful!

    💡 Pro Tip: Keep your ultralytics package up to date to leverage the latest features and fixes. Simply run:

    pip install -U ultralytics

    For real-time discussions, join our Discord 🎧. Alternatively, connect with our community on Discourse or our Subreddit to share insights and experiences.

    An Ultralytics engineer will review and assist with your discussion soon. Stay tuned! 😊