RTDETRv2와 EfficientDet#
최적의 신경망 아키텍처를 선택하는 것은 모든 컴퓨터 비전 프로젝트에서 중요한 결정입니다. 이 종합적인 기술 비교에서는 영향력 있는 두 객체 감지 모델인 최신 Transformer 기반 검출기 RTDETRv2와 확장성이 뛰어난 합성곱 신경망 EfficientDet을 심층적으로 분석합니다. 두 모델의 고유한 아키텍처, 성능 지표, 학습 방법론 및 이상적인 배포 시나리오를 평가하여 AI 파이프라인에 대한 데이터 기반 의사 결정을 지원합니다.
RTDETRv2: 실시간 검출 Transformer#
기존 RT-DETR의 성공을 기반으로 RTDETRv2는 Transformer 기반 객체 감지 패러다임을 개선합니다. 인코더와 디코더 구조를 최적화하여 실시간 추론 속도를 유지하면서도 높은 정확도를 제공하며, 기존 CNN과 비전 Transformer 간의 격차를 효과적으로 해소합니다.
모델 세부 정보
- 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
- 조직: Baidu
- 날짜: 2024-07-24
- 링크: Arxiv, GitHub, 문서
아키텍처 및 핵심 강점#
RTDETRv2는 강력한 CNN 백본(일반적으로 ResNet 또는 HGNet)과 효율적인 Transformer 디코더를 결합한 하이브리드 아키텍처를 활용합니다. RTDETRv2의 가장 큰 특징은 비최대 억제(NMS)를 기본적으로 우회할 수 있다는 점입니다. 기존 검출기는 중복 바운딩 박스를 필터링하기 위해 NMS가 필요하므로 후처리 과정에서 가변적인 추론 지연 시간이 발생합니다. RTDETRv2는 검출을 직접적인 집합 예측 문제로 정의하고, 이분 매칭을 활용하여 고유한 예측 결과를 출력합니다.
이 모델은 GPU 메모리가 풍부한 서버 측 배포에서 뛰어난 성능을 발휘합니다. 전역 어텐션 메커니즘은 탁월한 컨텍스트 인식 기능을 제공하므로 자동화된 보안 경보 시스템이나 밀집된 군중 모니터링과 같이 복잡하고 객체가 겹치는 환경에서 객체를 구분하는 데 매우 효과적입니다.
제한 사항#
강력하지만 Transformer 아키텍처는 표준 CNN에 비해 학습 중 더 많은 CUDA 메모리를 본질적으로 요구합니다. 또한 RTDETRv2를 파인튜닝하려면 학습 데이터의 수렴에 더 긴 시간이 필요할 수 있으므로 신속한 프로토타이핑에 다소 더 많은 리소스가 필요합니다.
EfficientDet: 확장 가능하고 효율적인 CNN#
EfficientDet은 광범위한 리소스 제약 환경에서 정확도와 효율성을 모두 최적화한 객체 감지 모델 제품군을 선보였습니다. EfficientDet은 확장 가능한 머신 비전 설계의 대표적인 사례로 남아 있습니다.
모델 세부 정보
아키텍처 및 핵심 강점#
EfficientDet의 핵심 혁신은 두 가지 영역, 즉 양방향 특징 피라미드 네트워크(BiFPN)와 복합 스케일링 방법에 있습니다. BiFPN은 학습 가능한 가중치를 도입하여 서로 다른 입력 특징의 중요도를 학습하고, 하향식 및 상향식 멀티스케일 특징 융합을 반복 적용함으로써 간단하고 빠른 멀티스케일 특징 추출을 가능하게 합니다. 복합 스케일링 방법은 네트워크의 해상도, 깊이 및 너비를 동시에 균일하게 확장합니다.
EfficientDet 모델은 초경량 D0부터 대규모 D7까지 다양합니다. 따라서 초기 모바일 증강 현실 애플리케이션처럼 개발자가 제한된 연산 예산과 정확도 요구 사항 사이에서 균형을 맞춰야 하는 엣지 AI 배포에 매우 유연하게 활용할 수 있습니다.
제한 사항#
EfficientDet은 앵커 박스와 기존 NMS 후처리 파이프라인에 크게 의존하는 오래된 아키텍처입니다. 앵커 생성 과정에는 세심한 하이퍼파라미터 튜닝이 필요하며, NMS 단계는 Raspberry Pi와 같은 임베디드 하드웨어에서 배포 병목을 일으킬 수 있습니다. 또한 포즈 추정이나 방향성 바운딩 박스(OBB)와 같은 최신 작업을 기본적으로 지원하지 않습니다.
성능 및 지표 비교#
이러한 모델 간의 정확한 트레이드오프를 이해하려면 처리량과 파라미터 효율성을 분석해야 합니다. 아래 표에서는 최신 RTDETRv2 시리즈와 확장 가능한 EfficientDet 제품군을 비교합니다.
| 모델 | 크기 (픽셀) | mAPval 50-95 | 속도 CPU ONNX (ms) | 속도 T4 TensorRT10 (ms) | 파라미터 (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| EfficientDet-d0 | 640 | 34.6 | 10.2 | 3.92 | 3.9 | 2.54 |
| EfficientDet-d1 | 640 | 40.5 | 13.5 | 7.31 | 6.6 | 6.1 |
| EfficientDet-d2 | 640 | 43.0 | 17.7 | 10.92 | 8.1 | 11.0 |
| EfficientDet-d3 | 640 | 47.5 | 28.0 | 19.59 | 12.0 | 24.9 |
| EfficientDet-d4 | 640 | 49.7 | 42.8 | 33.55 | 20.7 | 55.2 |
| EfficientDet-d5 | 640 | 51.5 | 72.5 | 67.86 | 33.7 | 130.0 |
| EfficientDet-d6 | 640 | 52.6 | 92.8 | 89.29 | 51.9 | 226.0 |
| EfficientDet-d7 | 640 | 53.7 | 122.0 | 128.07 | 51.9 | 325.0 |
앞서 살펴본 것처럼 RTDETRv2는 중간급 EfficientDet 모델과 비슷한 파라미터 수에서 훨씬 더 높은 평균 정밀도(mAP)를 달성하며, Transformer 아키텍처를 적극 활용하여 정확도를 향상합니다.
사용 사례 및 권장 사항#
RT-DETR과 EfficientDet 중 어떤 것을 선택할지는 구체적인 프로젝트 요구 사항, 배포 제약 조건 및 생태계 선호도에 따라 달라집니다.
RT-DETR을 선택해야 하는 경우#
RT-DETR이 적합한 경우:
- Transformer 기반 감지 연구: NMS 없이 엔드 투 엔드 객체 감지를 수행하기 위해 attention mechanism과 Transformer 아키텍처를 탐구하는 프로젝트입니다.
- 유연한 latency를 요구하는 고정확도 시나리오: 감지 정확도가 최우선이며 약간 더 높은 추론 latency를 허용할 수 있는 애플리케이션입니다.
- 대형 객체 감지: 주로 medium-to-large 객체가 있는 장면으로, Transformer의 global attention mechanism이 자연스러운 이점을 제공하는 경우입니다.
EfficientDet을 선택해야 하는 경우#
다음과 같은 경우 EfficientDet을 권장합니다:
- Google Cloud 및 TPU 파이프라인: EfficientDet의 네이티브 최적화를 활용할 수 있는 Google Cloud Vision API 또는 TPU 인프라와 긴밀하게 통합된 시스템입니다.
- 복합 스케일링 연구: 균형 잡힌 네트워크 깊이, 너비 및 해상도 스케일링의 영향을 연구하는 데 중점을 둔 학술적 벤치마킹입니다.
- TFLite를 통한 모바일 배포: Android 또는 임베디드 Linux 디바이스에 TensorFlow Lite 형식으로 내보내야 하는 프로젝트입니다.
Ultralytics(YOLO26)를 선택해야 하는 경우#
대부분의 신규 프로젝트에서 Ultralytics YOLO26은 성능과 개발자 경험의 최적 조합을 제공합니다.
- NMS-Free 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관되고 지연 시간이 짧은 추론이 필요한 애플리케이션입니다.
- CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서 YOLO26의 최대 43% 더 빠른 CPU 추론이 결정적인 이점을 제공하는 경우입니다.
- 소형 객체 탐지: 항공 드론 이미지나 IoT 센서 분석처럼 ProgLoss와 STAL이 작은 객체의 정확도를 크게 향상하는 까다로운 시나리오입니다.
Ultralytics 대안: 최신 기술 발전#
RTDETRv2와 EfficientDet 모두 뛰어난 장점을 갖추고 있지만, 현대적인 AI 개발에는 최첨단 성능과 원활한 개발자 경험을 함께 제공하는 프레임워크가 필요합니다. Ultralytics 생태계는 컴퓨터 비전 작업에 훨씬 더 간소화된 접근 방식을 제공합니다.
최신 검출 기술을 살펴보고 있다면, 새롭게 출시된 Ultralytics YOLO26은 CNN과 Transformer의 장점을 모두 결합합니다.
YOLO26은 엔드 투 엔드 NMS 프리 설계를 구현하여 RTDETRv2의 간편한 배포 방식을 초고효율 YOLO 아키텍처에 적용합니다. 또한 LLM 학습 혁신에서 영감을 얻은 MuSGD 옵티마이저를 도입하여 학습 안정성을 향상합니다. DFL 제거(간소화된 내보내기와 향상된 엣지 및 저전력 디바이스 호환성을 위해 Distribution Focal Loss 제거)를 통해 YOLO26은 이전 세대보다 최대 43% 더 빠른 CPU 추론을 제공하므로, 더 무거운 모델보다 엣지 컴퓨팅에 탁월한 선택입니다. 또한 ProgLoss + STAL은 향상된 손실 함수를 제공하며, IoT, 로보틱스 및 항공 이미지에 중요한 소형 객체 인식 성능을 크게 개선합니다.
Ultralytics Python 패키지가 제공하는 사용 편의성은 독보적입니다. 개발자는 일반적으로 연구 리포지토리에 필요한 보일러플레이트 코드를 추상화한 직관적인 API를 사용하여 모델을 학습하고 검증하며 모델을 내보낼 수 있습니다.
from ultralytics import RTDETR
# Load a pre-trained RTDETRv2 model from the Ultralytics ecosystem
model = RTDETR("rtdetr-l.pt")
# Train the model on the COCO8 dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Export for optimized inference on TensorRT
model.export(format="engine")Ultralytics 모델은 인스턴스 세그멘테이션과 이미지 분류를 비롯한 여러 작업을 기본적으로 지원하여 다양한 산업 요구 사항에 활용할 수 있는 유연한 툴킷을 제공합니다. 또한 최신 Ultralytics 모델에서 Distribution Focal Loss(DFL)를 제거하여 계산 그래프를 간소화하고, 임베디드 NPU 및 TPU로 더욱 원활하게 내보낼 수 있습니다.
원활한 데이터 어노테이션과 모델 관리를 위해 Ultralytics Platform은 전체 머신 러닝 수명 주기를 관리할 수 있는 종합적인 클라우드 환경을 제공합니다. 이를 통해 프로덕션 환경에서 강력한 컴퓨터 비전 솔루션을 배포하기 위한 최적의 선택으로 자리매김하고 있습니다.