RTDETRv2와 EfficientDet

최적의 신경망 아키텍처를 선택하는 일은 모든 컴퓨터 비전 프로젝트에서 핵심적인 결정입니다. 이 기술 비교에서는 영향력 있는 두 객체 탐지 모델인 실시간 Transformer 기반 탐지기 RTDETRv2와 확장성이 뛰어난 합성곱 신경망 EfficientDet을 살펴봅니다. 데이터 기반으로 AI 파이프라인을 결정할 수 있도록 아키텍처, 성능 지표, 학습 방식, 가장 적합한 배포 시나리오를 평가합니다.

RTDETRv2: 실시간 감지 Transformer#

기존 RT-DETR의 성공을 바탕으로 RTDETRv2는 Transformer 기반 객체 감지 패러다임을 개선합니다. 인코더와 디코더 구조를 최적화하여 실시간 추론 속도를 유지하면서 높은 정확도를 제공함으로써 기존 CNN과 비전 Transformer 간의 격차를 효과적으로 해소합니다.

모델 세부 정보

  • 저자: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang, Yi Liu
  • 기관: Baidu
  • 날짜: 2024-07-24
  • 링크: arXiv, GitHub, 문서

아키텍처 및 핵심 강점#

RTDETRv2는 강력한 CNN 백본(주로 ResNet 또는 HGNet)과 효율적인 Transformer 디코더를 결합한 하이브리드 아키텍처를 사용합니다. RTDETRv2의 가장 두드러진 특징은 비최대 억제(NMS)를 우회하는 네이티브 기능입니다. 기존 탐지기는 중복 바운딩 박스를 걸러내기 위해 NMS가 필요하며, 후처리 과정에서 가변적인 추론 지연 시간이 발생합니다. RTDETRv2는 탐지를 직접적인 집합 예측 문제로 정의하고 이분 매칭을 사용해 중복 없는 예측 결과를 출력합니다.

이 모델은 GPU 메모리가 충분한 서버 측 배포 환경에서 가장 뛰어난 성능을 발휘합니다. 전역 어텐션 메커니즘으로 강력한 컨텍스트 인식 기능을 제공하므로, 자동화된 보안 경보 시스템이나 밀집 군중 모니터링처럼 혼잡하고 복잡한 환경에서 겹치는 객체를 구분하는 데 적합합니다.

제한 사항#

Transformer 아키텍처는 강력하지만, 학습 시 표준 CNN보다 본질적으로 더 많은 CUDA 메모리를 요구합니다. 또한 RTDETRv2를 미세 조정하면 새로운 학습 데이터에서 수렴하는 데 더 오래 걸릴 수 있어, 신속한 프로토타이핑에 더 많은 리소스가 필요합니다.

RTDETRv2 자세히 알아보기

EfficientDet: 확장 가능하고 효율적인 CNN#

EfficientDet은 폭넓은 리소스 제약 조건에서 정확도와 효율성을 모두 최적화한 객체 감지 모델 제품군을 선보였습니다. 확장 가능한 머신 비전 설계의 대표적인 사례로 자리 잡고 있습니다.

모델 세부 정보

아키텍처 및 핵심 강점#

EfficientDet의 혁신은 양방향 특징 피라미드 네트워크(BiFPN)와 복합 스케일링 방식이라는 두 가지 핵심 요소에 있습니다. BiFPN은 학습 가능한 가중치를 도입해 다양한 입력 특징의 중요도를 학습하고, 하향식 및 상향식 멀티스케일 특징 융합을 반복 적용함으로써 간단하고 빠른 특징 추출을 구현합니다. 복합 스케일링 방식은 네트워크의 해상도, 깊이, 너비를 동시에 균일하게 조정합니다.

EfficientDet 모델은 경량 D0부터 훨씬 큰 D7까지 다양합니다. 따라서 초기 모바일 증강 현실 애플리케이션처럼 제한된 계산 예산과 정확도 요구 사항의 균형을 맞춰야 하는 엣지 AI 배포에 유용합니다.

제한 사항#

EfficientDet은 앵커 박스와 기존 NMS 후처리 파이프라인에 크게 의존하는 구형 아키텍처입니다. 앵커를 생성하려면 세심한 하이퍼파라미터 튜닝이 필요하며, NMS 단계는 Raspberry Pi와 같은 임베디드 하드웨어에서 배포 병목이 될 수 있습니다. 또한 자세 추정이나 회전 바운딩 박스(OBB)와 같은 최신 작업을 기본적으로 지원하지 않습니다.

EfficientDet에 대해 자세히 알아보기

성능 및 지표 비교#

이러한 모델 간의 정확한 절충점을 파악하려면 처리량과 파라미터 효율성을 분석해야 합니다. 아래 표는 최신 RTDETRv2 시리즈와 확장 가능한 EfficientDet 제품군을 비교합니다.

모델크기
(픽셀)
mAPval50-95속도
CPU ONNX
(ms)
속도
T4 TensorRT10
(ms)
파라미터
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
EfficientDet-d051234.6-3.923.92.54
EfficientDet-d164040.5-7.316.66.1
EfficientDet-d276843.0-10.928.111.0
EfficientDet-d389647.5-19.5912.024.9
EfficientDet-d4102449.7-33.5520.755.2
EfficientDet-d5128051.5-67.8633.7130.0
EfficientDet-d6128052.6-89.2951.9226.0
EfficientDet-d7153653.7-128.0751.9325.0

위의 결과에서 볼 수 있듯이 RTDETRv2는 비슷한 크기의 EfficientDet 모델과 평균 정밀도(mAP)가 같거나 더 높으면서도 GPU에서 훨씬 빠르게 실행됩니다(예: RTDETRv2-l은 9.76ms에 53.4 mAP, EfficientDet-d6은 89.29ms에 52.6 mAP). 이는 Transformer 아키텍처를 활용해 정확도를 높인 결과입니다.

사용 사례 및 권장 사항#

RT-DETR과 EfficientDet 중에서 선택할 때는 구체적인 프로젝트 요구 사항, 배포 제약 조건, 선호하는 생태계를 고려해야 합니다.

RT-DETR을 선택해야 하는 경우#

RT-DETR은 다음과 같은 경우에 적합합니다:

  • Transformer 기반 탐지 연구: NMS를 사용하지 않는 엔드투엔드 객체 탐지를 위해 어텐션 메커니즘과 Transformer 아키텍처를 연구하는 프로젝트입니다.
  • 지연 시간 제약이 유연한 고정확도 시나리오: 탐지 정확성이 최우선이며 추론 지연 시간이 약간 높아도 괜찮은 애플리케이션입니다.
  • 대형 객체 탐지: 주로 중대형 객체가 있는 장면으로, Transformer의 전역 어텐션 메커니즘이 자연스러운 이점을 제공하는 경우입니다.

EfficientDet을 선택해야 하는 경우#

다음과 같은 경우 EfficientDet을 권장합니다.

  • Google Cloud 및 TPU 파이프라인: EfficientDet의 참조 구현이 TPU 학습을 지원하는 Google Cloud TPU 인프라에서 TensorFlow 기반 시스템을 사용하는 경우입니다.
  • 복합 스케일링 연구: 네트워크 깊이, 너비, 해상도를 균형 있게 조정하는 효과를 연구하는 데 중점을 둔 학술 벤치마킹입니다.
  • LiteRT를 통한 모바일 배포: Android 또는 임베디드 Linux 장치용으로 LiteRT(구 TensorFlow Lite) 내보내기가 필요한 프로젝트입니다.

Ultralytics(YOLO26)를 선택해야 하는 경우#

대부분의 신규 프로젝트에는 성능과 개발자 경험을 가장 잘 조합한 Ultralytics YOLO26을 권장합니다.

  • NMS가 필요 없는 엣지 배포: 비최대 억제 후처리의 복잡성 없이 일관된 저지연 추론이 필요한 애플리케이션입니다.
  • CPU 전용 환경: 전용 GPU 가속 기능이 없는 디바이스에서는 YOLO26n이 YOLO11n보다 CPU 추론 속도가 최대 43% 빨라 확실한 이점을 제공합니다.
  • 작은 객체 탐지: 항공 드론 이미지나 IoT 센서 분석과 같이 작은 객체의 정확도를 ProgLoss와 STAL이 크게 높여 주는 까다로운 시나리오입니다.

Ultralytics의 대안#

RTDETRv2와 EfficientDet 모두 뚜렷한 장점이 있지만, 최신 AI 개발에는 높은 성능과 함께 원활한 개발자 경험을 제공하는 프레임워크가 필요합니다. Ultralytics 생태계는 컴퓨터 비전 작업을 훨씬 간소화된 방식으로 지원합니다.

최신 탐지 옵션을 살펴보고 있다면 새로 출시된 Ultralytics YOLO26은 CNN과 Transformer의 장점을 결합합니다.

YOLO26을 선택해야 하는 이유

YOLO26은 선택형 엔드투엔드 NMS 프리 설계(nms=False)를 구현하여 RTDETRv2의 간편한 배포 방식을 효율적인 YOLO 아키텍처에 적용합니다. 또한 LLM 학습 기법에서 영감을 얻은 MuSGD 옵티마이저를 도입해 학습 안정성을 높였습니다. DFL 제거(간소화된 내보내기와 엣지 및 저전력 디바이스 호환성 개선을 위해 Distribution Focal Loss 제거)를 통해 YOLO26n은 YOLO11n보다 CPU 추론 속도가 최대 43% 빠르며, 더 무거운 모델보다 엣지 컴퓨팅에 적합합니다. ProgLoss + STAL(Progressive Loss 및 작은 객체를 고려한 레이블 할당)은 IoT, 로보틱스, 항공 이미지 분석에 중요한 작은 객체 인식 성능도 크게 향상합니다.

Ultralytics Python 패키지는 사용 편의성을 고려해 설계되었습니다. 개발자는 직관적인 API를 사용해 모델을 학습하고 검증하며 내보낼 수 있으므로, 연구용 저장소에서 일반적으로 필요한 상용구 코드를 직접 작성하지 않아도 됩니다.

from ultralytics import RTDETR

# Ultralytics 생태계에서 사전 학습된 RT-DETR 모델을 불러옵니다
model = RTDETR("rtdetr-l.pt")

# COCO8 데이터셋으로 모델 학습
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# TensorRT에서 최적화된 추론을 위해 내보냅니다
model.export(format="engine")

Ultralytics 모델은 인스턴스 분할과 이미지 분류를 포함한 여러 작업을 네이티브로 지원하여 다양한 산업 요구에 맞는 유연한 도구를 제공합니다. 최신 Ultralytics 모델에서 Distribution Focal Loss(DFL)를 제거하면 계산 그래프도 간소화되어 임베디드 NPU 및 TPU로 더 원활하게 내보낼 수 있습니다.

데이터 어노테이션과 모델 관리를 위해 Ultralytics Platform은 전체 머신러닝 라이프사이클을 지원하는 포괄적인 클라우드 환경을 제공합니다. 따라서 프로덕션에서 안정적인 컴퓨터 비전 솔루션을 배포하기에 적합합니다.

댓글

질문을 하거나 결과를 공유하거나 다른 사람을 도와주세요.