YOLOv10: 실시간 엔드투엔드 객체 감지

패키지를 기반으로 구축된 YOLOv10은 Ultralytics Python 패키지를 기반으로 구축된 YOLOv10은 실시간 객체 감지에 대한 새로운 접근 방식을 도입하여 이전 YOLO 버전에서 발견된 후처리 및 모델 아키텍처의 결함을 모두 해결했습니다. 비최대 억제(NMS)를 제거하고 다양한 모델 구성 요소를 최적화함으로써 YOLOv10은 계산 오버헤드를 크게 줄이면서 최첨단 성능을 달성합니다. 광범위한 실험을 통해 여러 모델 규모에 걸쳐 정확도와 지연 시간 간의 우수한 절충점을 입증했습니다.

개요

실시간 객체 감지는 짧은 지연 시간으로 이미지에서 객체 범주와 위치를 정확하게 예측하는 것을 목표로 합니다. YOLO 시리즈는 성능과 효율성 사이의 균형으로 인해 이 연구의 선두에 서 있습니다. 그러나 NMS에 대한 의존도와 아키텍처의 비효율성이 최적의 성능을 저해해 왔습니다. YOLOv10은 NMS 없는 훈련을 위한 일관된 이중 과제와 전체적인 효율성-정확도 중심의 모델 설계 전략을 도입하여 이러한 문제를 해결합니다.

아키텍처

YOLOv10의 아키텍처는 이전 YOLO 모델의 강점을 기반으로 몇 가지 주요 혁신을 도입했습니다. 모델 아키텍처는 다음과 같은 구성 요소로 이루어져 있습니다:

1. 백본: 특징 추출을 담당하는 YOLOv10의 백본은 향상된 버전의 CSPNet(교차 단계 부분 네트워크)을 사용하여 그라데이션 흐름을 개선하고 계산 중복성을 줄입니다.
2. Neck: The neck is designed to aggregate features from different scales and passes them to the head. It includes PAN (Path Aggregation Network) layers for effective multi-scale feature fusion.
3. 일대다 헤드: 훈련 중에 객체당 여러 예측을 생성하여 풍부한 감독 신호를 제공하고 학습 정확도를 향상시킵니다.
4. 일대일 헤드: 추론 중에 객체당 하나의 최적 예측을 생성하여 NMS가 필요하지 않으므로 대기 시간을 줄이고 효율성을 개선합니다.

주요 기능

1. NMS 없는 교육: 일관된 이중 할당을 활용하여 NMS의 필요성을 없애고 추론 대기 시간을 줄입니다.
2. 전체론적 모델 설계: 경량 분류 헤드, 공간 채널 분리형 다운 샘플링, 순위 가이드 블록 설계 등 효율성과 정확도 측면에서 다양한 구성 요소를 종합적으로 최적화합니다.
3. 향상된 모델 기능: 대규모 커널 컨볼루션과 부분적인 셀프 어텐션 모듈을 통합하여 큰 계산 비용 없이 성능을 개선합니다.

모델 변형

YOLOv10은 다양한 애플리케이션 요구 사항을 충족할 수 있도록 다양한 모델 스케일로 제공됩니다:

• YOLOv10-N: 리소스가 극도로 제한된 환경을 위한 나노 버전입니다.
• YOLOv10-S: 속도와 정확성의 균형을 맞춘 소형 버전입니다.
• YOLOv10-M: 일반 용도의 중간 버전입니다.
• YOLOv10-B: 정확도를 높이기 위해 폭을 늘린 균형 잡힌 버전입니다.
• YOLOv10-L: 계산 리소스가 증가하지만 정확도가 더 높은 대형 버전입니다.
• YOLOv10-X: 정확도와 성능을 극대화하는 초대형 버전입니다.

성능

YOLOv10은 정확도와 효율성 측면에서 이전 YOLO 버전 및 기타 최신 모델보다 성능이 뛰어납니다. 예를 들어, YOLOv10-S는 COCO 데이터 세트에서 비슷한 AP를 사용하는 RT-DETR-R18보다 1.8배 빠르며, YOLOv10-B는 동일한 성능의 YOLOv9-C보다 지연 시간이 46% 짧고 매개 변수가 25% 더 적습니다.

지연 시간은 T4 GPU에서 TensorRT FP16으로 측정했습니다.

방법론

NMS 없는 교육을 위한 일관된 이중 할당

YOLOv10은 풍부한 감독과 효율적인 엔드투엔드 배포를 보장하기 위해 훈련 중에 일대다 및 일대일 전략을 결합한 이중 레이블 할당을 사용합니다. 일관된 매칭 메트릭은 두 전략 간의 감독을 조정하여 추론 중 예측의 품질을 향상시킵니다.

전체적인 효율성-정확성 중심의 모델 설계

효율성 향상

1. 경량 분류 헤드: 깊이별로 분리 가능한 컨볼루션을 사용하여 분류 헤드의 계산 오버헤드를 줄입니다.
2. 공간-채널 디커플링 다운 샘플링: 공간 감소와 채널 변조를 분리하여 정보 손실과 계산 비용을 최소화합니다.
3. 랭크 가이드 블록 디자인: 내재적 스테이지 리던던시를 기반으로 블록 설계를 조정하여 최적의 파라미터 활용을 보장합니다.

정확도 향상

1. 대형 커널 컨볼루션: 수용 필드를 확대하여 특징 추출 기능을 향상시킵니다.
2. 부분적 자기 주의(PSA): 최소한의 오버헤드로 글로벌 표현 학습을 개선하기 위해 자기 주의 모듈을 통합합니다.

실험 및 결과

YOLOv10은 COCO와 같은 표준 벤치마크에서 광범위하게 테스트되어 우수한 성능과 효율성을 입증했습니다. 이 모델은 다양한 변종에 걸쳐 최첨단 결과를 달성하여 이전 버전 및 기타 최신 탐지기에 비해 지연 시간과 정확도가 크게 향상되었습니다.

비교

다른 최첨단 탐지기와 비교:

• YOLOv10-S / X는 비슷한 정확도로 RT-DETR-R18 / R101보다 1.8배 / 1.3배 빠릅니다.
• YOLOv10-B는 동일한 정확도에서 YOLOv9-C보다 파라미터 수가 25% 더 적고 지연 시간이 46% 더 짧습니다.
• 1.8배 / 2.3배 적은 매개 변수로 YOLOv8-L / X보다 0.3 AP / 0.5 AP 성능이 우수합니다.

다음은 다른 최신 모델과 YOLOv10 변형을 자세히 비교한 것입니다:

사용 예

YOLOv10으로 새로운 이미지를 예측합니다:

from ultralytics import YOLO

# Load a pre-trained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

# Load a COCO-pretrained YOLOv10n model and run inference on the 'bus.jpg' image
yolo detect predict model=yolov10n.pt source=path/to/bus.jpg

사용자 지정 데이터 세트에 대한 YOLOv10 학습용:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Build a YOLOv10n model from scratch and train it on the COCO8 example dataset for 100 epochs
yolo train model=yolov10n.yaml data=coco8.yaml epochs=100 imgsz=640

# Build a YOLOv10n model from scratch and run inference on the 'bus.jpg' image
yolo predict model=yolov10n.yaml source=path/to/bus.jpg

지원되는 작업 및 모드

The YOLOv10 models series offers a range of models, each optimized for high-performance Object Detection. These models cater to varying computational needs and accuracy requirements, making them versatile for a wide array of applications.

Exporting YOLOv10

Due to the new operations introduced with YOLOv10, not all export formats provided by Ultralytics are currently supported. The following table outlines which formats have been successfully converted using Ultralytics for YOLOv10. Feel free to open a pull request if you're able to provide a contribution change for adding export support of additional formats for YOLOv10.

결론

YOLOv10은 이전 YOLO 버전의 단점을 해결하고 혁신적인 설계 전략을 통합하여 실시간 물체 감지의 새로운 표준을 제시합니다. 낮은 계산 비용으로 높은 정확도를 제공하는 이 제품은 다양한 실제 애플리케이션에 이상적인 선택입니다.

인용 및 감사

광범위한 연구와 프레임워크에 크게 기여한 칭화대학교의 YOLOv10 저자들에게 감사의 말씀을 전합니다. Ultralytics 프레임워크

@article{THU-MIGyolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Ao Wang, Hui Chen, Lihao Liu, et al.},
  journal={arXiv preprint arXiv:2405.14458},
  year={2024},
  institution={Tsinghua University},
  license = {AGPL-3.0}
}

자세한 구현, 아키텍처 혁신 및 실험 결과는 칭화대학교 팀의 YOLOv10 연구 논문과 GitHub 리포지토리를 참조하세요.

댓글