YOLOv10: обнаружение объектов в реальном времени от начала до конца#

YOLOv10, выпущенная в мае 2024 года и созданная на базе пакета Ultralytics для Python исследователями из Университета Цинхуа, представляет новый подход к обнаружению объектов в реальном времени, устраняя недостатки постобработки и архитектуры моделей, характерные для предыдущих версий YOLO. Благодаря устранению подавления немаксимумов (NMS) и оптимизации различных компонентов модели YOLOv10 при выпуске продемонстрировала отличную производительность при значительно меньших вычислительных затратах. Архитектура без NMS с обработкой от начала до конца положила начало подходу, который получил дальнейшее развитие в YOLO26.

Обзор#

Обнаружение объектов в реальном времени направлено на точное предсказание категорий и положения объектов на изображениях с низкой задержкой. Серия YOLO занимает передовые позиции в этом направлении благодаря балансу производительности и эффективности. Однако зависимость от NMS и неэффективность архитектуры препятствовали достижению оптимальной производительности. YOLOv10 решает эти проблемы, вводя согласованные двойные назначения для обучения без NMS и стратегию целостного проектирования моделей с учетом эффективности и точности.

Архитектура#

Архитектура YOLOv10 опирается на сильные стороны предыдущих моделей YOLO и при этом включает несколько важных инноваций. Архитектура модели состоит из следующих компонентов:

1. Основа: отвечающая за извлечение признаков, основа YOLOv10 использует улучшенную версию CSPNet (сеть частичных этапов) для улучшения прохождения градиентов и уменьшения вычислительной избыточности.
2. Шея: шея агрегирует признаки разных масштабов и передает их в голову. Она включает слои PAN (сеть агрегации путей) для эффективного слияния многомасштабных признаков.
3. Голова One-to-Many: во время обучения генерирует несколько предсказаний для каждого объекта, обеспечивая丰富ные сигналы обучения и повышая точность обучения.
4. Голова One-to-One: во время вывода генерирует одно лучшее предсказание для каждого объекта, устраняя необходимость в NMS, уменьшая задержку и повышая эффективность.

Ключевые особенности#

1. Обучение без NMS: использует согласованные двойные назначения, устраняя необходимость в NMS и уменьшая задержку вывода.
2. Holistic Model Design: Comprehensive optimization of various components from both efficiency and accuracy perspectives, including lightweight classification heads, spatial-channel decoupled downsampling, and rank-guided block design.
3. Расширенные возможности модели: использует свёртки с большими ядрами и модули частичного самовнимания для повышения производительности без значительных вычислительных затрат.

Варианты моделей#

YOLOv10 выпускается в разных масштабах моделей для различных прикладных задач:

• YOLOv10n: версия Nano для сред с крайне ограниченными ресурсами.
• YOLOv10s: малая версия, сочетающая скорость и точность.
• YOLOv10m: версия среднего размера для задач общего назначения.
• YOLOv10b: сбалансированная версия с увеличенной шириной для повышения точности.
• YOLOv10l: большая версия для повышения точности за счет увеличения вычислительных ресурсов.
• YOLOv10x: версия экстрабольшого размера для максимальной точности и производительности.

Производительность#

YOLOv10 превосходит предыдущие версии YOLO и другие современные модели по точности и эффективности. Например, YOLOv10s работает в 1,8 раза быстрее RT-DETR-R18 при схожем AP на датасете COCO, а YOLOv10b имеет на 46% меньшую задержку и на 25% меньше параметров, чем YOLOv9-C, при одинаковой производительности.

Методология#

Согласованные двойные назначения для обучения без NMS#

YOLOv10 использует двойное назначение меток, объединяя стратегии «один ко многим» и «один к одному» во время обучения для обеспечения качественного контроля и эффективного развертывания End-to-End. Прогнозирование и валидация в Ultralytics по умолчанию используют голову «один ко многим» с NMS; установи nms=False, чтобы выбрать голову без NMS. Согласованная метрика сопоставления выравнивает контроль между обеими стратегиями, повышая качество предсказаний во время инференса.

Целостное проектирование модели с учетом эффективности и точности#

Повышение эффективности#

1. Легковесная голова классификации: уменьшает вычислительные затраты головы классификации за счет использования глубинно-разделимых сверток.
2. Spatial-Channel Decoupled Downsampling: Decouples spatial reduction and channel modulation to minimize information loss and computational cost.
3. Проектирование блоков с учетом ранга: адаптирует структуру блоков на основе внутренней избыточности этапов, обеспечивая оптимальное использование параметров.

Повышение точности#

1. Свертка с большим ядром: увеличивает рецептивное поле, улучшая способность извлекать признаки.
2. Частичное self-attention (PSA): включает модули self-attention для улучшения обучения глобальным представлениям при минимальных дополнительных затратах.

Эксперименты и результаты#

YOLOv10 прошла обширное тестирование на стандартных бенчмарках, таких как COCO, продемонстрировав превосходные производительность и эффективность. Модель достигает современных результатов в разных вариантах, показывая значительное улучшение задержки и точности по сравнению с предыдущими версиями и другими современными детекторами.

Сравнения#

По сравнению с другими современными детекторами:

• YOLOv10s / x работают в 1,8× / 1,3× быстрее, чем RT-DETR-R18 / R101, при схожей точности
• YOLOv10b имеет на 25% меньше параметров и на 46% меньшую задержку, чем YOLOv9-C, при одинаковой точности
• YOLOv10l / x превосходят YOLOv8l / x на 0,3 AP / 0,5 AP и имеют в 1,8× / 2,3× меньше параметров

Значения параметров и FLOPs относятся к объединенной модели после model.fuse(), которая объединяет слои Conv и BatchNorm и удаляет вспомогательную голову детектирования One-to-Many. Предобученные контрольные точки сохраняют полную архитектуру обучения, поэтому их показатели могут быть выше.

Примеры использования#

Для предсказания на новых изображениях с помощью YOLOv10. Модели также можно обучать на облачных GPU через Ultralytics Platform:

from ultralytics import YOLO

# Load a pretrained YOLOv10n model
model = YOLO("yolov10n.pt")

# Perform object detection on an image
results = model("image.jpg")

# Display the results
results[0].show()

Для обучения YOLOv10 на пользовательском датасете:

from ultralytics import YOLO

# Load YOLOv10n model from scratch
model = YOLO("yolov10n.yaml")

# Train the model
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Поддерживаемые задачи и режимы#

Серия моделей YOLOv10 предлагает набор моделей, каждая из которых оптимизирована для высокопроизводительного обнаружения объектов. Эти модели рассчитаны на разные вычислительные потребности и требования к точности, что делает их универсальными для широкого спектра приложений.

Экспорт YOLOv10#

Из-за новых операций, добавленных в YOLOv10, в настоящее время поддерживаются не все форматы экспорта, предоставляемые Ultralytics. В следующей таблице указано, какие форматы были успешно преобразованы с помощью Ultralytics для YOLOv10. Если ты можешь внести изменение, добавляющее поддержку экспорта дополнительных форматов для YOLOv10, создай pull request.

Заключение#

На момент выхода YOLOv10 установил новый стандарт обнаружения объектов в реальном времени, устранив недостатки предыдущих версий YOLO и внедрив инновационные стратегии проектирования. Его подход без NMS впервые реализовал сквозное обнаружение объектов в семействе YOLO. Актуальную модель Ultralytics с улучшенной производительностью и инференсом без NMS см. в разделе YOLO26.

Цитирование и благодарности#

Мы хотели бы поблагодарить авторов YOLOv10 из Университета Цинхуа за их масштабные исследования и значительный вклад в развитие фреймворка Ultralytics:

@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

Подробное описание реализации, архитектурных инноваций и экспериментальных результатов см. в научной статье YOLOv10 и репозитории GitHub команды Университета Цинхуа.

Часто задаваемые вопросы#