YOLOv10: сквозное обнаружение объектов в реальном времени#

YOLOv10, выпущенная в мае 2024 года, основанная на Ultralytics (пакете Python) и разработанная исследователями из Университета Цинхуа, предлагает новый подход к обнаружению объектов в реальном времени, устраняющий недостатки как постобработки, так и архитектуры моделей, характерные для предыдущих версий YOLO. Отказ от подавления немаксимумов (NMS) и оптимизация различных компонентов модели позволили YOLOv10 на момент выпуска добиться отличных результатов при значительно меньших вычислительных затратах. Сквозная архитектура YOLOv10 без NMS положила начало подходу, который получил дальнейшее развитие в YOLO26.

Обзор#

Обнаружение объектов в реальном времени должно точно определять классы объектов и их расположение на изображениях с малой задержкой. Серия YOLO занимает лидирующие позиции в этой области благодаря балансу производительности и эффективности. Однако зависимость от NMS и неэффективность архитектуры мешали достичь оптимальной производительности. YOLOv10 решает эти проблемы благодаря согласованному двойному назначению для обучения без NMS и комплексной стратегии проектирования модели с учётом эффективности и точности.

Архитектура#

Архитектура YOLOv10 опирается на сильные стороны предыдущих моделей YOLO и включает несколько важных нововведений. Она состоит из следующих компонентов:

1. Основная сеть: отвечает за извлечение признаков. В YOLOv10 основная сеть использует усовершенствованную версию CSPNet (Cross Stage Partial Network), которая улучшает распространение градиентов и снижает избыточные вычисления.
2. Шея: предназначена для агрегации признаков разных масштабов и их передачи в голову модели. Она включает слои PAN (Path Aggregation Network) для эффективного слияния признаков разных масштабов.
3. Голова One-to-Many: во время обучения генерирует несколько предсказаний для каждого объекта, обеспечивая богатый сигнал для обучения и повышая точность обучения.
4. Голова One-to-One: во время инференса формирует одно наиболее точное предсказание для каждого объекта, устраняя необходимость в NMS, что снижает задержку и повышает эффективность.

Основные особенности#

1. Обучение без NMS: использует согласованные двойные назначения, чтобы устранить необходимость в NMS и снизить задержку инференса.
2. Комплексное проектирование модели: всесторонняя оптимизация различных компонентов с точки зрения эффективности и точности, включая облегчённые классификационные головы, пространственно-канальное раздельное уменьшение размерности и проектирование блоков с учётом рангов.
3. Расширенные возможности модели: использует свёртки с большими ядрами и модули частичного самовнимания для повышения производительности без существенных вычислительных затрат.

Варианты моделей#

YOLOv10 доступна в нескольких масштабах моделей для разных задач:

• YOLOv10n: версия Nano для сред с крайне ограниченными ресурсами.
• YOLOv10s: версия Small, обеспечивающая баланс скорости и точности.
• YOLOv10m: версия Medium для задач общего назначения.
• YOLOv10b: сбалансированная версия с увеличенной шириной для повышения точности.
• YOLOv10l: версия Large для повышения точности ценой увеличения вычислительных затрат.
• YOLOv10x: версия Extra-large для максимальной точности и производительности.

Производительность#

YOLOv10 превосходит предыдущие версии YOLO и другие современные модели по точности и эффективности. Например, YOLOv10s работает в 1,8 раза быстрее, чем RT-DETR-R18, при сопоставимом AP на датасете COCO, а задержка YOLOv10b на 46% ниже, а число параметров на 25% меньше, чем у YOLOv9-C при той же производительности.

Методология#

Согласованные двойные назначения для обучения без NMS#

YOLOv10 использует двойное назначение меток: во время обучения сочетает стратегии one-to-many и one-to-one, обеспечивая полноценный контроль и эффективное сквозное развертывание. По умолчанию Ultralytics использует для предсказания и валидации голову one-to-many с NMS; задай nms=False, чтобы выбрать голову без NMS. Метрика согласованного сопоставления выравнивает контроль для обеих стратегий, повышая качество предсказаний во время инференса.

Комплексное проектирование модели с учётом эффективности и точности#

Повышение эффективности#

1. Облегчённая классификационная голова: снижает вычислительные затраты классификационной головы за счёт использования глубинных разделимых свёрток.
2. Пространственно-канальное раздельное уменьшение размерности: разделяет пространственное уменьшение и модуляцию каналов, минимизируя потерю информации и вычислительные затраты.
3. Проектирование блоков с учётом рангов: адаптирует структуру блоков с учётом внутренней избыточности этапов, обеспечивая оптимальное использование параметров.

Повышение точности#

1. Свёртка с большим ядром: увеличивает рецептивное поле, улучшая возможности извлечения признаков.
2. Частичный self-attention (PSA): добавляет модули self-attention, чтобы улучшить обучение глобальным представлениям с минимальными дополнительными затратами.

Эксперименты и результаты#

YOLOv10 прошла обширное тестирование на стандартных бенчмарках, таких как COCO, продемонстрировав высокую производительность и эффективность. Модель показывает результаты уровня state of the art в разных вариантах, значительно улучшая задержку и точность по сравнению с предыдущими версиями и другими современными детекторами.

Сравнения#

По сравнению с другими современными детекторами:

• YOLOv10s / x работают в 1,8× / 1,3× раза быстрее, чем RT-DETR-R18 / R101, при сопоставимой точности
• У YOLOv10b на 25% меньше параметров и на 46% ниже задержка, чем у YOLOv9-C, при той же точности
• YOLOv10l / x превосходят YOLOv8l / x на 0,3 AP / 0,5 AP при в 1,8× / 2,3× раза меньшем числе параметров

Значения параметров и FLOPs указаны для объединённой модели после model.fuse(): в ней слои Conv и BatchNorm объединены, а вспомогательная голова детекции one-to-many удалена. Предобученные контрольные точки сохраняют полную архитектуру обучения, поэтому указанные значения могут быть выше.

Примеры использования#

Модели также можно обучать на облачных GPU через платформу Ultralytics. Чтобы выполнять предсказания на новых изображениях с YOLOv10:

from ultralytics import YOLO

# Загрузи предобученную модель YOLOv10n
model = YOLO("yolov10n.pt")

# Выполнить обнаружение объектов на изображении
results = model("image.jpg")

# Отобрази результаты
results[0].show()

Чтобы обучить YOLOv10 на собственном датасете:

from ultralytics import YOLO

# Загрузи модель YOLOv10n с нуля
model = YOLO("yolov10n.yaml")

# Обучить модель
model.train(data="coco8.yaml", epochs=100, imgsz=640)

Поддерживаемые задачи и режимы#

Серия моделей YOLOv10 включает модели, оптимизированные для высокопроизводительного обнаружения объектов. Они подходят для разных вычислительных ресурсов и требований к точности, поэтому применимы в самых разных задачах.

Экспорт YOLOv10#

Из-за новых операций, появившихся в YOLOv10, сейчас поддерживаются не все форматы экспорта Ultralytics. В таблице ниже перечислены форматы, в которые YOLOv10 успешно экспортируется с помощью Ultralytics. Если ты можешь внести изменение в код, чтобы добавить поддержку экспорта YOLOv10 в другие форматы, создай pull request.

Заключение#

На момент выхода YOLOv10 задала новый стандарт обнаружения объектов в реальном времени, устранив недостатки предыдущих версий YOLO и внедрив инновационные подходы к проектированию. Её подход без NMS стал первым сквозным решением для обнаружения объектов в семействе YOLO. Чтобы узнать о последней модели Ultralytics с улучшенной производительностью и инференсом без NMS, смотри YOLO26.

Цитирование и благодарности#

Мы хотели бы поблагодарить авторов YOLOv10 из Университета Цинхуа за масштабные исследования и значительный вклад в развитие фреймворка Ultralytics:

@inproceedings{wang2024yolov10,
  title={YOLOv10: Real-Time End-to-End Object Detection},
  author={Wang, Ao and Chen, Hui and Liu, Lihao and Chen, Kai and Lin, Zijia and Han, Jungong and Ding, Guiguang},
  booktitle={Advances in Neural Information Processing Systems},
  doi = {10.52202/079017-3429},
  url = {https://proceedings.neurips.cc/paper_files/paper/2024/file/c34ddd05eb089991f06f3c5dc36836e0-Paper-Conference.pdf},
  volume={37},
  pages={107984--108011},
  year={2024}
}

Подробное описание реализации, архитектурных нововведений и экспериментальных результатов смотри в исследовательской статье о YOLOv10 и репозитории GitHub команды Университета Цинхуа.

Часто задаваемые вопросы#