RTDETRv2 и YOLOv10
Развитие компьютерного зрения во многом обусловлено необходимостью сбалансировать скорость и точность. Традиционно в конвейерах обнаружения объектов в реальном времени для фильтрации перекрывающихся ограничивающих рамок применяют подавление немаксимумов (NMS) на этапе постобработки. Однако NMS увеличивает задержку и требует настройки порога. Два архитектурных подхода устраняют эту операцию на уровне самой модели: модели на основе Transformer, такие как RTDETRv2, и модели на основе CNN, такие как YOLOv10.
В этом руководстве сравниваются архитектуры, метрики производительности и оптимальные сценарии применения двух моделей, а также показано, как новейшие модели экосистемы Ultralytics вписываются в современные сценарии развёртывания.
RTDETRv2: Transformer для обнаружения объектов в реальном времени#
RTDETRv2 развивает архитектуру оригинальной модели RT-DETR, объединяя понимание глобального контекста, свойственное Vision Transformer, со скоростью работы в реальном времени, которой традиционно отличаются модели YOLO.
Основные характеристики:
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: https://github.com/lyuwenyu/RT-DETR/tree/main/rtdetrv2_pytorch
Архитектура и методики обучения#
RTDETRv2 использует сквозную архитектуру Transformer без NMS. По сравнению с предшественницей в ней применён подход «Bag-of-Freebies», который оптимизирует стратегию обучения и добавляет возможности многомасштабного обнаружения. Для извлечения карт признаков (визуальных деталей, таких как края и текстуры) модель использует магистраль CNN, а затем обрабатывает их структурой энкодера-декодера Transformer. Это позволяет модели одновременно анализировать контекст всего изображения и эффективно разбирать сложные сцены, в которых объекты расположены тесно или перекрывают друг друга.
Преимущества и недостатки#
Преимущества:
- Глобальный контекст: Механизм внимания помогает модели эффективно работать в сложных и загроможденных сценах.
- Без NMS: модель напрямую предсказывает координаты объектов, упрощая конвейер развертывания.
- Высокая точность: модель обеспечивает отличное значение средней точности (mAP) на наборе данных COCO.
Недостатки:
- Высокая ресурсоёмкость: архитектуры Transformer обычно требуют во время обучения больше памяти CUDA, чем CNN, поэтому их тонкая настройка на стандартном оборудовании обходится дороже.
- Непостоянная скорость инференса: несмотря на высокую скорость, интенсивные вычисления внимания могут снижать частоту кадров в компьютерном зрении на периферийных устройствах без специализированных ускорителей ИИ.
YOLOv10: сквозное обнаружение объектов в реальном времени#
YOLOv10 существенно меняет подход к развитию семейства моделей YOLO для обнаружения объектов, напрямую устраняя давнее узкое место NMS на уровне архитектуры CNN.
Основные характеристики:
- Авторы: Ao Wang, Hui Chen, Lihao Liu и др.
- Организация: Университет Цинхуа
- Дата: 2024-05-23
- arXiv: https://arxiv.org/abs/2405.14458
- GitHub: https://github.com/THU-MIG/yolov10
Архитектура и методики обучения#
Главное нововведение YOLOv10 — согласованные двойные назначения для обучения без NMS. Во время обучения используются две головы обнаружения: первая применяет назначение «один ко многим», как в традиционных моделях YOLO, и обеспечивает богатый сигнал для обучения, а вторая — назначение «один к одному», устраняющее необходимость в NMS. Во время инференса используется только голова «один к одному», благодаря чему процесс становится сквозным. Кроме того, авторы применили комплексную стратегию проектирования модели с учетом эффективности и точности, оптимизировав различные компоненты и сократив избыточные вычисления.
Преимущества и недостатки#
Преимущества:
- Низкая задержка: устраняя NMS и оптимизируя архитектуру, YOLOv10 обеспечивает очень низкую задержку инференса.
- Эффективность: для достижения точности, сопоставимой с другими моделями, требуется меньше параметров и FLOPs, что делает модель особенно подходящей для сред с ограниченными ресурсами.
- Развертывание без NMS: упрощает интеграцию в периферийные приложения, например в системы умного видеонаблюдения.
Недостатки:
- Концепция первого поколения: YOLOv10 стала первой моделью YOLO с такой архитектурой без NMS. Она заложила основу для дальнейшей разработки, но в ней еще не было универсальности для множества задач и оптимизаций, появившихся в последующих моделях, таких как YOLO11 и YOLO26.
Сравнение производительности#
При оценке моделей для production точность нужно сопоставлять с вычислительными затратами. В таблице ниже показаны компромиссы между размерами RTDETRv2 и YOLOv10 на COCO.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv10n | 640 | 38.5 | - | 1.84 | 2.3 | 6.7 |
| YOLOv10s | 640 | 46.3 | - | 2.49 | 7.2 | 21.6 |
| YOLOv10m | 640 | 51.1 | - | 4.74 | 15.4 | 59.1 |
| YOLOv10b | 640 | 52.5 | - | 5.74 | 19.1 | 92.0 |
| YOLOv10l | 640 | 53.2 | - | 7.28 | 24.4 | 120.3 |
| YOLOv10x | 640 | 54.4 | - | 10.70 | 29.5 | 160.4 |
RTDETRv2 немного точнее в малом, среднем и крупном размерах (48.1, 51.9 и 53.4 mAP против 46.3, 51.1 и 53.2 у YOLOv10s, m и l), однако YOLOv10 быстрее и компактнее при любом размере. YOLOv10x сравнима с RTDETRv2-x по точности (54.4 против 54.3 mAP), но имеет 29.5M параметров вместо 76M и задержку в TensorRT 10.70 мс вместо 15.03 мс. Nano- и small-варианты делают YOLOv10 привлекательной для приложений периферийных вычислений и AIoT.
Если ты используешь серверные GPU, где размер пакета и объем видеопамяти не так сильно ограничены, большие модели (например, -x или -l) обеспечат максимальную точность. Для периферийных устройств, таких как Raspberry Pi и мобильные телефоны, выбирай нано- (-n) или малые (-s) варианты, чтобы сохранить частоту кадров в реальном времени.
Сценарии использования и рекомендации#
Выбор между RT-DETR и YOLOv10 зависит от конкретных требований проекта, ограничений развертывания и предпочтительной экосистемы.
Когда выбрать RT-DETR#
RT-DETR — отличный выбор для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать YOLOv10#
YOLOv10 рекомендуется для таких задач:
- Детектирование в реальном времени без NMS: Приложения, которым полезно сквозное детектирование без подавления немаксимумов, что упрощает развертывание.
- Сбалансированное соотношение скорости и точности: Проекты, в которых важно найти оптимальный баланс между скоростью инференса и точностью детектирования для моделей разных размеров.
- Приложения с постоянной задержкой: Сценарии развертывания, где важны предсказуемые времена инференса, например в робототехнике или автономных системах.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.
Преимущества Ultralytics: знакомство с YOLO26#
RTDETRv2 и YOLOv10 — значимые исследовательские разработки, но для их развёртывания в реальных условиях нужна хорошо поддерживаемая программная экосистема. Платформа Ultralytics сочетает простоту использования, подробную документацию и инструменты для разметки данных и развёртывания.
Для новых проектов в 2026 году рекомендуем модель Ultralytics YOLO26. Она объединяет идеи обеих архитектур и предлагает несколько улучшений:
- Сквозная архитектура без NMS: Опираясь на обучение без NMS, которое YOLOv10 внедрила в модели YOLO, YOLO26 предлагает дополнительную голову one-to-one (
nms=False), пропускающую постобработку с NMS, что упрощает и ускоряет развёртывание и обеспечивает более стабильную задержку. - Отказ от DFL: благодаря отказу от Distribution Focal Loss YOLO26 упрощает экспорт модели и лучше совместима с периферийными устройствами и устройствами с низким энергопотреблением.
- Оптимизатор MuSGD: этот гибрид SGD и Muon, вдохновлённый методами обучения LLM, обеспечивает более стабильное обучение и быструю сходимость.
- Инференс на CPU до 43% быстрее: YOLO26n работает на CPU с ONNX до 43% быстрее YOLO11n, что полезно в средах без выделенных GPU.
- ProgLoss + STAL: прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов, что особенно важно для приложений с использованием дронов и датчиков IoT.
- Поддержка нескольких задач: в отличие от моделей, ограниченных ограничивающими рамками, YOLO26 также поддерживает сегментацию экземпляров, семантическую сегментацию, оценку глубины, классификацию изображений, оценку позы и обнаружение OBB, а также улучшения для конкретных задач, например Residual Log-Likelihood Estimation (RLE) для оценки позы.
Реализация на Python#
Обучение и развёртывание этих моделей с помощью API Python Ultralytics сделано простым. Для обучения требуется меньше памяти, чем для архитектур с большим количеством Transformer, поэтому мощные модели можно обучать на стандартном оборудовании.
from ultralytics import YOLO
# Загрузи модель YOLO26 (рекомендуется)
# В качестве альтернативы загрузи модель YOLOv10 с помощью YOLO('yolov10n.pt')
model = YOLO("yolo26n.pt")
# Обучи модель на собственном датасете
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Легко экспортировать модель в разные форматы для развертывания на периферийных устройствах
model.export(format="onnx", simplify=True)Будь то внедрение систем охранной сигнализации или анализ медицинских изображений, выбор модели с активным сообществом Ultralytics даст тебе необходимые инструменты, руководства по настройке гиперпараметров и регулярные обновления. YOLOv10 и RTDETRv2 проложили путь архитектурам без NMS, а YOLO26 развивает эти идеи, предлагая удачное сочетание производительности, универсальности и готовности к production.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.