Начать

RTDETRv2 и YOLOv9

Архитектуры компьютерного зрения разделились на два основных направления: свёрточные нейронные сети (CNN) и модели на основе Transformer. Сравнение RTDETRv2 и YOLOv9 предполагает оценку компромиссов между глобальным вниманием и программируемой градиентной информацией. Обе модели — сильные представители своих подходов к обнаружению объектов в реальном времени.

Знакомство с моделями#

RTDETRv2: Transformer для обнаружения в реальном времени#

Разработанная исследователями из Baidu, RTDETRv2 развивает исходную RT-DETR, добавляя подход «Bag-of-Freebies» для улучшения базовой модели Real-Time Detection Transformer. Она решает традиционную проблему Transformer — скорость инференса — и делает эти модели пригодными для приложений реального времени.

  • Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
  • Организация: Baidu
  • Дата: 2024-07-24
  • Ссылки: arXiv, GitHub

Отличительная черта RTDETRv2 — встроенная сквозная архитектура без NMS. Отказ от подавления немаксимумов (NMS) на этапе постобработки стабилизирует задержку инференса и упрощает конвейер развёртывания. Механизм глобального внимания помогает модели обрабатывать сложные сцены и плотные скопления людей, поскольку она одновременно оценивает контекст всего изображения.

Узнай больше о RTDETRv2

YOLOv9: программируемая информация о градиентах#

YOLOv9 — эффективная архитектура на основе CNN, решающая проблему информационного узкого места, свойственную глубоким нейронным сетям. В ней представлены Programmable Gradient Information (PGI) и Generalized Efficient Layer Aggregation Network (GELAN).

YOLOv9 опирается на проверенные основы свёрточных нейронных сетей и ориентирована на эффективное использование параметров. Сохраняя ключевую информацию в процессе прямого распространения, PGI обеспечивает надёжность градиентов, благодаря чему модель получается компактной и точной. Однако, в отличие от RTDETRv2, YOLOv9 по-прежнему использует стандартную постобработку NMS.

Подробнее о YOLOv9

Производительность и эффективность использования ресурсов#

В таблице ниже сравниваются средняя точность (mAP) и вычислительные затраты на наборе данных MS COCO. При сопоставимой точности YOLOv9 использует гораздо меньше параметров (YOLOv9m достигает 51.4 mAP при 20.1M параметров против 51.9 mAP и 36M у RTDETRv2-m) и работает быстрее в TensorRT на T4 при любом размере, кроме YOLOv9e. YOLOv9e достигает наивысшего mAP (55.6), но одновременно оказывается самой медленной моделью в таблице (16.77 мс).

Модельразмер
(пиксели)
mAPval50-95Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv9t64038.3-2.32.07.7
YOLOv9s64046.8-3.547.226.7
YOLOv9m64051.4-6.4320.176.8
YOLOv9c64053.0-7.1625.5102.8
YOLOv9e64055.6-16.7758.1192.5

Требования к памяти и эффективность обучения#

Во время обучения модели Transformer, такие как RTDETRv2, требуют много памяти и нередко значительных объёмов памяти CUDA. Архитектуры CNN, такие как YOLOv9 и другие модели Ultralytics YOLO, обычно расходуют меньше памяти и позволяют разработчикам обучать модели с большим размером пакета на потребительском оборудовании.

Эффективное обучение

Чтобы максимально эффективно использовать своё оборудование, рассмотри платформу Ultralytics для облачного обучения. Она автоматически настраивает окружение и размер пакета.

Преимущества Ultralytics: экосистема и простота использования#

Отдельные репозитории, например официальные страницы RTDETRv2 или YOLOv9 на GitHub, полезны для исследований, но production-средам необходимы стабильность, простота использования и хорошо поддерживаемая экосистема. Использование этих моделей через API Python Ultralytics обеспечивает единообразную работу разработчика.

Единый API и универсальность#

Фреймворк Ultralytics скрывает сложности загрузки данных, аугментации и распределённого обучения. Кроме того, исходная RTDETRv2 предназначена только для обнаружения объектов, тогда как экосистема Ultralytics позволяет переходить между обнаружением объектов, сегментацией экземпляров и оценкой позы.

from ultralytics import RTDETR, YOLO

# Обучить модель YOLOv9 на собственных данных
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=50, imgsz=640)

# Легко переключайся на RT-DETR для оценки сложных сцен
model_rtdetr = RTDETR("rtdetr-l.pt")
results = model_rtdetr.predict("https://ultralytics.com/images/bus.jpg")

# Экспортируй в готовые к промышленному использованию форматы, например TensorRT
model_yolo.export(format="engine")

Благодаря подробной документации, автоматическому отслеживанию экспериментов и экспорту в такие форматы, как ONNX, TensorRT и OpenVINO, Ultralytics сокращает путь от прототипа до production.

Оптимальные сценарии применения#

В чём RTDETRv2 особенно хорош#

Благодаря механизму глобального внимания RTDETRv2 хорошо подходит для обработки на сервере и сред, где важен глобальный контекст. Она показывает хорошие результаты в таких сценариях:

  • Медицинская визуализация: выявление малозаметных аномалий, для обнаружения которых важен окружающий контекст.
  • Аэронаблюдение: анализ видеозаписей с дронов высокого разрешения, где широкий пространственный контекст помогает интерпретировать сцену.
  • Анализ плотных скоплений людей: обнаружение людей в толпе, где NMS может подавлять истинные детекции перекрывающихся объектов.

В чём YOLOv9 особенно хорош#

YOLOv9 хорошо подходит для развёртывания на периферийных устройствах с ограниченными ресурсами. Благодаря вычислительной эффективности она подходит для таких задач:

  • Робототехника: навигация в реальном времени и обход препятствий, где необходима минимальная задержка.
  • IoT в умном городе: установка на периферийные устройства, например NVIDIA Jetson, для мониторинга дорожного движения.
  • Промышленный контроль: контроль качества на высокоскоростных сборочных линиях, требующий высокой частоты кадров (FPS).

Будущее: встречай Ultralytics YOLO26#

YOLOv9 и RTDETRv2 стали важными шагами вперёд, а развитие отрасли продолжается. Для новых развёртываний Ultralytics YOLO26, выпущенная в январе 2026 года, объединяет идеи обоих архитектурных подходов.

YOLO26 объединяет сильные стороны Transformer и CNN:

  • Сквозная архитектура без NMS: как и RTDETRv2, YOLO26 поддерживает встроенный сквозной инференс. Дополнительная голова one-to-one (nms=False) пропускает этап постобработки NMS, обеспечивая более быстрые, простые и предсказуемые конвейеры развёртывания.
  • Оптимизатор MuSGD: вдохновлённая методами обучения больших языковых моделей (LLM), например Kimi K2 от Moonshot AI, YOLO26 использует гибрид SGD и Muon для более стабильного обучения и быстрой сходимости.
  • Инференс на CPU до 43% быстрее: YOLO26n работает на CPU до 43% быстрее YOLO11n, поэтому подходит для периферийных вычислений и устройств без GPU, где более тяжёлым моделям Transformer сложно работать.
  • Отказ от DFL: отказ от Distribution Focal Loss упрощает граф модели и облегчает экспорт на маломощные периферийные устройства и встроенные нейронные процессоры (NPU).
  • ProgLoss + STAL: прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов, что важно для IoT и наборов аэрофотоснимков.

Командам, начинающим новый проект в области компьютерного зрения, рекомендуем оценить YOLO26. Она предлагает дополнительный инференс без NMS, как у Transformer, сохраняя скорость и эффективность обучения архитектуры YOLO.

Итоги#

Выбор между RTDETRv2 и YOLOv9 в основном зависит от оборудования для развёртывания и конкретных требований к точности. RTDETRv2 обеспечивает высокую точность и учитывает контекст в приложениях с серверной обработкой, а YOLOv9 эффективна на периферийных устройствах.

Экосистема Ultralytics позволяет разработчикам экспериментировать с YOLOv9 и исходной RT-DETR, используя один и тот же API. Более новые модели, такие как YOLO11, и модель YOLO26 со сквозной архитектурой обеспечивают более широкую поддержку задач, быстрый инференс и низкое потребление памяти.

Участники

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.