Начать

RTDETRv2 и DAMO-YOLO

Компьютерное зрение продолжает развиваться: исследователи и инженеры создают модели, балансирующие скорость, точность и эффективность. Среди заметных архитектур в этой области — RTDETRv2, разработанная Baidu, и DAMO-YOLO, созданная Alibaba Group. Обе модели совершенствуют обнаружение объектов в реальном времени, но основаны на принципиально разных архитектурных подходах.

В этом техническом сравнении рассматриваются архитектуры, методы обучения и возможности развёртывания этих моделей в реальных условиях. Также объясняется, как они соотносятся с более широкой экосистемой, в частности с Ultralytics Platform и семейством моделей YOLO26.

Архитектурные инновации#

Инженерам по машинному обучению, которым нужно выбрать подходящий инструмент для производственной среды, важно понимать основные принципы работы этих моделей.

RTDETRv2: подход на основе Transformer#

Развивая успех оригинальной RT-DETR, RTDETRv2 использует гибридный кодировщик и декодер Transformer. Такая архитектура позволяет эффективно обрабатывать глобальный контекст и хорошо различать перекрывающиеся объекты в сценах с высокой плотностью. Главное преимущество этой архитектуры — нативная конструкция без NMS (подавления немаксимумов). Устраняя этап постобработки NMS, RTDETRv2 упрощает конвейер инференса и обеспечивает более стабильную задержку на разных конфигурациях оборудования.

Узнай больше о RTDETRv2

DAMO-YOLO: повышение эффективности CNN#

DAMO-YOLO, с другой стороны, сохраняет связь с семейством YOLO на основе CNN, но предлагает несколько заметных улучшений. Для оптимизации магистральной сети с целью эффективного извлечения признаков используется поиск архитектуры нейронной сети (NAS). Кроме того, в модели применяются эффективная RepGFPN (обобщённая пирамида признаков с перепараметризацией) и архитектура ZeroHead, а также методы AlignedOTA и дистилляции знаний. Эти нововведения позволяют DAMO-YOLO быстро выполнять вывод, сохраняя конкурентный показатель mAPval50-95.

Узнай больше о DAMO-YOLO

Различия в архитектуре

RTDETRv2 использует механизмы внимания для глобального понимания признаков без NMS, тогда как DAMO-YOLO повышает эффективность традиционной CNN с помощью NAS и усовершенствованной дистилляции. Для DAMO-YOLO требуется стандартная постобработка, но на некоторых устройствах модель обеспечивает заметное преимущество в скорости.

Сравнение производительности и метрик#

При выборе моделей для развёртывания первостепенное значение имеют такие показатели производительности, как средняя точность (mAP), скорость инференса и количество параметров. В таблице ниже сравниваются два семейства моделей.

Модельразмер
(пиксели)
mAPval50-95Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
DAMO-YOLOt64042.0-2.328.518.1
DAMO-YOLOs64046.0-3.4516.337.8
DAMO-YOLOm64049.2-5.0928.261.8
DAMO-YOLOl64050.8-7.1842.197.3

Анализ результатов#

Как видно из таблицы, RTDETRv2-x обеспечивает наивысшую точность с показателем mAPval50-95 54,3, демонстрируя преимущества архитектуры Transformer на сложных тестах, например на наборе данных COCO. Однако за это приходится платить значительно большим числом параметров (76 млн) и операций с плавающей запятой.

DAMO-YOLOt (Tiny), напротив, очень компактна: всего 8,5M параметров, что делает её быстрым вариантом для сред с крайне ограниченной памятью CUDA. DAMO-YOLO обычно обеспечивает выгодный баланс скорости и точности для устаревших периферийных устройств.

Экосистема, удобство использования и преимущества Ultralytics#

Хотя независимые репозитории, например официальные проекты RT-DETR и DAMO-YOLO на GitHub, предоставляют исходный код для обучения этих моделей, их интеграция в производственные конвейеры часто требует большого объёма шаблонного кода и ручной оптимизации.

Здесь экосистема Ultralytics значительно упрощает работу разработчиков. Ultralytics напрямую интегрирует детекторы на основе Transformer, например оригинальную RT-DETR, в единый API, позволяя обучать, валидировать и экспортировать модели одной строкой кода. Кроме того, для обучения моделей Ultralytics обычно требуется меньше памяти, чем для тяжёлых автономных репозиториев на основе Transformer.

Пример кода: интеграция#

Вот как запускать инференс с библиотекой Python Ultralytics. API остаётся одинаковым независимо от того, используешь ли ты модель Transformer или современную CNN.

from ultralytics import RTDETR, YOLO

# Загрузка модели RT-DETR для понимания сложных сцен
model_rtdetr = RTDETR("rtdetr-l.pt")

# Загрузи последнюю версию Ultralytics YOLO26
model_yolo26 = YOLO("yolo26n.pt")

# Выполни инференс на тестовом изображении
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo26("https://ultralytics.com/images/bus.jpg")

# Отобрази результаты
results_yolo[0].show()
Экспорт моделей для производственной среды

С помощью API Ultralytics ты можешь экспортировать обученные модели в такие форматы, как TensorRT, ONNX или CoreML, простой командой, например model.export(format="engine"), что значительно упрощает развёртывание.

Оптимальные сценарии применения#

Выбор между этими архитектурами зависит от конкретных требований твоего проекта:

  • RTDETRv2 лучше всего подходит для серверной обработки при достаточном объёме видеопамяти. Модель учитывает глобальный контекст, поэтому подходит для медицинской визуализации и анализа скоплений людей с высокой плотностью, где часто возникают перекрытия.
  • DAMO-YOLO отлично подходит для встроенных IoT-приложений и высокоскоростных промышленных линий контроля, где необходимы небольшое число параметров и высокая частота кадров.

Будущее: Ultralytics YOLO26#

И RTDETRv2, и DAMO-YOLO имеют свои преимущества, но компьютерное зрение развивается стремительно. Для новых проектов новейшая Ultralytics YOLO26 сочетает скорость, точность и удобство разработки.

YOLO26 использует сквозную архитектуру без NMS, получая главное преимущество Transformer без высоких вычислительных затрат. В ней применяется оптимизатор MuSGD, вдохновлённый обучением больших языковых моделей, для стабильной и быстрой сходимости. Благодаря удалению DFL (функция потерь Distribution Focal Loss исключена для упрощения экспорта и лучшей совместимости с периферийными устройствами и устройствами с низким энергопотреблением) YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n, и отлично подходит для периферийных вычислений. ProgLoss + STAL (прогрессивная функция потерь и назначение меток с учётом малых объектов) также заметно улучшают распознавание небольших объектов, что особенно важно для IoT, робототехники и анализа аэрофотоснимков.

В отличие от моделей, ограниченных только ограничивающими рамками, семейство YOLO26 поддерживает задачи от сегментации экземпляров и оценки позы до ориентированных ограничивающих рамок (OBB); все они доступны через Ultralytics Platform.

Сведения о моделях и источники#

RTDETRv2#

DAMO-YOLO#

Чтобы ознакомиться с другими сравнениями и узнать, как эти модели показывают себя на фоне предыдущих поколений семейства Ultralytics, смотри руководства RTDETRv2 и YOLO11 и DAMO-YOLO и YOLOv8.

Участники

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.