RTDETRv2 и DAMO-YOLO
Компьютерное зрение продолжает развиваться: исследователи и инженеры создают модели, балансирующие скорость, точность и эффективность. Среди заметных архитектур в этой области — RTDETRv2, разработанная Baidu, и DAMO-YOLO, созданная Alibaba Group. Обе модели совершенствуют обнаружение объектов в реальном времени, но основаны на принципиально разных архитектурных подходах.
В этом техническом сравнении рассматриваются архитектуры, методы обучения и возможности развёртывания этих моделей в реальных условиях. Также объясняется, как они соотносятся с более широкой экосистемой, в частности с Ultralytics Platform и семейством моделей YOLO26.
Архитектурные инновации#
Инженерам по машинному обучению, которым нужно выбрать подходящий инструмент для производственной среды, важно понимать основные принципы работы этих моделей.
RTDETRv2: подход на основе Transformer#
Развивая успех оригинальной RT-DETR, RTDETRv2 использует гибридный кодировщик и декодер Transformer. Такая архитектура позволяет эффективно обрабатывать глобальный контекст и хорошо различать перекрывающиеся объекты в сценах с высокой плотностью. Главное преимущество этой архитектуры — нативная конструкция без NMS (подавления немаксимумов). Устраняя этап постобработки NMS, RTDETRv2 упрощает конвейер инференса и обеспечивает более стабильную задержку на разных конфигурациях оборудования.
DAMO-YOLO: повышение эффективности CNN#
DAMO-YOLO, с другой стороны, сохраняет связь с семейством YOLO на основе CNN, но предлагает несколько заметных улучшений. Для оптимизации магистральной сети с целью эффективного извлечения признаков используется поиск архитектуры нейронной сети (NAS). Кроме того, в модели применяются эффективная RepGFPN (обобщённая пирамида признаков с перепараметризацией) и архитектура ZeroHead, а также методы AlignedOTA и дистилляции знаний. Эти нововведения позволяют DAMO-YOLO быстро выполнять вывод, сохраняя конкурентный показатель mAPval50-95.
RTDETRv2 использует механизмы внимания для глобального понимания признаков без NMS, тогда как DAMO-YOLO повышает эффективность традиционной CNN с помощью NAS и усовершенствованной дистилляции. Для DAMO-YOLO требуется стандартная постобработка, но на некоторых устройствах модель обеспечивает заметное преимущество в скорости.
Сравнение производительности и метрик#
При выборе моделей для развёртывания первостепенное значение имеют такие показатели производительности, как средняя точность (mAP), скорость инференса и количество параметров. В таблице ниже сравниваются два семейства моделей.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| DAMO-YOLOt | 640 | 42.0 | - | 2.32 | 8.5 | 18.1 |
| DAMO-YOLOs | 640 | 46.0 | - | 3.45 | 16.3 | 37.8 |
| DAMO-YOLOm | 640 | 49.2 | - | 5.09 | 28.2 | 61.8 |
| DAMO-YOLOl | 640 | 50.8 | - | 7.18 | 42.1 | 97.3 |
Анализ результатов#
Как видно из таблицы, RTDETRv2-x обеспечивает наивысшую точность с показателем mAPval50-95 54,3, демонстрируя преимущества архитектуры Transformer на сложных тестах, например на наборе данных COCO. Однако за это приходится платить значительно большим числом параметров (76 млн) и операций с плавающей запятой.
DAMO-YOLOt (Tiny), напротив, очень компактна: всего 8,5M параметров, что делает её быстрым вариантом для сред с крайне ограниченной памятью CUDA. DAMO-YOLO обычно обеспечивает выгодный баланс скорости и точности для устаревших периферийных устройств.
Экосистема, удобство использования и преимущества Ultralytics#
Хотя независимые репозитории, например официальные проекты RT-DETR и DAMO-YOLO на GitHub, предоставляют исходный код для обучения этих моделей, их интеграция в производственные конвейеры часто требует большого объёма шаблонного кода и ручной оптимизации.
Здесь экосистема Ultralytics значительно упрощает работу разработчиков. Ultralytics напрямую интегрирует детекторы на основе Transformer, например оригинальную RT-DETR, в единый API, позволяя обучать, валидировать и экспортировать модели одной строкой кода. Кроме того, для обучения моделей Ultralytics обычно требуется меньше памяти, чем для тяжёлых автономных репозиториев на основе Transformer.
Пример кода: интеграция#
Вот как запускать инференс с библиотекой Python Ultralytics. API остаётся одинаковым независимо от того, используешь ли ты модель Transformer или современную CNN.
from ultralytics import RTDETR, YOLO
# Загрузка модели RT-DETR для понимания сложных сцен
model_rtdetr = RTDETR("rtdetr-l.pt")
# Загрузи последнюю версию Ultralytics YOLO26
model_yolo26 = YOLO("yolo26n.pt")
# Выполни инференс на тестовом изображении
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo26("https://ultralytics.com/images/bus.jpg")
# Отобрази результаты
results_yolo[0].show()С помощью API Ultralytics ты можешь экспортировать обученные модели в такие форматы, как TensorRT, ONNX или CoreML, простой командой, например model.export(format="engine"), что значительно упрощает развёртывание.
Оптимальные сценарии применения#
Выбор между этими архитектурами зависит от конкретных требований твоего проекта:
- RTDETRv2 лучше всего подходит для серверной обработки при достаточном объёме видеопамяти. Модель учитывает глобальный контекст, поэтому подходит для медицинской визуализации и анализа скоплений людей с высокой плотностью, где часто возникают перекрытия.
- DAMO-YOLO отлично подходит для встроенных IoT-приложений и высокоскоростных промышленных линий контроля, где необходимы небольшое число параметров и высокая частота кадров.
Будущее: Ultralytics YOLO26#
И RTDETRv2, и DAMO-YOLO имеют свои преимущества, но компьютерное зрение развивается стремительно. Для новых проектов новейшая Ultralytics YOLO26 сочетает скорость, точность и удобство разработки.
YOLO26 использует сквозную архитектуру без NMS, получая главное преимущество Transformer без высоких вычислительных затрат. В ней применяется оптимизатор MuSGD, вдохновлённый обучением больших языковых моделей, для стабильной и быстрой сходимости. Благодаря удалению DFL (функция потерь Distribution Focal Loss исключена для упрощения экспорта и лучшей совместимости с периферийными устройствами и устройствами с низким энергопотреблением) YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n, и отлично подходит для периферийных вычислений. ProgLoss + STAL (прогрессивная функция потерь и назначение меток с учётом малых объектов) также заметно улучшают распознавание небольших объектов, что особенно важно для IoT, робототехники и анализа аэрофотоснимков.
В отличие от моделей, ограниченных только ограничивающими рамками, семейство YOLO26 поддерживает задачи от сегментации экземпляров и оценки позы до ориентированных ограничивающих рамок (OBB); все они доступны через Ultralytics Platform.
Сведения о моделях и источники#
RTDETRv2#
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: 2407.17140
- GitHub: Репозиторий RT-DETR
DAMO-YOLO#
- Авторы: Сяньчжэ Сюй, Ици Цзян, Вэйхуа Чэнь, Илуне Хуан, Юань Чжан и Сюйюй Сунь
- Организация: Alibaba Group
- Дата: 2022-11-23
- arXiv: 2211.15444v2
- GitHub: репозиторий DAMO-YOLO
Чтобы ознакомиться с другими сравнениями и узнать, как эти модели показывают себя на фоне предыдущих поколений семейства Ultralytics, смотри руководства RTDETRv2 и YOLO11 и DAMO-YOLO и YOLOv8.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.