Начать

DAMO-YOLO и RTDETRv2

Исследования в области компьютерного зрения привели к появлению множества архитектур, обеспечивающих баланс между скоростью, точностью и эффективностью вычислений. DAMO-YOLO и RTDETRv2 используют разные подходы к этим задачам. Обе модели рассчитаны на инференс в реальном времени, но их архитектурные принципы существенно различаются.

В этом руководстве рассматриваются технические характеристики, архитектурные инновации и практические сценарии использования обеих моделей, а также объясняется, как платформа Ultralytics и YOLO26 упрощают развертывание.

Обзор моделей#

Знакомство с DAMO-YOLO#

Разработанная исследователями Alibaba Group, DAMO-YOLO предлагает быстрый и точный метод детекции объектов, который активно использует поиск нейронной архитектуры (NAS). Вместо традиционных бэкбонов, созданных вручную, в модели используются структуры, сгенерированные с помощью NAS и рассчитанные на низкую задержку. Кроме того, в ней применяются эффективная RepGFPN (репараметризованная обобщенная пирамидальная сеть признаков) и архитектура ZeroHead, упрощающие объединение признаков и предсказание ограничивающих рамок.

Основные сведения о модели:

Узнай больше о DAMO-YOLO

Знакомство с RTDETRv2#

RTDETRv2 от Baidu — заметный шаг вперед в развитии Transformer-детекторов реального времени. В отличие от детекторов на сверточных нейронных сетях (CNN), использующих подавление немаксимумов (NMS), RTDETRv2 применяет self-attention для моделирования глобального контекста всего изображения. Модель напрямую выдает ограничивающие рамки, полностью пропуская этап постобработки NMS. В ней используется стратегия обучения «bag of freebies», которая повышает базовую точность без увеличения задержки инференса.

Основные сведения о модели:

Узнай больше о RTDETRv2

Трансформеры в компьютерном зрении и ИИ

Хотя Transformer требуют больше вычислительных ресурсов, их способность обрабатывать глобальный контекст делает их эффективными для сложного понимания сцен — это одно из главных преимуществ RTDETRv2.

Сравнение производительности#

При оценке этих моделей для развертывания в реальных условиях важны такие метрики, как средняя точность (mAP), скорость инференса и объем занимаемой памяти. Моделям на основе Transformer, таким как RTDETRv2, обычно требуется больше памяти CUDA во время обучения и инференса, чем компактным CNN-моделям, например DAMO-YOLO.

В таблице ниже сравниваются их метрики производительности.

Модельразмер
(пиксели)
mAPval50-95Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
DAMO-YOLOt64042.0-2.328.518.1
DAMO-YOLOs64046.0-3.4516.337.8
DAMO-YOLOm64049.2-5.0928.261.8
DAMO-YOLOl64050.8-7.1842.197.3
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259

Оптимальные сценарии применения#

В чем сильна DAMO-YOLO: Оптимизированный с помощью NAS бэкбон и небольшое число параметров в компактных вариантах, например DAMO-YOLOt, хорошо подходят для развертывания на оборудовании с ограниченными ресурсами. Если ты разрабатываешь решения для встраиваемых устройств с использованием сред выполнения вроде ONNX или специализированных движков TensorRT для периферийных вычислений, DAMO-YOLO станет отзывчивой основой.

В чем сильна RTDETRv2: RTDETRv2 лучше всего работает там, где доступны GPU серверного класса и крайне важен глобальный контекст изображения. Благодаря архитектуре Transformer модель естественным образом разрешает перекрывающиеся ограничивающие рамки без NMS, поэтому хорошо подходит для управления большими скоплениями людей или сложного отслеживания объектов, где важны пространственные отношения между удаленными объектами.

Преимущества Ultralytics: знакомство с YOLO26#

DAMO-YOLO и RTDETRv2 — важные достижения академической науки, но превратить эти модели в масштабируемые готовые к эксплуатации приложения может быть непросто. Разработчики часто сталкиваются с фрагментированными кодовыми базами, отсутствием поддержки многозадачного обучения и сложными процессами развёртывания.

Здесь экосистема Ultralytics выделяется на фоне остальных. Делая ставку на простоту использования, хорошо поддерживаемый API Python и универсальность для решения разных задач, Ultralytics позволяет разработчикам меньше времени тратить на отладку и больше — на создание продуктов.

Недавно выпущенная модель Ultralytics YOLO26 развивает эти преимущества и превосходит DAMO-YOLO и RTDETRv2 по нескольким параметрам:

  • Сквозная архитектура без NMS: Развивая подход к обучению без NMS из YOLOv10, YOLO26 предлагает дополнительную сквозную головку (nms=False). Она устраняет постобработку NMS, упрощая и ускоряя развертывание по сравнению с традиционными CNN-детекторами и обеспечивая те же преимущества прямого вывода, что и RTDETRv2.
  • Инференс на CPU до 43% быстрее: YOLO26n работает на CPU ONNX до 43% быстрее YOLO11n и оптимизирована для периферийных устройств с ИИ без дискретных GPU, поэтому лучше подходит для приложений IoT, чем требовательные к памяти Transformer-модели.
  • Оптимизатор MuSGD: Этот гибрид SGD и Muon, вдохновленный Kimi K2 от Moonshot AI, переносит методы обучения больших языковых моделей (LLM) в компьютерное зрение, обеспечивая стабильное обучение и более быструю сходимость.
  • ProgLoss + STAL: Прогрессивная функция потерь и назначение меток с учетом малых объектов улучшают распознавание небольших объектов — задачу, с которой традиционно сложно справиться моделям. Это особенно важно для аэрофотосъемки и приложений с дронами.
  • Удаление DFL: Distribution Focal Loss удалена, чтобы упростить форматы экспорта и улучшить совместимость с маломощными периферийными устройствами.
  • Универсальность для разных задач: В отличие от конкурирующих моделей, предназначенных только для детекции, YOLO26 включает специализированные улучшения: функцию потерь для семантической сегментации, ускоряющую сходимость сегментации экземпляров, Residual Log-Likelihood Estimation (RLE) для оценки позы и специализированную функцию потерь для угла при работе с ориентированными ограничивающими рамками (OBB).
Эффективное использование памяти имеет значение

Для обучения моделей на основе Transformer, таких как RTDETRv2, нужны большие объемы памяти CUDA, поэтому часто приходится использовать дорогостоящие конфигурации с несколькими GPU. Моделям Ultralytics YOLO требуется значительно меньше памяти как при обучении, так и при инференсе, что делает разработку ИИ доступной и исследователям, и энтузиастам.

Пример кода: унифицированный API Ultralytics#

Одно из главных преимуществ экосистемы Ultralytics — единый API. Ты можешь загружать, обучать и проверять разные модели, в том числе реализацию RT-DETR на PyTorch и новейшие модели YOLO, не меняя рабочий процесс.

from ultralytics import RTDETR, YOLO

# Загрузить модель RT-DETR
model_rtdetr = RTDETR("rtdetr-l.pt")

# Загружаем модель YOLO26
model_yolo = YOLO("yolo26n.pt")

# Выполни инференс изображения с помощью простого унифицированного интерфейса
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo("https://ultralytics.com/images/bus.jpg")

# Отображение обнаруженных объектов
results_yolo[0].show()

Эта простота распространяется и на обучение на пользовательских наборах данных и экспорт. С помощью пакета Ultralytics для Python разработчики могут одной командой экспортировать обученные веса в форматы для развертывания, например CoreML или OpenVINO.

Заключение и дальнейшее изучение#

DAMO-YOLO и RTDETRv2 продвинули детекцию объектов в реальном времени. DAMO-YOLO использует оптимизированные сетевые структуры, автоматически найденные с помощью поиска, чтобы обеспечить высокую эффективность, а RTDETRv2 показывает, что Transformer могут конкурировать в этой области, устраняя традиционные узкие места, такие как NMS.

Однако разработчикам, которым нужен баланс производительности, подробная документация и готовность к промышленной эксплуатации, в качестве стандартного решения отлично подойдут модели Ultralytics YOLO. С YOLO26 пользователи получают дополнительную сквозную детекцию, напоминающую Transformer-модели, эффективность обучения, вдохновленную LLM, и быстрый инференс на CPU — в понятной и надежной экосистеме.

Если ты выбираешь модель для следующего проекта, прочитай сравнение EfficientDet и RT-DETR, изучи предыдущее поколение YOLO11 или ознакомься с академическими базовыми моделями, например YOLOX. Чтобы начать разработку уже сегодня, изучи краткое руководство Ultralytics.

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.