RTDETRv2 против DAMO-YOLO#
Ландшафт компьютерного зрения постоянно развивается, исследователи и инженеры стремятся создавать модели, которые идеально балансируют между скоростью, точностью и эффективностью. Две заметные архитектуры, которые произвели фурор в этой области — это RTDETRv2, разработанная Baidu, и DAMO-YOLO, созданная Alibaba Group. Обе модели расширяют границы обнаружения объектов в реальном времени, однако они используют принципиально разные архитектурные философии для достижения своих впечатляющих результатов.
В этом техническом сравнении мы подробно рассмотрим их архитектуры, методологии обучения и возможности развертывания в реальных условиях. Мы также изучим, как эти модели соотносятся с более широкой экосистемой, особенно с высокооптимизированной Ultralytics Platform и передовой архитектурой YOLO26.
Архитектурные инновации#
Понимание основных принципов работы этих моделей имеет решающее значение для инженеров по машинному обучению, перед которыми стоит задача выбора правильного инструмента для производственных сред.
RTDETRv2: Трансформерный подход#
Опираясь на успех оригинального RT-DETR, RTDETRv2 использует гибридный энкодер и трансформерный декодер. Такая конструкция позволяет модели чрезвычайно эффективно обрабатывать глобальный контекст, что делает её исключительно эффективной в различении перекрывающихся объектов в плотных сценах. Наиболее значительным преимуществом этой архитектуры является её встроенная конструкция без NMS (Non-Maximum Suppression). Исключая этап постобработки NMS, RTDETRv2 оптимизирует конвейер инференса и обеспечивает более стабильную задержку на различных конфигурациях оборудования.
DAMO-YOLO: Повышение эффективности CNN#
DAMO-YOLO, с другой стороны, остается верна успешному семейству YOLO на базе сверточных сетей (CNN), но вводит несколько новаторских улучшений. Она задействует поиск архитектуры нейронных сетей (NAS) для оптимизации своего бэкбона, обеспечивая максимальную эффективность извлечения признаков. Кроме того, она включает эффективный RepGFPN (Reparameterized Generalized Feature Pyramid Network) и дизайн ZeroHead, а также методы AlignedOTA и улучшения дистилляции. Эти инновации позволяют DAMO-YOLO достигать высокой скорости инференса при сохранении конкурентоспособного показателя mAPval.
В то время как RTDETRv2 фокусируется на использовании механизмов внимания для понимания глобальных признаков без NMS, DAMO-YOLO максимизирует традиционную эффективность CNN с помощью NAS и продвинутой дистилляции, что требует стандартной постобработки, но дает заметные преимущества в скорости на определенном оборудовании.
Сравнение производительности и метрик#
При оценке моделей для развертырования первостепенное значение имеют метрики производительности, такие как средняя точность (mAP), скорость инференса и количество параметров. Ниже приведено подробное сравнение двух семейств моделей.
| Модель | размер (пиксели) | mAPval 50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (М) | FLOPs (Б) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| DAMO-YOLOt | 640 | 42.0 | - | 2.32 | 8.5 | 18.1 |
| DAMO-YOLOs | 640 | 46.0 | - | 3.45 | 16.3 | 37.8 |
| DAMO-YOLOm | 640 | 49.2 | - | 5.09 | 28.2 | 61.8 |
| DAMO-YOLOl | 640 | 50.8 | - | 7.18 | 42.1 | 97.3 |
Анализ результатов#
Как видно из таблицы, RTDETRv2-x достигает наибольшей точности со значением mAPval 54.3, демонстрируя возможности архитектуры трансформеров на сложных валидационных наборах данных вроде COCO dataset. Однако это достигается за счет значительно бόльшего количества параметров (76M) и операций FLOP.
Напротив, DAMO-YOLOt (Tiny) исключительно легковесна и требует всего 8.5 млн параметров, что делает ее невероятно быстрым вариантом для сред, где память CUDA сильно ограничена. DAMO-YOLO обычно обеспечивает выгодный компромисс между скоростью и точностью для устаревших периферийных устройств.
Экосистема, удобство использования и преимущество Ultralytics#
Хотя независимые репозитории, такие как официальные RT-DETR GitHub и DAMO-YOLO GitHub, предоставляют исходный код для обучения этих моделей, их интеграция в производственные конвейеры часто требует большого количества шаблонного кода и ручной оптимизации.
Именно здесь экосистема Ultralytics кардинально упрощает работу разработчика. Ultralytics интегрирует такие модели, как RTDETRv2, непосредственно в свой унифицированный API, позволяя пользователям обучать, валидировать и экспортировать модели с помощью всего одной строки кода. Более того, модели Ultralytics известны своими минимальными требованиями к памяти во время обучения по сравнению с тяжелыми автономными репозиториями на основе трансформеров.
Пример кода: Бесшовная интеграция#
Вот как легко ты можешь использовать библиотеку Ultralytics Python для выполнения вывода. API остается неизменным, независимо от того, используешь ли ты модель-трансформер или современную CNN.
from ultralytics import RTDETR, YOLO
# Load an RTDETRv2 model for complex scene understanding
model_rtdetr = RTDETR("rtdetr-l.pt")
# Load the latest Ultralytics YOLO26 model for ultimate edge performance
model_yolo26 = YOLO("yolo26n.pt")
# Run inference on a sample image effortlessly
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_yolo = model_yolo26("https://ultralytics.com/images/bus.jpg")
# Display the results
results_yolo[0].show()Используя API Ultralytics, ты можешь бесшовно экспортировать обученные модели в такие форматы, как TensorRT, ONNX или CoreML, с помощью простой команды model.export(format="engine"), что значительно снижает барьеры при развертывании.
Идеальные варианты использования#
Выбор между этими архитектурами полностью зависит от твоих конкретных требований к проекту:
- RTDETRv2 превосходно подходит для серверной обработки, где доступно много VRAM. Учет глобального контекста делает её идеальной для медицинской визуализации и анализа плотных толп, где часто возникают окклюзии.
- DAMO-YOLO отлично подходит для встроенных приложений IoT и быстро движущихся линий промышленного контроля, где низкое количество параметров и высокий FPS являются строгими требованиями.
Будущее: Ultralytics YOLO26#
Хотя и RTDETRv2, и DAMO-YOLO имеют свои достоинства, сфера компьютерного зрения развивается стремительно. Для новых проектов новейшая Ultralytics YOLO26 представляет собой идеальный синтез скорости, точности и удобства для разработчика.
YOLO26 использует End-to-End NMS-Free Design, перенимая главное преимущество трансформеров без огромных вычислительных затрат. Она включает инновационный MuSGD Optimizer, вдохновленный обучением больших языковых моделей, для стабильной и быстрой сходимости. Кроме того, благодаря DFL Removal (распределение фокусных потерь удалено для упрощенного экспорта и лучшей совместимости с периферийными устройствами и устройствами с низким энергопотреблением), YOLO26 обеспечивает до 43% более быстрый инференс на CPU, что делает её безоговорочным лидером для периферийных вычислений. Дополнительно ProgLoss + STAL предоставляет улучшенные функции потерь с заметными улучшениями в распознавании мелких объектов, что критично для IoT, робототехники и аэрофотоснимков.
В отличие от моделей, строго ограниченных ограничивающими прямоугольниками, семейство YOLO26 предлагает непревзойденную универсальность, поддерживая задачи от сегментации экземпляров и оценки позы до ориентированных ограничивающих прямоугольников (OBB), и все это бесшовно управляется через интуитивно понятную Ultralytics Platform.
Детали модели и ссылки#
RTDETRv2#
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 24.07.2024
- Arxiv: 2407.17140
- GitHub: Репозиторий RT-DETR
DAMO-YOLO#
- Авторы: Xianzhe Xu, Yiqi Jiang, Weihua Chen, Yilun Huang, Yuan Zhang и Xiuyu Sun
- Организация: Alibaba Group
- Дата: 23.11.2022
- Arxiv: 2211.15444v2
- GitHub: DAMO-YOLO Repository
Если тебе интересно изучить другие сравнения, ознакомься с нашими руководствами по RTDETRv2 vs. YOLO11 или DAMO-YOLO vs. YOLOv8, чтобы увидеть, как эти модели показывают себя по сравнению с предыдущими поколениями семейства Ultralytics.