YOLOv9 и RTDETRv2
За последние годы ландшафт обнаружения объектов в реальном времени существенно изменился. Сегодня лидируют два разных архитектурных подхода: эффективные сверточные нейронные сети (CNN) и работающие в реальном времени трансформеры обнаружения (DETR). YOLOv9 и RTDETRv2 — яркие примеры этих подходов.
В этом руководстве сравниваются две модели: анализируются их архитектурные новшества, показатели производительности и оптимальные сценарии развертывания, чтобы помочь тебе выбрать подходящую модель для своего конвейера компьютерного зрения.
Краткий обзор#
Обе модели показывают высокие результаты, но рассчитаны на разные условия развертывания и экосистемы разработки.
- Выбирай YOLOv9, если: Тебе нужно эффективно использовать параметры и обеспечить быстрый инференс на периферийных устройствах. YOLOv9 ориентирована на эффективность CNN по числу параметров и хорошо подходит для сред с жесткими ограничениями вычислительных ресурсов.
- Выбирай RTDETRv2, если: Тебе нужно глобальное моделирование контекста, которое обеспечивают Transformer, особенно в сценах с сильным перекрытием объектов или сложными взаимосвязями между ними, и у тебя есть оборудование для более ресурсоемкой архитектуры.
- Выбирай YOLO26 (рекомендуется), если: Тебе нужен инференс без NMS с эффективностью CNN. Самое новое поколение моделей на платформе Ultralytics, YOLO26 поддерживает опциональную сквозную архитектуру без NMS (
nms=False), аналогичную моделям DETR, устраняющую узкие места постобработки; кроме того, YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n.
Технические характеристики и авторы#
Понимание происхождения и замысла этих моделей позволяет лучше разобраться в их архитектурных решениях.
YOLOv9#
- Авторы: Chien-Yao Wang и Hong-Yuan Mark Liao
- Организация: Институт информатики Академии Синика
- Дата: 2024-02-21
- arXiv: https://arxiv.org/abs/2402.13616
- GitHub: WongKinYiu/yolov9
RTDETRv2#
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: lyuwenyu/RT-DETR
Архитектурные инновации#
YOLOv9: решение проблемы информационного узкого места#
В YOLOv9 представлены два важных новшества, призванных решить проблему потери информации при прохождении данных через глубокие нейронные сети:
- Программируемая градиентная информация (PGI): Эта вспомогательная система обучения помогает формировать надежные градиенты для обновления весов сети, сохраняя важную информацию о признаках даже в очень глубоких слоях сети.
- Обобщенная эффективная сеть агрегации слоев (GELAN): Архитектура, объединяющая сильные стороны CSPNet и ELAN. GELAN повышает эффективность использования параметров, позволяя YOLOv9 достигать более высокой точности при меньшем количестве FLOPs по сравнению с традиционными CNN.
RTDETRv2: усовершенствованные Transformer для работы в реальном времени#
Развивая идеи оригинальной модели RT-DETR, RTDETRv2 использует архитектуру на основе Transformer, которая изначально не требует подавления немаксимумов (NMS). Среди улучшений:
- Стратегия Bag-of-Freebies: В версии 2 используются дополнительные методы обучения и аугментации данных, повышающие точность без увеличения задержки при инференсе.
- Эффективный гибридный энкодер: Обрабатывая признаки разных масштабов с помощью разделенного механизма внимания внутри и между масштабами, RTDETRv2 снижает традиционно высокую вычислительную стоимость визуальных Transformer-моделей.
RTDETRv2 использует Transformer-модели для детекции без NMS, а более новая архитектура YOLO26 достигает этого с помощью опциональной головы один-к-одному (nms=False) в эффективной структуре CNN, обеспечивая столь же простое развертывание и более быстрый инференс на периферийных устройствах.
Сравнение производительности#
При оценке моделей для промышленной эксплуатации важно учитывать компромисс между точностью и вычислительными требованиями. В таблице ниже приведены показатели моделей разных размеров на стандартных бенчмарках.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.2 | 26.7 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.1 | 76.8 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.5 | 102.8 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 58.1 | 192.5 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
Анализ#
Как показывают данные, YOLOv9 явно выигрывает по эффективности использования параметров. Модель YOLOv9c достигает 53,0 mAP всего с 25,5 млн параметров.
В то же время RTDETRv2 успешно конкурирует в категориях моделей среднего и большого размера, а RTDETRv2-s точнее YOLOv9s. Однако это достигается ценой большего количества параметров и более высокого числа FLOPs, что типично для Transformer-моделей. Различия в архитектуре также влияют на использование памяти: моделям YOLO обычно требуется гораздо меньше памяти CUDA при обучении и инференсе, чем их аналогам на Transformer.
Преимущества Ultralytics: экосистема и универсальность#
Хотя чисто архитектурные метрики важны, успех ИИ-проекта часто определяется программной экосистемой. Доступ к этим моделям через Python API Ultralytics дает практические преимущества.
Упрощенное обучение и развертывание#
Обучение Detection Transformer обычно требует сложных файлов конфигурации и мощных GPU. С помощью фреймворка Ultralytics разработчики могут обучать модели YOLOv9 и RT-DETR с одинаковым простым синтаксисом, используя эффективные конвейеры обучения и готовые предварительно обученные веса.
from ultralytics import RTDETR, YOLO
# Обучи модель YOLOv9
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# Обучи модель RTDETR с помощью того же API
model_rtdetr = RTDETR("rtdetr-l.pt")
model_rtdetr.train(data="coco8.yaml", epochs=100, imgsz=640)
# Экспортируй модели в OpenVINO или TensorRT
model_yolo.export(format="openvino")Универсальность в решении задач#
Основное ограничение специализированных моделей, таких как RTDETRv2, — узкая специализация на детекции ограничивающих рамок. В отличие от них, широкая экосистема Ultralytics, включающая модели YOLO11 и YOLOv8, поддерживает множество задач компьютерного зрения. К ним относятся сегментация экземпляров на уровне пикселей, классификация целого изображения, оценка позы скелета и детекция ориентированных ограничивающих рамок (OBB) на аэрофотоснимках.
Применение в реальных условиях#
Высокоскоростная аналитика на периферии#
Для торговых залов и производственных линий, где требуется распознавать товары в реальном времени на периферийных устройствах, YOLOv9 — более подходящий вариант. Архитектура GELAN обеспечивает высокую пропускную способность на устройствах с ограниченными ресурсами, например в линейке NVIDIA Jetson, позволяя автоматизировать контроль качества без значительных задержек.
Анализ сложных сцен#
В таких сценариях, как наблюдение за плотными толпами или сложными транспортными перекрестками, где объекты часто перекрывают друг друга, глобальные механизмы внимания RTDETRv2 особенно эффективны. Благодаря способности анализировать контекст всего изображения модель обеспечивает надежное отслеживание и обнаружение объектов, даже когда они частично скрыты.
Сценарии использования и рекомендации#
Выбор между YOLOv9 и RT-DETR зависит от требований твоего проекта, ограничений развертывания и предпочтений относительно экосистемы.
Когда выбирать YOLOv9#
YOLOv9 — хороший выбор для:
- Исследование информационного узкого места: Академические проекты, изучающие архитектуры программируемой информации о градиентах (PGI) и обобщённой эффективной сети агрегации слоёв (GELAN).
- Исследования оптимизации потока градиентов: Работы, посвящённые изучению и устранению потери информации в глубоких слоях сети во время обучения.
- Сравнительное тестирование точного детектирования: Сценарии, в которых высокая результативность YOLOv9 на тестах COCO нужна в качестве ориентира для сравнения архитектур.
Когда выбрать RT-DETR#
RT-DETR рекомендуется для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение мелких объектов: сложные сценарии, например съемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность распознавания крошечных объектов.
Будущее: встречай YOLO26#
YOLOv9 и RTDETRv2 — значительные достижения, но компьютерное зрение развивается стремительно. Для новых проектов рекомендуется YOLO26.
Выпущенная в январе 2026 года, YOLO26 сочетает эффективность CNN со сквозным инференсом в стиле DETR. В ней реализована опциональная сквозная архитектура без NMS (nms=False), которая устраняет постобработку с помощью NMS; этот подход внедрила в модели YOLO компания YOLOv10. В YOLO26 также удалена Distribution Focal Loss (DFL) для улучшения совместимости с периферийными устройствами и представлен оптимизатор MuSGD. Этот гибрид SGD и Muon, вдохновленный обучением больших языковых моделей (в частности, модели Kimi K2 от Moonshot AI), повышает стабильность обучения и скорость сходимости.
Вместе с ProgLoss и STAL (прогрессивной функцией потерь и назначением меток с учетом малых объектов) для улучшения детекции мелких объектов эти изменения делают YOLO26 отличным выбором для современных ИИ-развертываний: YOLO26n работает на CPU до 43% быстрее YOLO11n.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.