RTDETRv2 и YOLOv9
Архитектуры компьютерного зрения разделились на два основных направления: свёрточные нейронные сети (CNN) и модели на основе Transformer. Сравнение RTDETRv2 и YOLOv9 предполагает оценку компромиссов между глобальным вниманием и программируемой градиентной информацией. Обе модели — сильные представители своих подходов к обнаружению объектов в реальном времени.
Знакомство с моделями#
RTDETRv2: Transformer для обнаружения в реальном времени#
Разработанная исследователями из Baidu, RTDETRv2 развивает исходную RT-DETR, добавляя подход «Bag-of-Freebies» для улучшения базовой модели Real-Time Detection Transformer. Она решает традиционную проблему Transformer — скорость инференса — и делает эти модели пригодными для приложений реального времени.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- Ссылки: arXiv, GitHub
Отличительная черта RTDETRv2 — встроенная сквозная архитектура без NMS. Отказ от подавления немаксимумов (NMS) на этапе постобработки стабилизирует задержку инференса и упрощает конвейер развёртывания. Механизм глобального внимания помогает модели обрабатывать сложные сцены и плотные скопления людей, поскольку она одновременно оценивает контекст всего изображения.
YOLOv9: программируемая информация о градиентах#
YOLOv9 — эффективная архитектура на основе CNN, решающая проблему информационного узкого места, свойственную глубоким нейронным сетям. В ней представлены Programmable Gradient Information (PGI) и Generalized Efficient Layer Aggregation Network (GELAN).
- Авторы: Chien-Yao Wang и Hong-Yuan Mark Liao
- Организация: Институт информатики Академии Синика
- Дата: 21 февраля 2024 года
- Ссылки: arXiv, GitHub
YOLOv9 опирается на проверенные основы свёрточных нейронных сетей и ориентирована на эффективное использование параметров. Сохраняя ключевую информацию в процессе прямого распространения, PGI обеспечивает надёжность градиентов, благодаря чему модель получается компактной и точной. Однако, в отличие от RTDETRv2, YOLOv9 по-прежнему использует стандартную постобработку NMS.
Производительность и эффективность использования ресурсов#
В таблице ниже сравниваются средняя точность (mAP) и вычислительные затраты на наборе данных MS COCO. При сопоставимой точности YOLOv9 использует гораздо меньше параметров (YOLOv9m достигает 51.4 mAP при 20.1M параметров против 51.9 mAP и 36M у RTDETRv2-m) и работает быстрее в TensorRT на T4 при любом размере, кроме YOLOv9e. YOLOv9e достигает наивысшего mAP (55.6), но одновременно оказывается самой медленной моделью в таблице (16.77 мс).
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv9t | 640 | 38.3 | - | 2.3 | 2.0 | 7.7 |
| YOLOv9s | 640 | 46.8 | - | 3.54 | 7.2 | 26.7 |
| YOLOv9m | 640 | 51.4 | - | 6.43 | 20.1 | 76.8 |
| YOLOv9c | 640 | 53.0 | - | 7.16 | 25.5 | 102.8 |
| YOLOv9e | 640 | 55.6 | - | 16.77 | 58.1 | 192.5 |
Требования к памяти и эффективность обучения#
Во время обучения модели Transformer, такие как RTDETRv2, требуют много памяти и нередко значительных объёмов памяти CUDA. Архитектуры CNN, такие как YOLOv9 и другие модели Ultralytics YOLO, обычно расходуют меньше памяти и позволяют разработчикам обучать модели с большим размером пакета на потребительском оборудовании.
Чтобы максимально эффективно использовать своё оборудование, рассмотри платформу Ultralytics для облачного обучения. Она автоматически настраивает окружение и размер пакета.
Преимущества Ultralytics: экосистема и простота использования#
Отдельные репозитории, например официальные страницы RTDETRv2 или YOLOv9 на GitHub, полезны для исследований, но production-средам необходимы стабильность, простота использования и хорошо поддерживаемая экосистема. Использование этих моделей через API Python Ultralytics обеспечивает единообразную работу разработчика.
Единый API и универсальность#
Фреймворк Ultralytics скрывает сложности загрузки данных, аугментации и распределённого обучения. Кроме того, исходная RTDETRv2 предназначена только для обнаружения объектов, тогда как экосистема Ultralytics позволяет переходить между обнаружением объектов, сегментацией экземпляров и оценкой позы.
from ultralytics import RTDETR, YOLO
# Обучить модель YOLOv9 на собственных данных
model_yolo = YOLO("yolov9c.pt")
model_yolo.train(data="coco8.yaml", epochs=50, imgsz=640)
# Легко переключайся на RT-DETR для оценки сложных сцен
model_rtdetr = RTDETR("rtdetr-l.pt")
results = model_rtdetr.predict("https://ultralytics.com/images/bus.jpg")
# Экспортируй в готовые к промышленному использованию форматы, например TensorRT
model_yolo.export(format="engine")Благодаря подробной документации, автоматическому отслеживанию экспериментов и экспорту в такие форматы, как ONNX, TensorRT и OpenVINO, Ultralytics сокращает путь от прототипа до production.
Оптимальные сценарии применения#
В чём RTDETRv2 особенно хорош#
Благодаря механизму глобального внимания RTDETRv2 хорошо подходит для обработки на сервере и сред, где важен глобальный контекст. Она показывает хорошие результаты в таких сценариях:
- Медицинская визуализация: выявление малозаметных аномалий, для обнаружения которых важен окружающий контекст.
- Аэронаблюдение: анализ видеозаписей с дронов высокого разрешения, где широкий пространственный контекст помогает интерпретировать сцену.
- Анализ плотных скоплений людей: обнаружение людей в толпе, где NMS может подавлять истинные детекции перекрывающихся объектов.
В чём YOLOv9 особенно хорош#
YOLOv9 хорошо подходит для развёртывания на периферийных устройствах с ограниченными ресурсами. Благодаря вычислительной эффективности она подходит для таких задач:
- Робототехника: навигация в реальном времени и обход препятствий, где необходима минимальная задержка.
- IoT в умном городе: установка на периферийные устройства, например NVIDIA Jetson, для мониторинга дорожного движения.
- Промышленный контроль: контроль качества на высокоскоростных сборочных линиях, требующий высокой частоты кадров (FPS).
Будущее: встречай Ultralytics YOLO26#
YOLOv9 и RTDETRv2 стали важными шагами вперёд, а развитие отрасли продолжается. Для новых развёртываний Ultralytics YOLO26, выпущенная в январе 2026 года, объединяет идеи обоих архитектурных подходов.
YOLO26 объединяет сильные стороны Transformer и CNN:
- Сквозная архитектура без NMS: как и RTDETRv2, YOLO26 поддерживает встроенный сквозной инференс. Дополнительная голова one-to-one (
nms=False) пропускает этап постобработки NMS, обеспечивая более быстрые, простые и предсказуемые конвейеры развёртывания. - Оптимизатор MuSGD: вдохновлённая методами обучения больших языковых моделей (LLM), например Kimi K2 от Moonshot AI, YOLO26 использует гибрид SGD и Muon для более стабильного обучения и быстрой сходимости.
- Инференс на CPU до 43% быстрее: YOLO26n работает на CPU до 43% быстрее YOLO11n, поэтому подходит для периферийных вычислений и устройств без GPU, где более тяжёлым моделям Transformer сложно работать.
- Отказ от DFL: отказ от Distribution Focal Loss упрощает граф модели и облегчает экспорт на маломощные периферийные устройства и встроенные нейронные процессоры (NPU).
- ProgLoss + STAL: прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов, что важно для IoT и наборов аэрофотоснимков.
Командам, начинающим новый проект в области компьютерного зрения, рекомендуем оценить YOLO26. Она предлагает дополнительный инференс без NMS, как у Transformer, сохраняя скорость и эффективность обучения архитектуры YOLO.
Итоги#
Выбор между RTDETRv2 и YOLOv9 в основном зависит от оборудования для развёртывания и конкретных требований к точности. RTDETRv2 обеспечивает высокую точность и учитывает контекст в приложениях с серверной обработкой, а YOLOv9 эффективна на периферийных устройствах.
Экосистема Ultralytics позволяет разработчикам экспериментировать с YOLOv9 и исходной RT-DETR, используя один и тот же API. Более новые модели, такие как YOLO11, и модель YOLO26 со сквозной архитектурой обеспечивают более широкую поддержку задач, быстрый инференс и низкое потребление памяти.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.