YOLOX и RTDETRv2
Выбор оптимальной архитектуры для приложений компьютерного зрения требует тщательного баланса между точностью, скоростью инференса и возможностью развертывания. В этом техническом анализе рассматриваются ключевые различия между YOLOX — широко используемой безанкерной CNN-архитектурой — и RTDETRv2, трансформером для обнаружения объектов в реальном времени.
Обе модели внесли значительный вклад в развитие обнаружения объектов, однако разработчики промышленных приложений часто обнаруживают, что более новые альтернативы, такие как Ultralytics YOLO26, обеспечивают более эффективное обучение, требуют меньше памяти и предлагают более зрелую экосистему развертывания.
YOLOX: мост между исследованиями и промышленностью#
YOLOX стала популярной безанкерной адаптацией серии YOLO. В этой модели была представлена упрощенная архитектура, обеспечившая заметный прирост производительности на момент выпуска.
- Авторы: Чжэн Гэ, Сунтао Лю, Фэн Ван, Цзэмин Ли и Цзянь Сунь
- Организация: Megvii
- Дата: 18 июля 2021 года
- Ссылки: arXiv, GitHub, Документация
Архитектурные инновации#
YOLOX перевела семейство YOLO на безанкерную парадигму, добавив раздельную головку и стратегию назначения меток SimOTA. Отказ от анкерных рамок значительно сократил число проектных параметров и улучшил обобщающую способность на различных бенчмарковых наборах данных. Легковесные версии YOLOX-Nano и YOLOX-Tiny стали популярным выбором для развертывания приложений ИИ для компьютерного зрения на периферийных устройствах.
Несмотря на заметные достижения YOLOX, зависимость от традиционной постобработки с помощью подавления немаксимумов (NMS) может приводить к большей задержке по сравнению с изначально сквозными моделями.
RTDETRv2: развитие Vision Transformer для работы в реальном времени#
Развивая идеи предшественника RT-DETR, RTDETRv2 использует Vision Transformers (ViT), чтобы достичь конкурентной точности при сохранении скорости инференса в реальном времени.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- Ссылки: arXiv, GitHub
Архитектурные инновации#
RTDETRv2 переосмысливает конвейер обнаружения благодаря архитектуре на основе Transformer, которая изначально обходится без NMS. Это достигается за счет гибридного кодировщика и выбора запросов с учетом IoU, что улучшает инициализацию запросов объектов. Модель эффективно обрабатывает признаки разных масштабов и улавливает сложные детали в непростых условиях, например при обнаружении объектов на ночном видео с дорожным движением.
Однако Transformer требуют значительных вычислительных ресурсов. Для обучения RTDETRv2 обычно нужно значительно больше памяти GPU и вычислительных циклов, чем для альтернатив на основе CNN. Это может стать препятствием для команд с жесткими бюджетными ограничениями или тех, кому требуется часто выполнять настройку моделей.
Таблица сравнения производительности#
Чтобы объективно оценить эти архитектуры, мы сравним их результаты на наборе данных COCO. В таблице ниже показан компромисс между точностью (mAP), количеством параметров и вычислительной сложностью.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOXnano | 416 | 25.8 | - | - | 0.91 | 1.08 |
| YOLOXtiny | 416 | 32.8 | - | - | 5.06 | 6.45 |
| YOLOXs | 640 | 40.5 | - | 2.56 | 9.0 | 26.8 |
| YOLOXm | 640 | 46.9 | - | 5.43 | 25.3 | 73.8 |
| YOLOXl | 640 | 49.7 | - | 9.04 | 54.2 | 155.6 |
| YOLOXx | 640 | 51.1 | - | 16.1 | 99.1 | 281.9 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
RTDETRv2 обеспечивает более высокую точность при схожей задержке (например, RTDETRv2-x достигает 54.3 mAP за 15.03 мс против 51.1 mAP за 16.1 мс у YOLOXx), тогда как YOLOX сохраняет преимущество благодаря легковесным вариантам с небольшим числом параметров, особенно Nano и Tiny.
Сценарии использования и рекомендации#
Выбор между YOLOX и RT-DETR зависит от конкретных требований проекта, ограничений развертывания и предпочтений в отношении экосистемы.
Когда стоит выбрать YOLOX#
YOLOX подойдёт для:
- Исследования обнаружения без якорей: Академические исследования, в которых чистая архитектура YOLOX без якорей используется как базовая модель для экспериментов с новыми головами обнаружения или функциями потерь.
- Сверхкомпактные периферийные устройства: Развертывание на микроконтроллерах или устаревшем мобильном оборудовании, где критически важен крайне малый размер варианта YOLOX-Nano (0,91 млн параметров).
- Исследования назначения меток SimOTA: Исследовательские проекты по изучению стратегий назначения меток на основе оптимального транспорта и их влияния на сходимость обучения.
Когда выбрать RT-DETR#
RT-DETR рекомендуется для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение мелких объектов: сложные сценарии, например съемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность распознавания крошечных объектов.
Преимущества Ultralytics: YOLO26#
Хотя YOLOX и RTDETRv2 обладают разными сильными сторонами, выпущенная в январе 2026 года Ultralytics YOLO26 решает многие традиционные проблемы компромисса между скоростью, точностью и простотой развертывания.
1. Сквозная архитектура без NMS#
Вдохновленная моделями Transformer, но сохраняющая эффективность CNN, YOLO26 поддерживает опциональную сквозную архитектуру без NMS (nms=False). Отказ от подавления немаксимумов на этапе постобработки упрощает конвейеры развертывания и обеспечивает стабильную задержку инференса на разных периферийных устройствах без необходимости сложной настройки порогов.
2. До 43% более быстрый инференс на CPU#
В отличие от архитектур Transformer, таких как RTDETRv2, которые обычно полагаются на GPU, YOLO26 оптимизирована для сред периферийных вычислений. Удаление Distribution Focal Loss (DFL) упрощает экспорт модели, а YOLO26n обеспечивает до 43% более быстрый инференс на CPU, чем YOLO11n, поэтому она хорошо подходит для устройств вроде Raspberry Pi и стандартных мобильных устройств.
3. Эффективное обучение с MuSGD#
Обучение моделей Transformer часто приводит к чрезмерному потреблению памяти CUDA и длительному времени обучения. В YOLO26 появился оптимизатор MuSGD — гибрид стохастического градиентного спуска и оптимизатора Muon, вдохновленного большими языковыми моделями (LLM), — который обеспечивает стабильное обучение и более быструю сходимость. В сочетании с архитектурой CNN это позволяет снизить требования к оборудованию для обучения по сравнению с RTDETRv2.
4. Экосистема и универсальность#
Экосистема Ultralytics предлагает интуитивно понятные и оптимизированные инструменты для разработчиков. Благодаря подробной документации, активной поддержке сообщества и облачной платформе Ultralytics управлять всем жизненным циклом ИИ просто. YOLO26 также универсальна: в отличие от RTDETRv2, предназначенной для обнаружения объектов, YOLO26 изначально поддерживает задачи сегментации экземпляров, классификации изображений, оценки позы и обнаружения ориентированных ограничивающих рамок (OBB). Новые ProgLoss + STAL (прогрессивная функция потерь и назначение меток с учетом малых объектов) дополнительно улучшают обнаружение небольших объектов — важную возможность для аэрофотоснимков и обнаружения производственных дефектов.
Интеграция с Ultralytics#
Развертывание моделей не должно требовать работы со сложными и разрозненными кодовыми базами. Python API Ultralytics позволяет загружать, обучать и экспортировать передовые модели всего несколькими строками кода.
from ultralytics import YOLO
# Загрузи новейшую YOLO26 nano для оптимальной производительности на периферийных устройствах
model = YOLO("yolo26n.pt")
# Обучи модель на собственном наборе данных с минимальным расходом памяти
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Проверка производительности модели
metrics = model.val()
# Экспортируй в ONNX или TensorRT для развёртывания
model.export(format="onnx")Используя Ultralytics, ты избежишь сложной настройки окружения, характерной для исследовательских репозиториев, и быстрее выведешь продукт на рынок.
Заключение#
YOLOX и RTDETRv2 стали важными вехами в развитии обнаружения объектов в реальном времени. YOLOX доказала жизнеспособность эффективных безанкерных CNN, а RTDETRv2 успешно адаптировала Transformer для работы в реальном времени.
Однако для современных приложений — от аналитики в умной рознице до встроенной робототехники — рекомендуется Ultralytics YOLO26. Сочетая инференс без NMS с высокой скоростью на CPU, меньшим объемом памяти и поддержкой платформы Ultralytics, YOLO26 помогает разработчикам создавать надежные и высокопроизводительные системы компьютерного зрения.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.