RTDETRv2 и YOLOX
Разработчики систем обнаружения объектов в реальном времени могут выбирать из множества архитектур. Среди примечательных вариантов — трансформерная модель RTDETRv2 и сверточная нейронная сеть (CNN) YOLOX. Обе модели продвинули обнаружение объектов в реальном времени, но используют принципиально разные подходы к распознаванию изображений.
В этом руководстве рассматриваются архитектура, показатели производительности и оптимальные сценарии развертывания обеих моделей, а также показано, как Ultralytics YOLO26 развивает эти идеи, обеспечивая более высокую точность и эффективность, а также простоту использования.
RTDETRv2: Transformer для обнаружения объектов в реальном времени#
Созданная как преемница оригинальной модели RT-DETR, RTDETRv2 использует трансформерную архитектуру для обнаружения объектов в реальном времени. Отказ от необходимости применять подавление немаксимумов (NMS) упрощает конвейер инференса.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- Ссылки: Статья на arXiv, официальный репозиторий на GitHub, документация
Архитектура и конструкция#
RTDETRv2 использует механизмы самовнимания трансформеров, чтобы учитывать глобальный контекст всего изображения и напрямую предсказывать ограничивающие рамки и вероятности классов. Многоуровневые признаки помогают модели распознавать небольшие объекты в загруженных сценах.
Хотя Transformer хорошо улавливают глобальный контекст, объём вычислений для механизмов self-attention растёт квадратично с увеличением длины последовательности. Поэтому во время обучения они часто потребляют значительно больше памяти CUDA, чем традиционные CNN.
Преимущества и недостатки#
Главное преимущество RTDETRv2 — изначально сквозная архитектура. Отказ от NMS позволяет избежать скачков задержки, связанных с большим количеством перекрывающихся предсказаний. Однако трансформерные блоки требуют значительных вычислительных ресурсов и больших мощностей GPU как для обучения, так и для развертывания, поэтому модель хуже подходит для периферийных устройств с ограниченными ресурсами и старого мобильного оборудования.
YOLOX: развитие CNN без якорей#
YOLOX была создана, чтобы сократить разрыв между академическими исследованиями и промышленным применением. Она привнесла в популярное семейство моделей YOLO разделённую голову и архитектуру без якорей.
- Авторы: Чжэн Гэ, Сунтао Лю, Фэн Ван, Цзэмин Ли и Цзянь Сунь
- Организация: Megvii
- Дата: 18 июля 2021 года
- Ссылки: Статья на arXiv, официальный репозиторий на GitHub, документация
Архитектура и конструкция#
YOLOX отходит от традиционных детекторов на основе якорей и предсказывает местоположение объектов напрямую, без заранее заданных якорных рамок. Это упрощает архитектуру сети и сокращает число эвристических параметров настройки, необходимых для достижения оптимальной производительности. Кроме того, в YOLOX используется разделенная голова, которая разделяет задачи классификации и регрессии и ускоряет сходимость при обучении.
Преимущества и недостатки#
Благодаря безъякорной архитектуре YOLOX подходит для различных задач компьютерного зрения и проще обучается на пользовательских наборах данных. Самые компактные варианты, например YOLOX-Nano, подходят для мобильных устройств и маломощных устройств Интернета вещей. Однако YOLOX появилась раньше детекторов без NMS и по-прежнему использует NMS на этапе постобработки, что усложняет развертывание и увеличивает задержку в насыщенных сценах.
Сравнение производительности и метрик#
В таблице ниже сравниваются скорость, точность (mAP) и эффективность использования параметров для моделей разных размеров на наборе данных COCO.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOXnano | 416 | 25.8 | - | - | 0.91 | 1.08 |
| YOLOXtiny | 416 | 32.8 | - | - | 5.06 | 6.45 |
| YOLOXs | 640 | 40.5 | - | 2.56 | 9.0 | 26.8 |
| YOLOXm | 640 | 46.9 | - | 5.43 | 25.3 | 73.8 |
| YOLOXl | 640 | 49.7 | - | 9.04 | 54.2 | 155.6 |
| YOLOXx | 640 | 51.1 | - | 16.1 | 99.1 | 281.9 |
RTDETRv2 точнее при любом сопоставимом размере модели. RTDETRv2-x достигает 54.3 mAP против 51.1 у YOLOXx и также работает быстрее на GPU T4 (15.03 мс против 16.1 мс), используя меньше параметров (76M против 99.1M). Преимущество YOLOX — в компактных моделях: YOLOXs выполняет инференс за 2.56 мс с 9.0M параметров (40.5 mAP), а YOLOX-Nano и YOLOX-Tiny предлагают варианты менее чем с 6M параметров, которых нет у RTDETRv2.
Преимущества Ultralytics: знакомство с YOLO26#
Во многих проектах нужна одна модель, сочетающая высокую точность, быстрый инференс и доступную экосистему. Для этого и создана Ultralytics YOLO26, выпущенная в январе 2026 года.
Ключевые нововведения YOLO26#
- Сквозная архитектура без NMS: Опираясь на обучение без NMS, которое YOLOv10 внедрила в модели YOLO, YOLO26 предлагает дополнительную голову без NMS (
nms=False). Она обеспечивает сквозной инференс RTDETRv2 без высокого потребления памяти трансформерами. - Оптимизатор MuSGD: гибридный оптимизатор MuSGD, вдохновленный обучением больших языковых моделей (LLM) и сочетающий SGD и Muon, стабилизирует обучение и ускоряет сходимость.
- Инференс на CPU до 43% быстрее: удаление модуля Distribution Focal Loss (DFL) упрощает голову для периферийных вычислений и маломощных устройств, благодаря чему YOLO26n работает на CPU (ONNX) до 43% быстрее, чем YOLO11n.
- ProgLoss + STAL: Progressive Loss и назначение меток с учетом небольших объектов (STAL) улучшают распознавание мелких объектов — распространенную проблему аэросъемки и робототехнических приложений.
Универсальность и экосистема#
Помимо чистой производительности, Ultralytics Platform охватывает весь путь от данных до промышленной эксплуатации. В отличие от неизменяемых академических репозиториев, модели Ultralytics активно развиваются и поддерживают множество задач через единый API. Независимо от того, выполняешь ли ты сегментацию экземпляров, оценку позы или обнаружение ориентированных ограничивающих рамок (OBB), рабочий процесс остается одинаковым.
Модели Ultralytics YOLO также требуют мало памяти при обучении и инференсе, поэтому исследователи могут использовать на обычном пользовательском оборудовании более крупные размеры пакетов, чем позволяют требовательные к памяти трансформерные архитектуры.
Пример кода для обучения#
Для обучения модели YOLO26 достаточно нескольких строк кода, а пакет Ultralytics берет на себя загрузку данных и настройку гиперпараметров по умолчанию.
from ultralytics import YOLO
# Initialize the YOLO26 Nano model
model = YOLO("yolo26n.pt")
# Train the model on the standard COCO8 dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, batch=16)
# Validate the model's performance
metrics = model.val()
print(f"Validation mAP: {metrics.box.map}")
# Export to ONNX or TensorRT for rapid deployment
model.export(format="engine", device=0)Применение в реальном мире и подходящие сценарии использования#
Выбор подходящей архитектуры зависит от ограничений развертывания и доступного оборудования.
Высокоточная облачная обработка#
Если приложение работает на мощных серверных GPU и для него важна максимальная точность — например, при анализе плотных толп или обработке медицинских изображений высокого разрешения, — механизмы внимания RTDETRv2 могут быть эффективны.
Развертывание на устаревших периферийных устройствах#
Для старых мобильных телефонов или сильно ограниченного встроенного оборудования, где необходимо минимальное число FLOPs, компактная YOLOX-Nano (0.91M параметров, 1.08B FLOPs) остается подходящим запасным вариантом благодаря простой архитектуре CNN.
Современный стандарт: AIoT и робототехника#
Для большинства современных задач, включая инфраструктуру умного города, аналитику розничной торговли и автономную навигацию, рекомендуется Ultralytics YOLO26. Инференс YOLO26n на CPU до 43% быстрее, чем у YOLO11n, что подходит для периферийных вычислений, а опциональная голова без NMS обеспечивает низкую и стабильную задержку. Документация Ultralytics и активное сообщество также помогают командам быстро перейти от разметки набора данных к развертыванию.
Используй Ultralytics Platform для управления наборами данных, обучения моделей в облаке и масштабного развертывания.
Среди других моделей Ultralytics стоит рассмотреть YOLOv8 с широкой поддержкой интеграций сообщества и YOLOv5, которая остается стабильной в устаревших конвейерах. Для новых проектов рекомендуется начать с YOLO26.
Комментарии6
Задай вопрос, поделись результатами или помоги кому-нибудь.
UltralyticsAssistantUltralytics
👋 Hello, thank you for opening a discussion and engaging with Ultralytics 🚀! For new users, we recommend visiting the Docs where you'll find detailed Python and CLI usage examples, as well as answers to many common questions.
If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us investigate further.
If your question is about custom training or model comparison ❓, please share as much detail as possible—such as dataset samples, training logs, or what specific performance metrics you're interested in. Don't forget to check out our Tips for Best Training Results for optimal guidance.
Join the Ultralytics community where you feel most comfortable:
- For real-time chat, head to Discord 🎧
- For in-depth discussions, visit Discourse
- Or explore threads on our Subreddit to share and learn with others
Upgrade
Please ensure you're using the latest
ultralyticspackage and all requirements in a Python>=3.8 environment with PyTorch>=1.8:pip install -U ultralyticsEnvironments
YOLO models can be run in any of the following up-to-date verified environments (with all dependencies, including CUDA/CUDNN, Python and PyTorch preinstalled):
- Notebooks with free GPU:
- Google Cloud Deep Learning VM. See GCP Quickstart Guide
- Amazon Deep Learning AMI. See AWS Quickstart Guide
- Docker Image. See Docker Quickstart Guide
Status
If this badge is green, all Ultralytics CI tests are currently passing! CI tests verify correct operation of all YOLO Modes and Tasks across macOS, Windows, and Ubuntu every 24 hours and on every commit.
This is an automated response and an Ultralytics engineer will assist you soon 😊
Glenn JocherUltralytics(изменено)This page offers a valuable comparison between RTDETRv2 and YOLOX, highlighting their different strengths. If you have specific questions about these models, feel free to ask here. RTDETRv2 excels in accuracy (reaching 54.3% mAP) but demands more computational resources, while YOLOX stands out for efficiency and speed, making it ideal for edge devices. For those seeking alternatives with a balance of performance and usability, you might also consider Ultralytics YOLO26, which offers excellent performance across various computer vision tasks. What specific aspect of these models are you most interested in learning more about?
UltralyticsAssistantUltralytics
👋 Hello, thank you for starting this comparison discussion about RTDETRv2 and YOLOX! 🚀 For detailed guidance, we recommend checking out our Docs, which contain in-depth information, benchmarks, and usage examples that may help answer many of your questions.
If this is a 🐛 Bug Report, please provide a minimum reproducible example so we can assist you efficiently.
For model training or evaluation ❓ Questions, please share as many details as possible, such as dataset samples, training logs, or specific requirements, and review our Tips for Best Training Results.
Join the Ultralytics community in your preferred space! For real-time chat, visit our Discord 🎧. For topic-based discussions, check out Discourse, or connect with others on our Subreddit.
Upgrade
Make sure your
ultralyticspackage and all requirements are up to date in a Python>=3.8 environment with PyTorch>=1.8:pip install -U ultralyticsEnvironments
YOLO models can be run in these verified environments:
- Notebooks with free GPU:
- Google Cloud Deep Learning VM: GCP Quickstart Guide
- Amazon Deep Learning AMI: AWS Quickstart Guide
- Docker Image: Docker Quickstart Guide
Status
A green badge means all Ultralytics CI tests are passing. CI covers all YOLO Modes and Tasks across macOS, Windows, and Ubuntu.
This is an automated response 🤖. An Ultralytics engineer will review your discussion and provide further assistance soon!
Glenn JocherUltralytics(изменено)Welcome to the RTDETRv2 vs YOLOX comparison discussion! This page highlights two powerful object detection approaches with different strengths: RTDETRv2 leverages transformer architecture for higher accuracy in complex scenes (54.3% mAP for RTDETRv2-x), while YOLOX offers exceptional efficiency with faster inference speed (2.56ms for YOLOX-s on T4 TensorRT).
Your use case should guide your choice - RTDETRv2 excels when maximum accuracy is critical and GPU resources are available, while YOLOX is ideal for edge devices and real-time applications with limited resources.
If you're looking for models within a comprehensive ecosystem, you might also consider Ultralytics YOLO26 which balances performance with ease of use.
Feel free to post any questions about these models or their implementation in your specific applications. The Ultralytics team is here to help!
- Notebooks with free GPU:
UltralyticsAssistantUltralytics
👋 Hello, thank you for starting this discussion and sharing your interest in comparing object detection models like RTDETRv2 and YOLOX 🚀! For a detailed overview, the Ultralytics Docs offer a wealth of information, including the comparison page you linked, which highlights model strengths, performance, and use cases.
If you have specific questions or encounter any issues related to these models, please provide as much detail as possible.
- If this is a 🐛 Bug Report, please include a minimum reproducible example to help us assist you.
- For custom training ❓ questions, adding dataset samples and training logs can be very helpful. Make sure to review our Training Tips for best results.
Connect with the Ultralytics community in your preferred way! For real-time help, join our Discord 🎧. In-depth posts and discussions are found on Discourse, and our Subreddit is great for sharing experiences and solutions.
Upgrade
To ensure the best experience and access to the latest features and fixes, please upgrade the
ultralyticspackage and all requirements in a Python>=3.8 environment with PyTorch>=1.8:pip install -U ultralyticsEnvironments
YOLO models can be run in any of these verified environments with all dependencies preinstalled:
- Notebooks with free GPU:
- Google Cloud Deep Learning VM (GCP Quickstart Guide)
- Amazon Deep Learning AMI (AWS Quickstart Guide)
- Docker Image (Docker Quickstart Guide)
Status
A green badge means all Ultralytics CI tests are passing, ensuring YOLO Modes and Tasks work across macOS, Windows, and Ubuntu.
This is an automated response 🤖—an Ultralytics engineer will review your discussion and assist you soon!
Glenn JocherUltralytics(изменено)Welcome to the discussion about RTDETRv2 and YOLOX object detection models! Both offer different strengths - RTDETRv2 provides higher accuracy through its transformer architecture, while YOLOX excels in speed and efficiency on resource-constrained devices.
If you have specific questions about implementing either model, performance tuning, or need help choosing between them for your particular use case, please share your questions here. Our team monitors these discussions to provide technical guidance and support.
For hands-on users interested in similar models with Ultralytics integration, YOLO26 offers an excellent balance of speed and accuracy with full support in our ecosystem.