RTDETRv2 и YOLOX#

Компьютерное зрение стремительно развивается, предлагая разработчикам и исследователям широкий выбор архитектур для создания систем на основе зрения. Два важных этапа этого развития — RTDETRv2 на основе Transformer и YOLOX на основе CNN. Обе модели внесли значительный вклад в обнаружение объектов в реальном времени, но представляют принципиально разные подходы к решению задач визуального распознавания.

В этом подробном руководстве рассматриваются особенности архитектуры, метрики производительности и оптимальные сценарии развертывания обеих моделей. Кроме того, мы расскажем, как современные альтернативы, такие как передовая Ultralytics YOLO26, развивают эти идеи, обеспечивая более высокую точность, эффективность и удобство использования.

RTDETRv2: Transformer для обнаружения объектов в реальном времени#

Созданная как преемница оригинальной RT-DETR, RTDETRv2 использует архитектуру Transformer для высокопроизводительного обнаружения объектов в реальном времени. Отказ от необходимости в подавлении немаксимумов (NMS) упрощает конвейер инференса.

• Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
• Организация: Baidu
• Дата: 2024-07-24
• Ссылки: статья на Arxiv, официальный GitHub, документация

Архитектура и конструкция#

RTDETRv2 активно использует механизмы self-attention, свойственные Transformer, благодаря чему модель улавливает глобальный контекст всего изображения. Это целостное понимание позволяет ей напрямую предсказывать ограничивающие рамки и вероятности классов. Модель использует признаки для обнаружения объектов на нескольких масштабах, что улучшает распознавание мелких объектов в загромождённых сценах.

Преимущества и недостатки#

Главное преимущество RTDETRv2 — встроенная сквозная архитектура. Отказ от NMS позволяет избежать скачков задержки, часто возникающих при большом количестве перекрывающихся предсказаний. Однако вычислительная сложность блоков Transformer требует значительных ресурсов GPU как для обучения, так и для развертывания. Поэтому модель хуже подходит для периферийных устройств с ограниченными ресурсами и устаревшего мобильного оборудования.

Узнай больше о RTDETRv2

YOLOX: развитие CNN без якорей#

YOLOX была создана, чтобы сократить разрыв между академическими исследованиями и промышленным применением. Она привнесла в популярное семейство моделей YOLO разделённую голову и архитектуру без якорей.

• Авторы: Чжэн Гэ, Сунтао Лю, Фэн Ван, Цзэмин Ли и Цзянь Сунь
• Организация: Megvii
• Дата: 18 июля 2021 года
• Ссылки: статья на Arxiv, официальный GitHub, документация

Архитектура и конструкция#

YOLOX отличается от традиционных детекторов на основе якорей: модель напрямую предсказывает местоположение объектов, не используя заранее заданные якорные рамки. Это упрощает архитектуру сети и сокращает число эвристических параметров, которые нужно настраивать для достижения оптимальной производительности. Кроме того, YOLOX использует разделённую голову, в которой задачи классификации и регрессии выполняются отдельно, что ускоряет сходимость при обучении.

Преимущества и недостатки#

Благодаря архитектуре без якорей YOLOX легко адаптируется к различным задачам компьютерного зрения и проще обучается на пользовательских наборах данных. Компактные варианты, например YOLOX-Nano, хорошо подходят для развертывания на микроконтроллерах и маломощных IoT-устройствах. Однако YOLOX появилась до революции моделей без NMS и по-прежнему использует традиционную постобработку, что может усложнить развертывание и увеличить задержку в плотных сценах.

Узнай больше о YOLOX

Сравнение производительности и метрик#

При сравнении моделей важно оценить их скорость, точность и эффективность использования параметров, чтобы определить, какая из них лучше подходит для конкретного сценария. В таблице ниже представлены показатели моделей разных размеров на стандартном наборе данных COCO.

Как показывают данные, RTDETRv2 обеспечивает более высокую максимальную точность (54.3 mAP) в крупнейшей версии по сравнению с YOLOXx. Однако у YOLOX есть значительно более компактные и быстрые версии, например YOLOXs: у неё меньше параметров, а инференс на GPU NVIDIA T4 проходит быстрее.

Преимущества Ultralytics: знакомство с YOLO26#

Хотя RTDETRv2 и YOLOX обладают разными преимуществами, современным разработчикам часто нужно единое решение, сочетающее лучшее из обеих моделей: высокую точность, молниеносный инференс и доступную экосистему. Недавно выпущенная Ultralytics YOLO26 — вершина этого развития.

Ключевые нововведения YOLO26#

• Сквозная архитектура без NMS: развивая идеи, впервые предложенные в YOLOv10, YOLO26 предлагает опциональную голову без NMS (nms=False). Она обеспечивает такой же простой инференс, как у RTDETRv2, но не требует огромного объёма памяти, необходимого Transformer.
• Оптимизатор MuSGD: гибридный оптимизатор MuSGD, созданный под влиянием нововведений в обучении больших языковых моделей и объединяющий SGD с Muon, стабилизирует процесс обучения и значительно ускоряет сходимость.
• Инференс на CPU до 43% быстрее: стратегическое удаление модуля Distribution Focal Loss (DFL) специально оптимизирует YOLO26 для периферийных вычислений и маломощных устройств. Поэтому на CPU модель работает значительно быстрее предыдущих версий, таких как YOLO11.
• ProgLoss + STAL: эти усовершенствованные функции потерь значительно улучшают распознавание мелких объектов, решая распространённую проблему аэрофотосъёмки и робототехники.

Непревзойдённая универсальность и экосистема#

Помимо высокой производительности, платформа Ultralytics предлагает комплексную экосистему для перехода от нуля к производственному развертыванию. В отличие от статичных академических репозиториев, модели Ultralytics активно поддерживаются и позволяют выполнять разные задачи через единый интуитивно понятный API. Будь то сегментация экземпляров, отслеживание поз с помощью оценки позы или работа с повёрнутыми объектами с помощью ориентированных ограничивающих рамок (OBB) — рабочий процесс остаётся неизменным.

Кроме того, модели Ultralytics известны низкими требованиями к памяти как при обучении, так и при инференсе. Это позволяет исследователям использовать большие размеры пакетов на обычном пользовательском оборудовании — разительный контраст с ресурсоёмкими архитектурами на основе Transformer.

Пример кода для обучения#

Простота — лучшее доказательство возможностей экосистемы Ultralytics. Для обучения современной модели YOLO26 достаточно нескольких строк кода, при этом все сложности загрузки данных и настройки гиперпараметров скрыты от пользователя.

from ultralytics import YOLO

# Initialize the YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on the standard COCO8 dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, batch=16)

# Validate the model's performance seamlessly
metrics = model.val()
print(f"Validation mAP: {metrics.box.map}")

# Export to ONNX or TensorRT for rapid deployment
model.export(format="engine", device=0)

Применение в реальном мире и подходящие сценарии использования#

Выбор подходящей архитектуры полностью зависит от ограничений развертывания и доступного оборудования.

Высокоточная облачная обработка#

Если приложение работает на мощных серверных GPU и максимальная точность в приоритете — например, при анализе плотных скоплений людей или обработке медицинских изображений высокого разрешения, — эффективными могут быть надёжные механизмы внимания RTDETRv2.

Развертывание на устаревших периферийных устройствах#

Для развертывания на старых мобильных телефонах или сильно ограниченных микроконтроллерах, где крайне важно минимальное число FLOPs, ультракомпактная YOLOX-Nano остаётся подходящим запасным вариантом благодаря простой архитектуре CNN.

Современный стандарт: AIoT и робототехника#

Для большинства современных задач — от инфраструктуры умных городов и аналитики розничной торговли до автономной навигации — Ultralytics YOLO26 станет оптимальным выбором. Инференс на CPU на 43% быстрее делает модель непревзойдённой для периферийных вычислений, а опциональная голова без NMS обеспечивает низкую и стабильную задержку. Комплексная документация и активная поддержка сообщества экосистемы Ultralytics помогают командам быстрее, чем когда-либо, перейти от разметки набора данных к развертыванию по всему миру.

Если ты хочешь изучить другие архитектуры экосистемы Ultralytics, обрати внимание на YOLOv8 с обширными интеграциями, созданными сообществом, или на YOLOv5, которая отличается непревзойдённой стабильностью в устаревших конвейерах. Однако в 2026 году YOLO26 остаётся отраслевым стандартом и задаёт новые границы возможного.