RTDETRv2 против YOLOX#

Сфера компьютерного зрения стремительно развивается, предлагая разработчикам и исследователям широкий спектр архитектур на выбор при создании систем на основе зрения. Двумя заметными вехами на этом пути стали RTDETRv2 на базе Transformer и YOLOX на базе CNN. Хотя обе модели внесли значительный вклад в область обнаружения объектов в реальном времени, они представляют принципиально разные подходы к решению задач визуального распознавания.

Это подробное руководство исследует архитектурные нюансы, метрики производительности и идеальные сценарии развертывания для обеих моделей. Кроме того, мы рассмотрим, как современные альтернативы, такие как передовой Ultralytics YOLO26, опираются на эти основы для обеспечения превосходной точности, эффективности и простоты использования.

RTDETRv2: Трансформеры для детектирования в реальном времени#

Представленная как преемник оригинальной RT-DETR, модель RTDETRv2 использует архитектуру Transformer для достижения высокопроизводительного обнаружения объектов в реальном времени. Устраняя необходимость в Non-Maximum Suppression (NMS), она упрощает конвейер вывода.

• Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
• Организация: Baidu
• Дата: 24.07.2024
• Ссылки: Arxiv Paper, Official GitHub, Documentation

Архитектура и дизайн#

RTDETRv2 в значительной степени полагается на механизмы self-attention, присущие трансформерам, что позволяет модели охватывать глобальный контекст всего изображения. Такое целостное понимание позволяет ей предсказывать BBox и вероятности классов напрямую. Она представляет функции обнаружения в нескольких масштабах, которые повышают способность распознавать мелкие объекты в сложных условиях.

Сильные и слабые стороны#

Основное преимущество RTDETRv2 заключается в ее нативном дизайне end-to-end. Пропуская NMS, она избегает скачков задержки, часто связанных с плотными перекрывающимися предсказаниями. Однако высокий вычислительный вес ее блоков Transformer означает, что она требует значительных ресурсов GPU как для обучения, так и для развертывания. Это делает ее менее подходящей для граничных устройств с ограниченными ресурсами или устаревшего мобильного оборудования.

Узнай больше о RTDETRv2

YOLOX: развитие CNN без якорей (Anchor-Free)#

Разработанная для преодоления разрыва между академическими исследованиями и промышленным применением, YOLOX представила разделенную голову (decoupled head) и дизайн без якорей (anchor-free) для популярного семейства моделей YOLO.

• Авторы: Zheng Ge, Songtao Liu, Feng Wang, Zeming Li и Jian Sun
• Организация: Megvii
• Дата: 18 июля 2021 г.
• Ссылки: Arxiv Paper, Official GitHub, Documentation

Архитектура и дизайн#

YOLOX отходит от традиционных детекторов на основе якорей, предсказывая местоположения объектов напрямую без предопределенных якорных рамок. Это упрощает дизайн сети и сокращает количество эвристических параметров настройки, необходимых для достижения оптимальной производительности. Кроме того, YOLOX использует разделенную голову, отделяя задачи классификации и регрессии, что повышает скорость сходимости во время обучения.

Сильные и слабые стороны#

Безакоррная природа YOLOX делает его altamente адаптивным к различным задачам computer vision и более простым в обучении на пользовательских датасетах. Его более легкие варианты, такие как YOLOX-Nano, хорошо подходят для развертывания на микроконтроллерах и IoT-устройствах с низким энергопотреблением. Однако, поскольку YOLOX появился раньше революции без NMS, он по-прежнему полагается на традиционную постобработку, что может вызывать трудности при развертывании и увеличивать задержку в плотных сценах.

Узнай больше о YOLOX

Сравнение производительности и метрик#

При сравнении этих моделей оценка их скорости, точности и эффективности параметров имеет решающее значение для определения того, какая из них лучше всего подходит для твоего конкретного случая использования. В таблице ниже приведена производительность различных размеров моделей на стандартном наборе данных COCO.

Как видно из данных, RTDETRv2 достигает более высокой максимальной точности (54.3 mAP) в своем самом большом варианте по сравнению с YOLOXx. Однако YOLOX предлагает значительно меньшие и более быстрые варианты, такие как YOLOXs, которые могут похвастаться меньшим количеством параметров и более высокой скоростью вывода на GPU NVIDIA T4.

Преимущество Ultralytics: знакомься с YOLO26#

Хотя и RTDETRv2, и YOLOX предлагают уникальные преимущества, современным разработчикам часто требуется единое решение, объединяющее лучшее из обоих миров: высокую точность, молниеносный инференс и доступную экосистему. Недавно выпущенный Ultralytics YOLO26 представляет собой вершину этой эволюции.

Ключевые инновации YOLO26#

• Дизайн без NMS «от конца до конца»: Опираясь на концепции, впервые внедренные в YOLOv10, YOLO26 работает нативно без NMS. Это обеспечивает бесшовный инференс RTDETRv2 без чрезмерных требований к памяти, характерных для Transformer.
• Оптимизатор MuSGD: Вдохновленный инновациями в обучении больших языковых моделей, гибридный оптимизатор MuSGD (смешивающий SGD и Muon) стабилизирует процесс обучения и радикально ускоряет сходимость.
• Ускорение инференса на CPU до 43%: Благодаря стратегическому удалению модуля Distribution Focal Loss (DFL) модель YOLO26 специально оптимизирована для периферийных вычислений и устройств с низким энергопотреблением, что делает ее значительно быстрее на CPU по сравнению с предыдущими итерациями, такими как YOLO11.
• ProgLoss + STAL: Эти продвинутые функции потерь обеспечивают заметные улучшения в распознавании мелких объектов, решая частую проблему в аэрофотосъемке и robotics applications.

Непревзойденная универсальность и экосистема#

Помимо чистой производительности, Ultralytics Platform предлагает комплексную экосистему от нуля до продакшена. В отличие от статических академических репозиториев, модели Ultralytics активно поддерживаются и бесшовно поддерживают множество задач из единого интуитивно понятного API. Независимо от того, выполняешь ли ты Instance Segmentation, отслеживаешь позы с помощью Pose Estimation или работаешь с повернутыми объектами через Oriented Bounding Boxes (OBB), рабочий процесс остается неизменным.

Более того, модели Ultralytics славятся своими низкими требованиями к памяти как во время обучения, так и во время вывода, что позволяет исследователям запускать пакеты большего размера на потребительском оборудовании — резкий контраст с тяжелым весом архитектур на базе Transformer.

Пример кода обучения#

Сила экосистемы Ultralytics лучше всего демонстрируется через ее простоту. Обучение современной модели YOLO26 требует всего нескольких строк кода, полностью абстрагируясь от сложностей загрузки данных и настройки гиперпараметров.

from ultralytics import YOLO

# Initialize the natively NMS-free YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on the standard COCO8 dataset
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, batch=16)

# Validate the model's performance seamlessly
metrics = model.val()
print(f"Validation mAP: {metrics.box.map}")

# Export to ONNX or TensorRT for rapid deployment
model.export(format="engine", device=0)

Реальные применения и идеальные сценарии использования#

Выбор правильной архитектуры полностью зависит от твоих ограничений при развертывании и доступности оборудования.

Высокоточная облачная обработка#

Если твое приложение работает на высокопроизводительных серверных GPU и отдает приоритет максимальной точности — например, при анализе плотных сцен скопления людей или обработке медицинских изображений высокого разрешения, — надежные механизмы внимания RTDETRv2 могут быть очень эффективны.

Развертывание на устаревшем граничном оборудовании#

Для развертывания на старых мобильных телефонах или сильно ограниченных микроконтроллерах, где минимальное количество FLOP является строгой необходимостью, сверхлегкая YOLOX-Nano все еще служит жизнеспособным запасным вариантом благодаря своей простой архитектуре CNN.

Современный стандарт: AIoT и робототехника#

Для подавляющего большинства современных сценариев использования — включая smart city infrastructure, retail analytics и автономную навигацию — Ultralytics YOLO26 является окончательным выбором. Его на 43% более быстрый инференс на CPU делает его непревзойденным для периферийных вычислений, а дизайн без NMS гарантирует низкую и стабильную задержку. В сочетании с исчерпывающей документацией и активной поддержкой сообщества экосистемы Ultralytics он позволяет командам переходить от аннотирования датасетов к глобальному развертыванию быстрее, чем когда-либо прежде.

Для разработчиков, желающих изучить другие архитектуры в экосистеме Ultralytics, ты также можешь рассмотреть YOLOv8 для глубоко укоренившихся интеграций с сообществом или YOLOv5 для непревзойденной стабильности в устаревших пайплайнах. Однако для расширения границ возможного в 2026 году YOLO26 остается отраслевым стандартом.