Начать

RTDETRv2 и YOLOv6-3.0

Разработчики, выбирающие модель компьютерного зрения для обнаружения объектов, могут рассматривать совершенно разные архитектуры. На этой странице сравниваются две из них: RTDETRv2, Transformer для обнаружения объектов в реальном времени, и YOLOv6-3.0, свёрточная нейронная сеть (CNN), оптимизированная для промышленных приложений.

Здесь рассматриваются архитектуры, показатели производительности и оптимальные сценарии развёртывания, объясняется, что экосистема Ultralytics предлагает разработчикам, и представлена Ultralytics YOLO26 — рекомендуемая модель для новых проектов.

RTDETRv2: подход на основе vision Transformer#

Разработанная исследователями Baidu, RTDETRv2 основана на оригинальной модели RT-DETR и совершенствует обнаружение объектов на основе Transformer.

Основные особенности архитектуры#

RTDETRv2 использует гибридную архитектуру, сочетающую экстрактор признаков CNN с декодером Transformer. Её отличительная особенность — нативная архитектура без NMS. Исключая подавление немаксимумов (NMS) из постобработки, модель напрямую предсказывает ограничивающие рамки, что упрощает развёртывание и стабилизирует задержку инференса.

Улучшения обучения RTDETRv2 по принципу «Bag-of-Freebies» в сочетании с глобальным вниманием помогают модели обрабатывать сложные сцены и перекрывающиеся объекты, поскольку модели внимания учитывают взаимосвязи по всему изображению, а не только в локальных свёрточных окнах.

Использование памяти Transformer

Модели Transformer хорошо справляются со сложным пониманием сцен, но для их обучения обычно требуется больше памяти CUDA, чем для CNN. Это может ограничивать размер пакета на стандартных потребительских GPU и увеличивать общее время обучения.

Узнай больше о RTDETRv2

YOLOv6-3.0: максимальная производительность в промышленности#

YOLOv6-3.0, созданная в подразделении Vision AI компании Meituan, предназначена для промышленных конвейеров, где приоритетом является пропускная способность GPU.

  • Авторы: Чуйи Ли, Лулу Ли, Ифэй Гэн, Хунлян Цзян, Мэн Чэн, Бо Чжан, Зайдань Кэ, Сяомин Сюй и Сянсян Чу
  • Организация: Meituan
  • Дата: 2023-01-13
  • arXiv: 2301.05586
  • GitHub: meituan/YOLOv6

Особенности архитектуры#

YOLOv6-3.0 использует основу EfficientRep, разработанную для минимизации затрат на доступ к памяти на аппаратных ускорителях, таких как GPU NVIDIA. В архитектуре шеи сети используется модуль двунаправленной конкатенации (BiC), улучшающий объединение признаков на разных масштабах.

Во время обучения применяется стратегия обучения с помощью якорей (AAT), позволяющая использовать преимущества парадигм с якорями и при этом сохранять режим инференса без якорей для ускорения выполнения. Модель обеспечивает высокую пропускную способность на серверных GPU (например, T4, A100), но её ориентация на GPU может снижать эффективность на периферийных устройствах только с CPU.

Подробнее о YOLOv6

Сравнение производительности#

В таблице ниже сравниваются точность (mAP), скорость инференса и вычислительные затраты (FLOPs) на валидационном наборе COCO.

Модельразмер
(пиксели)
mAPval50-95Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
YOLOv6-3.0n64037.5-1.174.711.4
YOLOv6-3.0s64045.0-2.6618.545.3
YOLOv6-3.0m64050.0-5.2834.985.8
YOLOv6-3.0l64052.8-8.9559.6150.7

YOLOv6-3.0 быстрее на T4 TensorRT при любом сопоставимом размере (например, 5,28 мс против 7,51 мс для моделей среднего размера), тогда как RTDETRv2 достигает более высокого mAP (51,9 против 50,0 для среднего размера, 53,4 против 52,8 для большого) и масштабируется до 54,3 mAP с RTDETRv2-x. Обе модели ориентированы на обнаружение: в основных релизах ни одна не поддерживает сегментацию экземпляров или оценку позы.

Сценарии использования и рекомендации#

Выбор между RT-DETR и YOLOv6 зависит от требований конкретного проекта, ограничений развёртывания и предпочтительной экосистемы.

Когда выбрать RT-DETR#

RT-DETR — отличный выбор для:

  • Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
  • Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
  • Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.

Когда стоит выбрать YOLOv6#

YOLOv6 рекомендуется для следующих задач:

  • Развертывание с учетом промышленного оборудования: сценарии, в которых аппаратно-ориентированный дизайн и эффективная репараметризация модели обеспечивают оптимальную производительность на конкретном целевом оборудовании.
  • Быстрая одноэтапная детекция: приложения, где приоритетом является максимальная скорость инференса на GPU для обработки видео в реальном времени в контролируемых условиях.
  • Интеграция с экосистемой Meituan: команды, уже работающие с технологическим стеком и инфраструктурой развертывания Meituan.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:

  • Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
  • Среды только с CPU: Устройства без выделенного ускорения GPU, где инференс YOLO26 на CPU — до 43% быстрее (YOLO26n против YOLO11n), что даёт решающее преимущество.
  • Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.

Преимущества Ultralytics#

При выборе модели важны не только результаты бенчмарков: имеют значение удобство разработки, гибкость развёртывания и поддержка экосистемы. Модели, интегрированные в экосистему Ultralytics, имеют ряд преимуществ перед неизменяемыми исследовательскими репозиториями.

  • Простота использования: пакет Python ultralytics предоставляет простой API. Для обучения, валидации и экспорта моделей достаточно нескольких строк кода.
  • Хорошо поддерживаемая экосистема: в отличие от отдельных академических репозиториев, пакет ultralytics и Ultralytics Platform активно поддерживаются и позволяют экспортировать модели в такие форматы, как ONNX, OpenVINO и CoreML.
  • Эффективность обучения: для обучения моделей Ultralytics YOLO обычно требуется меньше памяти GPU, чем для архитектур Transformer, таких как RTDETRv2, что позволяет использовать более крупные пакеты на потребительском оборудовании.
  • Универсальность: в отличие от YOLOv6-3.0, ориентированной на обнаружение, YOLO26 поддерживает обнаружение, сегментацию экземпляров, семантическую сегментацию, оценку глубины, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB) в рамках единой системы.
Упрощенное развертывание

Экспорт обученной модели для развёртывания на периферийном устройстве с помощью CLI Ultralytics так же прост, как запуск команды: yolo export model=yolo11n.pt format=tensorrt.

Представляем YOLO26#

RTDETRv2 и YOLOv6-3.0 обладают собственными преимуществами, но командам, начинающим новые проекты в области компьютерного зрения, мы рекомендуем YOLO26, выпущенную Ultralytics в январе 2026 года.

YOLO26 сочетает сильные стороны промышленных CNN и современных Transformer:

  • Сквозная архитектура без NMS: развивая подход, представленный в YOLOv10, YOLO26 предлагает дополнительную голову без NMS (nms=False), которая пропускает постобработку NMS и обеспечивает предсказуемую задержку, как у RTDETRv2, при меньшем объёме используемой памяти.
  • Оптимизатор MuSGD: этот гибрид SGD и Muon, вдохновлённый такими методами обучения больших языковых моделей (LLM), как Kimi K2 от Moonshot AI, обеспечивает более стабильное обучение и быструю сходимость.
  • Оптимизация для периферийных устройств: благодаря удалению функции потерь Distribution Focal Loss (DFL) YOLO26n работает на CPU до 43% быстрее, чем YOLO11n, что подходит для мобильных устройств и устройств IoT без ускорения на GPU.
  • ProgLoss + STAL: прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов — давнюю проблему CNN, что полезно для анализа аэрофотоснимков и робототехники.

Пример обучения#

API Ultralytics позволяет обучать модели всего несколькими строками кода. В приведённом ниже исполняемом примере модель YOLO26 Nano обучается на датасете COCO8:

from ultralytics import YOLO

# Load the newly released YOLO26 Nano model
model = YOLO("yolo26n.pt")

# Train the model on the COCO8 dataset for 50 epochs
# The Ultralytics engine handles data caching and augmentation automatically
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640)

# Validate the model's performance
metrics = model.val()
print(f"Validation mAP50-95: {metrics.box.map}")

# Export the trained model to ONNX format for production
model.export(format="onnx")

Итоги#

При выборе между RTDETRv2 и YOLOv6-3.0 многое зависит от конкретного оборудования и ограничений по задержке. RTDETRv2 особенно эффективна в исследовательских средах и при обработке на сервере, где важно работать со сложными перекрывающимися объектами. YOLOv6-3.0 остаётся отличным выбором для высокопроизводительных производственных линий с мощными GPU NVIDIA.

Разработчикам, которым нужен инференс без NMS, как у Transformer, в сочетании со скоростью и малым объёмом памяти CNN, мы рекомендуем YOLO26. Документация, активное сообщество и инструменты Ultralytics помогают переводить проекты в области компьютерного зрения от прототипа к промышленной эксплуатации.

Участники

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.