RTDETRv2 и PP-YOLOE+
Исследования в области компьютерного зрения привели к появлению нескольких архитектурных подходов к обнаружению объектов в реальном времени. RTDETRv2 и PP-YOLOE+ используют принципиально разные подходы: первая — детектор на основе Transformer, вторая — свёрточный детектор. Обе модели нацелены на высокую производительность обнаружения, но различаются устройством, методами обучения и оптимальными сценариями развёртывания.
В этом руководстве сравниваются их архитектуры, показатели производительности и поддержка экосистемы, чтобы помочь разработчикам и исследователям выбрать модель, подходящую для их задач развёртывания.
Обзор моделей#
Перед анализом показателей производительности важно понять происхождение и архитектурные цели каждой модели. Обе созданы исследовательскими группами Baidu, но представляют разные направления развития семейства моделей обнаружения объектов.
RTDETRv2#
RTDETRv2 развивает оригинальную модель Real-Time Detection Transformer и сочетает основу CNN с эффективным гибридным кодировщиком и декодером Transformer. Её отличительная особенность — сквозное предсказание, устраняющее необходимость в подавлении немаксимумов (NMS) во время постобработки.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: 2407.17140
- GitHub: Репозиторий RT-DETR
PP-YOLOE+#
PP-YOLOE+ — улучшенная версия PP-YOLOE от команды PaddleDetection, оптимизированная для промышленных приложений. В ней используется масштабируемая архитектура CNN с головой обнаружения без якорей. Для выгодного баланса скорости и точности применяются такие методы, как голова с выравниванием задач (ET-head) и функция потерь распределённого фокуса, улучшающие обнаружение небольших объектов.
- Авторы: авторы PaddlePaddle
- Организация: Baidu
- Дата: 2022-04-02
- arXiv: 2203.16250
- GitHub: Репозиторий PaddleDetection
Хотя у обеих моделей есть отдельные исследовательские репозитории, ты можешь экспериментировать с оригинальной RT-DETR непосредственно в пакете Python Ultralytics, который предоставляет единый API и встроенные возможности экспорта.
Архитектурные различия#
Принципиальное различие между этими двумя моделями заключается в способе обработки визуального контекста и генерации предсказаний.
PP-YOLOE+ использует традиционную, но тщательно оптимизированную основу свёрточной нейронной сети (CNN). Она извлекает признаки с помощью локальных рецептивных полей, обеспечивая высокую скорость и эффективность при стандартном развёртывании. Однако для фильтрации перекрывающихся ограничивающих рамок всё ещё требуется постобработка NMS, которая может увеличить задержку в сценах с высокой плотностью объектов.
RTDETRv2, напротив, использует гибридный кодировщик и декодер Transformer. Благодаря этому модель учитывает глобальный контекст всего изображения. Её механизм внимания моделирует взаимосвязи между объектами, поэтому модель напрямую выдаёт итоговые ограничивающие рамки без NMS. Такой сквозной подход обеспечивает стабильную задержку инференса независимо от количества обнаруженных объектов.
Показатели и сравнение производительности#
При оценке показателей производительности YOLO сопоставляй точность (mAP) с вычислительными затратами (FLOPs) и скоростью инференса. В таблице ниже показана производительность обеих моделей разных размеров.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| PP-YOLOE+t | 640 | 39.9 | - | 2.84 | 4.85 | 19.15 |
| PP-YOLOE+s | 640 | 43.7 | - | 2.62 | 7.93 | 17.36 |
| PP-YOLOE+m | 640 | 49.8 | - | 5.56 | 23.43 | 49.91 |
| PP-YOLOE+l | 640 | 52.9 | - | 8.36 | 52.2 | 110.07 |
| PP-YOLOE+x | 640 | 54.7 | - | 14.3 | 98.42 | 206.59 |
PP-YOLOE+x достигает наивысшего показателя mAPval50-95 на наборе данных COCO — 54,7%, на 0,4 пункта выше, чем у RTDETRv2-x; при этом задержка TensorRT немного ниже (14,3 мс против 15,03 мс), но параметров больше (98,42 млн против 76 млн). В категории Large RTDETRv2-l точнее, чем PP-YOLOE+l (53,4% против 52,9%), и использует меньше параметров, тогда как PP-YOLOE+l работает быстрее (8,36 мс против 9,76 мс). PP-YOLOE+ также предлагает варианты Tiny и Small с числом параметров менее 8 млн — размерные категории, которых нет у RTDETRv2; это делает их подходящими для развёртывания на периферийных устройствах.
Преимущества Ultralytics: знакомство с YOLO26#
RTDETRv2 и PP-YOLOE+ — эффективные детекторы, но развитие этой области продолжается. Разработчикам, которым нужен баланс скорости, точности и поддержки экосистемы, мы рекомендуем Ultralytics YOLO26 для новых проектов.
YOLO26 переносит сквозной инференс детекторов на основе Transformer в CNN. Она предлагает дополнительный режим инференса без NMS от начала до конца (nms=False), пропускающий постобработку NMS при включении. Кроме того, представлен оптимизатор MuSGD — гибрид SGD и Muon, вдохновлённый обучением больших языковых моделей (LLM), который обеспечивает более стабильное обучение и быструю сходимость.
В отличие от тяжёлых моделей Transformer, требующих значительного объёма памяти CUDA, в YOLO26 удалена DFL (функция потерь Distribution Focal Loss), а сама модель оптимизирована для периферийных вычислений: YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n.
YOLO26 выходит за рамки обнаружения объектов и из коробки поддерживает сегментацию экземпляров, семантическую сегментацию, оценку глубины, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB), тогда как PP-YOLOE+ ориентирована на обнаружение ограничивающих рамок.
Методики обучения и экосистема#
Эффективность обучения и простота использования — основные отличия экосистемы Ultralytics от отдельных исследовательских репозиториев. PP-YOLOE+ использует платформу PaddlePaddle, а RTDETRv2 часто требует сложной настройки среды; модели Ultralytics работают в одном устанавливаемом пакете с единым API.
API Ultralytics обеспечивает автоматизированную работу с датасетами и встроенную настройку гиперпараметров, а для обучения моделей YOLO требуется меньше памяти, чем для детекторов на основе Transformer. Экспорт моделей в производственные форматы, такие как ONNX или TensorRT, выполняется одной командой.
Пример кода: упрощённый инференс#
В примере ниже RT-DETR запускается вместе с рекомендуемой моделью YOLO26 с помощью пакета Python Ultralytics:
from ultralytics import RTDETR, YOLO
# Инициализировать модель RT-DETR (Ultralytics поддерживает оригинальные RT-DETR-L и RT-DETR-X)
model_rtdetr = RTDETR("rtdetr-l.pt")
# Выполнить инференс без NMS на тестовом изображении
results_rtdetr = model_rtdetr("https://ultralytics.com/images/bus.jpg")
results_rtdetr[0].show()
# Инициализируй последнюю версию модели YOLO26
model_yolo26 = YOLO("yolo26n.pt")
# Обучи модель YOLO26 с оптимизированным использованием памяти
model_yolo26.train(data="coco8.yaml", epochs=50, imgsz=640)
# Экспорт в TensorRT для развертывания на периферийных устройствах
model_yolo26.export(format="engine")Применение и примеры использования в реальных условиях#
Выбор между этими архитектурами часто зависит от конкретного оборудования и требований приложения.
- RTDETRv2 особенно эффективна в серверных средах и при интерпретации сложных сцен. Глобальный механизм внимания делает модель эффективной для управления скоплениями людей и анализа медицинских изображений с высокой плотностью объектов, где сильное перекрытие объектов может привести к тому, что NMS подавит корректные детекции.
- PP-YOLOE+ подходит для высокоскоростного промышленного контроля и команд, уже использующих экосистему PaddlePaddle. Низкое количество параметров в моделях меньшего размера делает её применимой в некоторых задачах робототехники.
- Ultralytics YOLO26 — рекомендуемый выбор для большинства коммерческих развёртываний. Прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов, что важно для работы с аэродронами и мониторинга дорожного движения в умных городах.
Сценарии использования и рекомендации#
Выбор между RT-DETR и PP-YOLOE+ зависит от конкретных требований проекта, ограничений развертывания и предпочтительной экосистемы.
Когда выбрать RT-DETR#
RT-DETR — отличный выбор для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать PP-YOLOE+#
PP-YOLOE+ рекомендуется в следующих случаях:
- Интеграция с экосистемой PaddlePaddle: Организации с готовой инфраструктурой на базе фреймворка и инструментов PaddlePaddle от Baidu.
- Развертывание на периферийных устройствах с Paddle Lite: Развертывание на оборудовании со специально оптимизированными ядрами инференса для Paddle Lite или движка инференса Paddle.
- Обнаружение объектов на сервере с высокой точностью: Сценарии, где приоритетом является максимальная точность обнаружения на мощных серверах с GPU, а зависимость от конкретного фреймворка не имеет значения.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды только с CPU: Устройства без выделенного ускорения GPU, где инференс YOLO26 на CPU — до 43% быстрее (YOLO26n против YOLO11n), что даёт решающее преимущество.
- Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.
Заключение#
RTDETRv2 и PP-YOLOE+ показывают, что и архитектуры Transformer, и оптимизированные CNN подходят для обнаружения объектов в реальном времени. Однако развёртывание моделей из отдельных исследовательских кодовых баз может замедлить переход к промышленной эксплуатации.
Ultralytics Platform объединяет разметку, обучение и развёртывание в одном рабочем процессе. Переходя на интегрированные модели, такие как YOLO11 или более новая YOLO26, команды получают выгодный баланс точности и скорости при меньших требованиях к памяти и меньших затратах на разработку.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.