RTDETRv2 и YOLOv8#
Модели компьютерного зрения для обнаружения объектов всё чаще относятся к одному из двух направлений: свёрточным нейронным сетям (CNN) и новым архитектурам на основе Transformer. В этом техническом сравнении рассматривается RTDETRv2, Transformer для обнаружения объектов в реальном времени, и Ultralytics YOLOv8 — одна из наиболее широко используемых моделей CNN. Обе модели эффективны, но различия в их архитектурах приводят к разным особенностям обучения, ограничениям развёртывания и производительности.
Обзор модели: RTDETRv2#
RTDETRv2 (Real-Time Detection Transformer, версия 2) развивает исходную RT-DETR, оптимизируя архитектуру Transformer для инференса в реальном времени.
Основные технические характеристики:
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- Ссылки: Публикация на arXiv | Репозиторий на GitHub
Архитектура и сильные стороны#
RTDETRv2 использует гибридную архитектуру, объединяющую магистраль CNN с энкодером-декодером Transformer. Благодаря этому модель анализирует всё изображение целиком, что помогает ей обрабатывать сложные сцены с перекрывающимися объектами. Её отличительная особенность — встроенная сквозная архитектура без NMS, которая пропускает этап постобработки подавления немаксимумов (NMS). Это снижает алгоритмическую сложность на заключительных этапах конвейера обнаружения. Многомасштабные признаки также помогают находить как крупные объекты, так и мелкие элементы фона.
Недостатки#
Несмотря на хорошее понимание контекста, архитектуры на основе Transformer, такие как RTDETRv2, создают большую вычислительную нагрузку во время обучения. Им требуется больше памяти CUDA, что усложняет обучение на потребительском оборудовании. Настройка пользовательского набора данных и подбор гиперпараметров обучения в официальном репозитории также часто требуют специальных знаний, поскольку в нём нет удобной для начинающих программной оболочки. Развёртывание на маломощных периферийных устройствах, например старых моделях Raspberry Pi, тоже может быть сложным из-за высокой вычислительной стоимости слоёв внимания.
Обзор модели: YOLOv8#
С момента выпуска Ultralytics YOLOv8 стала широко используемым стандартом для компьютерного зрения в production, сочетая простоту работы для разработчиков с высокой точностью.
Основные технические характеристики:
- Авторы: Glenn Jocher, Ayush Chaurasia и Jing Qiu
- Организация: Ultralytics
- Дата: 10 января 2023 года
- Ссылки: Официальная документация | Репозиторий GitHub
Архитектура и сильные стороны#
YOLOv8 использует безанкерную архитектуру CNN с раздельной головой, что повышает точность локализации объектов и классификации по сравнению с предыдущими поколениями YOLO. Её главные преимущества — эффективность и универсальность. Во время обучения эта архитектура требует меньше памяти, чем визуальные Transformer, позволяя специалистам использовать больший размер пакета на стандартных GPU. Экосистема Ultralytics также предоставляет оптимизированный рабочий процесс: унифицированный API Python позволяет всего несколькими строками кода настраивать гиперпараметры, обучать, валидировать и экспортировать модели.
Недостатки#
На этапе постобработки YOLOv8 использует традиционный NMS. Хотя движок Ultralytics эффективно обрабатывает его в фоновом режиме, технически это добавляет небольшую задержку постобработки по сравнению с архитектурами, изначально не использующими NMS.
Сравнение производительности и метрик#
В таблице ниже сравниваются точность валидации COCO (mAP), скорость на CPU и в TensorRT на T4, количество параметров и FLOPs. Эти два семейства моделей отдают приоритет разным этапам конвейера развёртывания.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
RTDETRv2-x достигает немного более высокого максимального mAP (54.3), чем YOLOv8x (53.9), а RTDETRv2 точнее при каждом сопоставимом размере. YOLOv8 быстрее в малом размере: YOLOv8s работает в TensorRT почти вдвое быстрее RTDETRv2-s (2.66 мс против 5.03 мс), имея почти вдвое меньше параметров, но mAP на 3.2 пункта ниже. В крупном размере YOLOv8l и RTDETRv2-l сопоставимы по скорости и размеру. Здесь только для YOLOv8 указана скорость на CPU с ONNX.
Требования к памяти и эффективность обучения#
Затраты на обучение важны как для независимых разработчиков, так и для корпоративных команд. Для моделей Ultralytics YOLO обычно требуется меньше памяти CUDA в ходе обучения, чем для архитектур Transformer. Стандартная модель RTDETRv2 может стать узким местом для потребительского GPU, тогда как YOLOv8 надёжно обучается на оборудовании вроде NVIDIA RTX 4070.
Экосистема, API и простота использования#
Поддерживающий программный фреймворк — ещё одно важное отличие. Экосистема Ultralytics берёт на себя значительную часть инженерной работы, а активная разработка, подробная документация и поддержка сообщества в Discord помогают проектам двигаться вперёд.
YOLOv8 также поддерживает не только обнаружение объектов, но и сегментацию экземпляров, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB). RTDETRv2 предназначена только для обнаружения объектов.
Пример кода: единый и простой подход#
API Python Ultralytics запускает оба семейства моделей через один интерфейс.
from ultralytics import RTDETR, YOLO
# Загрузи модель RT-DETR и модель YOLOv8
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")
# Выполни предсказание для тестового изображения с помощью одного и того же API
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")
# Экспортируй YOLOv8 в ONNX для быстрого развёртывания на периферийных устройствах
model_cnn.export(format="onnx")После обучения YOLOv8 экспортируется одной строкой в ONNX, TensorRT и OpenVINO, обеспечивая эффективный инференс на разных аппаратных платформах.
Сценарии использования и рекомендации#
Выбор между RT-DETR и YOLOv8 зависит от требований твоего проекта, ограничений при развёртывании и предпочтений в отношении экосистемы.
Когда выбрать RT-DETR#
RT-DETR — отличный выбор для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбрать YOLOv8#
YOLOv8 подойдет для:
- Универсальное развертывание для нескольких задач: проекты, которым нужна проверенная модель для обнаружения, сегментации, классификации и оценки позы в экосистеме Ultralytics.
- Уже работающие системы: существующие промышленные среды, построенные на архитектуре YOLOv8 и использующие стабильные, тщательно проверенные конвейеры развертывания.
- Широкая поддержка сообщества и экосистемы: приложения, которым помогают многочисленные руководства по YOLOv8, сторонние интеграции и активное сообщество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.
Что дальше: преимущества YOLO26#
YOLOv8 остаётся знаковой моделью, но компьютерное зрение развивается быстро. Командам, начинающим новые проекты в 2026 году, рекомендуем Ultralytics YOLO26 в качестве преемницы.
Если тебя привлекает архитектура RTDETRv2 без NMS, YOLO26 предлагает дополнительную сквозную архитектуру без NMS (nms=False), сочетая простоту постобработки моделей Transformer со скоростью CNN. YOLO26 также использует оптимизатор MuSGD, который переносит методы обучения больших языковых моделей (LLM) в компьютерное зрение, обеспечивая более стабильное обучение и быструю сходимость. Благодаря отказу от DFL (Distribution Focal Loss), упрощающему экспорт и повышающему совместимость с периферийными устройствами и устройствами с низким энергопотреблением, YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n. В сочетании с ProgLoss + STAL (прогрессивной функцией потерь и назначением меток с учётом малых объектов) для улучшенного обнаружения небольших объектов это делает YOLO26 рекомендуемым вариантом перехода с YOLOv8 и RTDETRv2.
Другие варианты см. в описании YOLO11 или в подробном сравнении YOLOv10 и YOLOv8, чтобы узнать, как развивалась архитектура без NMS в семействе YOLO.