RTDETRv2 и YOLOv8#
Сфера компьютерного зрения постоянно меняется, и одно из главных проявлений этого процесса — продолжающееся соперничество традиционных свёрточных нейронных сетей (CNN) и новых архитектур на основе Transformer. В этом подробном техническом сравнении мы рассмотрим, как RTDETRv2, одна из ведущих моделей vision Transformer, выглядит на фоне Ultralytics YOLOv8 — одной из самых распространённых и универсальных моделей CNN в отрасли. Обе модели обладают широкими возможностями для инженеров и исследователей, но различия в их архитектуре приводят к отличиям в методах обучения, ограничениях при развёртывании и общей производительности.
Обзор модели: RTDETRv2#
RTDETRv2 (Transformer для обнаружения объектов в реальном времени, версия 2) развивает успех предшественника, оптимизируя архитектуру vision Transformer для достижения скорости инференса в реальном времени.
Основные технические характеристики:
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- Ссылки: Публикация на ArXiv | Репозиторий GitHub
Архитектура и сильные стороны#
В основе RTDETRv2 лежит гибридная архитектура, объединяющая основу CNN с кодировщиком и декодировщиком Transformer. Благодаря этому модель анализирует контекст всего изображения и особенно хорошо справляется со сложными сценами, где объекты перекрывают друг друга. Одна из её ключевых особенностей — встроенная сквозная архитектура, полностью исключающая постобработку с помощью подавления немаксимумов (NMS). Это снижает алгоритмическую сложность на заключительных этапах конвейера обнаружения. Кроме того, благодаря обнаружению объектов в нескольких масштабах модель эффективно распознаёт как крупные структуры, так и крошечные элементы фона.
Недостатки#
Несмотря на мощные возможности контекстного анализа, архитектуры на основе Transformer, такие как RTDETRv2, требуют огромных вычислительных ресурсов при обучении. Им нужно много памяти CUDA, поэтому обучать их на потребительском оборудовании сложно. Кроме того, для подготовки собственного набора данных и настройки гиперпараметров обучения часто требуются глубокие знания предметной области: у модели нет хорошо проработанной и удобной для начинающих программной оболочки. Развёртывание на маломощных периферийных устройствах, например на старых моделях Raspberry Pi, тоже может быть сложным из-за ресурсоёмких механизмов внимания.
Обзор модели: YOLOv8#
С момента выпуска Ultralytics YOLOv8 стала отраслевым стандартом для производственных задач компьютерного зрения, обеспечивая безупречную работу разработчика и высочайшую точность.
Основные технические характеристики:
- Авторы: Glenn Jocher, Ayush Chaurasia и Jing Qiu
- Организация: Ultralytics
- Дата: 10 января 2023 года
- Ссылки: Официальная документация | Репозиторий GitHub
Архитектура и сильные стороны#
В YOLOv8 используется высокооптимизированная безъякорная архитектура CNN с разделённой головой, которая значительно повышает точность локализации и классификации объектов по сравнению с предыдущими поколениями. Главное преимущество этой модели — исключительная эффективность и универсальность. Для обучения архитектуре требуется значительно меньше памяти, чем vision Transformer, поэтому специалисты могут использовать большие размеры пакета на стандартных GPU. Кроме того, экосистема Ultralytics предлагает непревзойдённый, удобный рабочий процесс. Единый API Python позволяет всего несколькими строками кода выполнять настройку гиперпараметров, обучение, валидацию и экспорт.
Недостатки#
На этапе постобработки YOLOv8 использует традиционный NMS. Хотя движок Ultralytics эффективно обрабатывает его в фоновом режиме, технически это добавляет небольшую задержку постобработки по сравнению с архитектурами, изначально не использующими NMS.
Сравнение производительности и метрик#
Сравнение численных показателей наглядно демонстрирует, что обе модели ориентированы на разные аспекты конвейера развёртывания. Ниже приведён сравнительный анализ производительности.
| Модель | размер (пиксели) | mAPval 50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
Хотя RTDETRv2-x достигает немного более высокого пикового mAP — 54,3 против 53,9 у YOLOv8x, серия YOLOv8 превосходит её по скорости инференса и эффективности использования параметров. Например, YOLOv8s работает на движке TensorRT почти вдвое быстрее RTDETRv2-s, используя при этом почти вдвое меньше параметров.
Требования к памяти и эффективность обучения#
Один из важнейших факторов как для независимых разработчиков, так и для корпоративных команд — стоимость обучения. Для моделей Ultralytics YOLO в ходе обучения требуется значительно меньше памяти CUDA, чем для архитектур на основе Transformer. Стандартная модель RTDETRv2 может легко стать узким местом на потребительском GPU, тогда как YOLOv8 быстро и надёжно сходится на таком оборудовании, как NVIDIA RTX 4070.
Экосистема, API и простота использования#
Главное отличие современных решений на базе ИИ — поддерживающая их программная платформа. Экосистема Ultralytics упрощает решение сложных инженерных задач. Благодаря активной разработке и поддержке сообщества на таких платформах, как Discord, с YOLOv8 твой проект не застопорится из-за плохой документации.
Кроме того, возможности YOLOv8 выходят за рамки стандартного обнаружения объектов. Это полноценная многозадачная сеть со встроенной поддержкой сегментации экземпляров, оценки позы, классификации изображений и ориентированных ограничивающих рамок (OBB). RTDETRv2 же в основном предназначена исключительно для обнаружения объектов.
Пример кода: единый и простой подход#
С помощью API Python Ultralytics ты можешь легко экспериментировать с обеими семействами моделей в единой среде.
from ultralytics import RTDETR, YOLO
# Без проблем загрузи модели RT-DETR и YOLOv8
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")
# Выполни предсказание для тестового изображения с помощью одного и того же API
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")
# Экспортируй YOLOv8 в ONNX для быстрого развёртывания на периферийных устройствах
model_cnn.export(format="onnx")После обучения YOLOv8 поддерживает экспорт в ONNX, TensorRT и OpenVINO одним нажатием, обеспечивая высокую пропускную способность инференса на различных аппаратных платформах.
Сценарии использования и рекомендации#
Выбор между RT-DETR и YOLOv8 зависит от требований твоего проекта, ограничений при развёртывании и предпочтений в отношении экосистемы.
Когда выбрать RT-DETR#
RT-DETR — отличный выбор для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбрать YOLOv8#
YOLOv8 подойдет для:
- Универсальное решение для нескольких задач: проекты, которым нужна проверенная модель для обнаружения объектов, сегментации, классификации и оценки позы в экосистеме Ultralytics.
- Уже работающие системы: существующие промышленные среды, построенные на архитектуре YOLOv8 и использующие стабильные, тщательно проверенные конвейеры развертывания.
- Широкая поддержка сообщества и экосистемы: приложения, которым помогают многочисленные руководства по YOLOv8, сторонние интеграции и активное сообщество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды только с CPU: Устройства без выделенного ускорителя GPU, где до 43% более быстрый инференс YOLO26 на CPU даёт решающее преимущество.
- Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.
Что дальше: преимущества YOLO26#
YOLOv8 остаётся знаковой вехой, но компьютерное зрение развивается невероятно быстро. Командам, которым нужны самые передовые решения в 2026 году, стоит обратить внимание на Ultralytics YOLO26 — модель, открывающую новую парадигму.
Если тебе близка архитектура RTDETRv2 без NMS, YOLO26 предлагает встроенную сквозную архитектуру без NMS, объединяющую простоту постобработки трансформеров с высокой скоростью CNN. Кроме того, в YOLO26 используется революционный оптимизатор MuSGD, который переносит стабильность обучения LLM на модели компьютерного зрения и обеспечивает очень быстрое схождение. Благодаря удалению DFL (Distribution Focal Loss удалена для упрощения экспорта и повышения совместимости с периферийными устройствами и устройствами с низким энергопотреблением) инференс YOLO26 на CPU выполняется до 43% быстрее. В сочетании с усовершенствованными механизмами ProgLoss + STAL, повышающими качество обнаружения мелких объектов, это определённо рекомендуемый вариант обновления как после YOLOv8, так и после RTDETRv2.
Чтобы узнать больше об альтернативных моделях, ознакомься с нашими руководствами по YOLO11 или прочитай подробное сравнение YOLOv10 и YOLOv8, чтобы проследить, как развивались архитектуры без NMS в семействе YOLO.