RTDETRv2 и YOLOv8#

Ландшафт компьютерного зрения постоянно меняется, и это часто проявляется в продолжающемся соперничестве между традиционными свёрточными нейронными сетями (CNN) и более новыми архитектурами на основе Transformer. В этом подробном техническом сравнении мы рассматриваем, как RTDETRv2, ведущий vision Transformer, выглядит на фоне Ultralytics YOLOv8 — одной из наиболее широко применяемых и универсальных CNN-моделей в отрасли. Обе модели предоставляют инженерам и исследователям мощные возможности, однако их базовые архитектуры приводят к заметным различиям в методиках обучения, ограничениях развёртывания и общей производительности.

Обзор модели: RTDETRv2#

RTDETRv2 (Transformer для обнаружения в реальном времени, версия 2) развивает фундаментальный успех своего предшественника, оптимизируя архитектуру vision Transformer для достижения скорости инференса в реальном времени.

Основные технические характеристики:

• Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
• Организация: Baidu
• Дата: 2024-07-24
• Ссылки: Публикация на ArXiv | Репозиторий GitHub

Архитектура и преимущества#

В основе RTDETRv2 лежит гибридная архитектура, объединяющая CNN-бэкбон со структурой энкодера-декодера на базе Transformer. Это позволяет модели учитывать контекст всего изображения, благодаря чему она особенно хорошо справляется со сложными сценами с перекрывающимися объектами. Одна из её наиболее отличительных особенностей — нативная сквозная архитектура, полностью исключающая постобработку подавления немаксимумов (NMS). Это снижает алгоритмическую сложность на заключительных этапах конвейера обнаружения. Кроме того, возможности обнаружения объектов в нескольких масштабах позволяют ей эффективно выявлять как крупные структуры, так и небольшие элементы на заднем плане.

Недостатки#

Несмотря на мощное понимание контекста, архитектуры на базе Transformer, такие как RTDETRv2, требуют огромных вычислительных ресурсов во время обучения. Они потребляют значительный объём памяти CUDA, из-за чего их сложно обучать на потребительском оборудовании. Кроме того, настройка собственного датасета и подбор гиперпараметров обучения часто требуют глубоких предметных знаний, поскольку у модели нет хорошо проработанной и удобной для начинающих программной оболочки. Развёртывание на маломощных периферийных устройствах, таких как старое оборудование Raspberry Pi, также может быть сложным из-за ресурсоёмких механизмов внимания.

Узнай больше о RTDETRv2

Обзор модели: YOLOv8#

С момента выпуска Ultralytics YOLOv8 зарекомендовала себя как отраслевой стандарт для производственных задач компьютерного зрения, обеспечивая безупречный опыт разработчика наряду с точностью высшего уровня.

Основные технические характеристики:

• Авторы: Glenn Jocher, Ayush Chaurasia и Jing Qiu
• Организация: Ultralytics
• Дата: 10 января 2023 г.
• Ссылки: Официальная документация | Репозиторий GitHub

Архитектура и преимущества#

YOLOv8 использует высокооптимизированную CNN-архитектуру без anchor-боксов с раздельной головой, значительно повышая точность локализации и классификации объектов по сравнению с предыдущими поколениями. Её главное преимущество заключается в невероятной эффективности и универсальности. По сравнению с vision Transformer эта архитектура требует значительно меньше памяти во время обучения, позволяя специалистам использовать более крупные размеры пакетов на стандартных GPU. Кроме того, экосистема Ultralytics обеспечивает непревзойдённый бесшовный рабочий процесс. Унифицированный API Python позволяет выполнять подбор гиперпараметров, обучение, валидацию и экспорт всего несколькими строками кода.

Недостатки#

YOLOv8 действительно использует традиционный NMS на этапе постобработки. Хотя движок Ultralytics эффективно выполняет эту операцию автоматически, технически она добавляет небольшую задержку постобработки по сравнению с архитектурами, изначально не использующими NMS.

Сравнение производительности и метрик#

При сравнении исходных числовых показателей становится очевидно, что обе модели делают акцент на разных аспектах конвейера развёртывания. Ниже приведён сопоставительный анализ производительности.

Требования к памяти и эффективность обучения#

Одним из наиболее критичных факторов как для независимых разработчиков, так и для корпоративных команд является стоимость обучения. Моделям Ultralytics YOLO требуется значительно меньше памяти CUDA во время процесса обучения, чем архитектурам на базе Transformer. Стандартная модель RTDETRv2 может легко стать узким местом для потребительского GPU, тогда как YOLOv8 быстро и стабильно сходится на таком оборудовании, как NVIDIA RTX 4070.

Экосистема, API и удобство использования#

Настоящее отличие современных решений на базе ИИ заключается в сопутствующей программной платформе. Экосистема Ultralytics упрощает сложные инженерные задачи. Благодаря активной разработке и надёжной поддержке сообщества на таких платформах, как Discord, YOLOv8 помогает твоему проекту не остановиться из-за плохой документации.

Кроме того, YOLOv8 выходит за рамки стандартного обнаружения объектов. Это полноценная многозадачная сеть с нативной поддержкой сегментации экземпляров, оценки позы, классификации изображений и ориентированных ограничивающих рамок (OBB). RTDETRv2 по-прежнему в значительной степени сфокусирована исключительно на обнаружении.

Пример кода: унифицированная простота#

Используя API Python от Ultralytics, ты можешь без проблем экспериментировать с обеими семействами моделей в единой среде.

from ultralytics import RTDETR, YOLO

# Load an RT-DETR model and a YOLOv8 model seamlessly
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# Predict on a sample image using the exact same API
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# Export YOLOv8 to ONNX for rapid edge deployment
model_cnn.export(format="onnx")

После обучения YOLOv8 поддерживает экспорт одним нажатием в ONNX, TensorRT и OpenVINO, обеспечивая высокопроизводительный инференс на самых разных аппаратных платформах.

Варианты применения и рекомендации#

Выбор между RT-DETR и YOLOv8 зависит от конкретных требований твоего проекта, ограничений развёртывания и предпочтений в отношении экосистемы.

Когда стоит выбрать RT-DETR#

RT-DETR — подходящий выбор для:

• Исследований обнаружения на основе Transformer: Проектов, изучающих механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
• Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, в которых точность обнаружения является главным приоритетом, а немного большая задержка инференса приемлема.
• Обнаружения крупных объектов: Сцен с преимущественно средними и крупными объектами, где механизм глобального внимания Transformer дает естественное преимущество.

Когда стоит выбрать YOLOv8#

YOLOv8 рекомендуется для:

• Универсальное развертывание для нескольких задач: проектов, которым нужна проверенная модель для обнаружения, сегментации, классификации и оценки позы в экосистеме Ultralytics.
• Сформировавшиеся промышленные системы: существующих производственных сред, уже построенных на архитектуре YOLOv8 и использующих стабильные, тщательно протестированные конвейеры развертывания.
• Широкая поддержка сообщества и экосистемы: приложений, получающих преимущества от обширных руководств по YOLOv8, сторонних интеграций и активных ресурсов сообщества.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:

• Развертывания на периферийных устройствах без NMS: приложений, требующих стабильного вывода с низкой задержкой без сложной постобработки с подавлением немаксимумов.
• Сред без GPU: устройств без выделенного ускорения GPU, где до 43% более быстрый вывод YOLO26 на CPU дает решающее преимущество.
• Обнаружения мелких объектов: сложных сценариев, таких как аэрофотосъемка с дронов или анализ данных IoT-сенсоров, где ProgLoss и STAL значительно повышают точность обнаружения крошечных объектов.

Взгляд в будущее: преимущества YOLO26#

Хотя YOLOv8 остаётся легендарной вехой, компьютерное зрение развивается невероятно быстро. Для команд, которые в 2026 году стремятся использовать самые передовые технологии, Ultralytics YOLO26 представляет собой следующий paradigm shift.

Если тебя привлекает архитектура RTDETRv2 без NMS, YOLO26 использует нативную сквозную архитектуру без NMS, объединяя простоту постобработки Transformer с молниеносной скоростью CNN. Кроме того, YOLO26 использует революционный оптимизатор MuSGD, обеспечивая стабильность обучения в стиле LLM для vision-моделей и чрезвычайно быструю сходимость. Благодаря удалению DFL (Distribution Focal Loss удалена для упрощения экспорта и повышения совместимости с периферийными и маломощными устройствами) YOLO26 обеспечивает до 43% более быстрый инференс на CPU. В сочетании с передовыми механизмами ProgLoss + STAL для улучшенного обнаружения небольших объектов YOLO26 однозначно является рекомендуемым вариантом обновления по сравнению и с YOLOv8, и с RTDETRv2.

Для дальнейшего изучения альтернативных моделей ознакомься с нашими руководствами по YOLO11 или прочитай подробный разбор YOLOv10 и YOLOv8, чтобы увидеть, как развивалась архитектура без NMS в семействе YOLO.