RTDETRv2 против YOLOv8#

Ландшафт компьютерного зрения постоянно меняется, что часто подчеркивается продолжающимся соперничеством между традиционными сверточными нейронными сетями (CNN) и более новыми архитектурами на основе Transformer. В этом подробном техническом сравнении мы рассмотрим, как RTDETRv2, ведущий vision transformer, соотносится с Ultralytics YOLOv8, одной из самых широко используемых и универсальных моделей CNN в индустрии. Обе модели предлагают инженерам и исследователям мощные возможности, но их базовые архитектуры приводят к заметным различиям в методологиях обучения, ограничениях при развертывании и общей производительности.

Обзор модели: RTDETRv2#

RTDETRv2 (Real-Time Detection Transformer версии 2) развивает успех своего предшественника, оптимизируя архитектуру vision transformer для скорости логического вывода в реальном времени.

Ключевые технические детали:

• Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
• Организация: Baidu
• Дата: 24.07.2024
• Ссылки: Публикация на ArXiv | Репозиторий на GitHub

Архитектура и преимущества#

По своей сути RTDETRv2 использует гибридную архитектуру, объединяющую магистральную сеть CNN со структурой энкодера-декодера Transformer. Это позволяет модели рассматривать всё изображение в контексте, делая её исключительно эффективной при обработке сложных сцен с перекрывающимися объектами. Одной из её наиболее определяющих особенностей является встроенный подход «конец-в-конец», полностью обходящий постпроцессинг Non-Maximum Suppression (NMS). Это снижает алгоритмическую сложность на финальных этапах конвейера детектирования. Кроме того, возможности многомасштабного детектирования позволяют ей эффективно распознавать как крупные структуры, так и мелкие элементы фона.

Слабые стороны#

Несмотря на мощное контекстное понимание, архитектуры на базе трансформаторов, такие как RTDETRv2, требуют огромных вычислительных затрат во время обучения. Они потребляют значительный объем памяти CUDA, что затрудняет их обучение на оборудовании потребительского уровня. Кроме того, настройка пользовательского датасета и подбор гиперпараметров обучения часто требуют глубоких экспертных знаний в предметной области, поскольку у модели отсутствует тщательно проработанная и дружелюбная к новичкам программная оболочка. Развертывание на энергоэффективных периферийных устройствах, таких как устаревшее Raspberry Pi hardware, также может оказаться сложной задачей из-за тяжелых механизмов внимания.

Узнай больше о RTDETRv2

Обзор модели: YOLOv8#

С момента своего выпуска Ultralytics YOLOv8 зарекомендовала себя как отраслевой стандарт для задач компьютерного зрения промышленного уровня, уделяя первостепенное внимание безупречному пользовательскому опыту разработчиков наряду с высочайшей точностью.

Ключевые технические детали:

• Авторы: Гленн Джочер, Аюш Чаурасия и Цзин Цю
• Организация: Ultralytics
• Дата: 10 января 2023 г.
• Ссылки: Официальная документация | Репозиторий на GitHub

Архитектура и преимущества#

YOLOv8 использует высокооптимизированную архитектуру CNN без привязки к анкорам (anchor-free) с разделенной головой (decoupled head), что значительно улучшает локализацию объектов и точность классификации по сравнению с предыдущими поколениями. Ее величайшая сила заключается в невероятной эффективности и универсальности. Эта архитектура требует существенно меньше памяти во время обучения по сравнению с визуальными трансформаторами, позволяя разработчикам запускать больший batch sizes на стандартных GPU. Более того, экосистема Ultralytics обеспечивает непревзойденный и бесшовный рабочий процесс. Единый Python API позволяет выполнять hyperparameter tuning, обучение, валидацию и экспорт всего за несколько строк кода.

Слабые стороны#

YOLOv8 действительно полагается на традиционный NMS во время фазы постпроцессинга. Хотя движок Ultralytics эффективно справляется с этим «под капотом», технически это вносит небольшую задержку постпроцессинга по сравнению с архитектурами, изначально не использующими NMS.

Узнай больше о YOLOv8

Сравнение производительности и метрик#

При сравнении «сухих» цифр становится очевидно, что обе модели расставляют разные приоритеты в конвейере развертывания. Ниже представлен сравнительный анализ производительности.

Требования к памяти и эффективность обучения#

Одним из наиболее критических факторов как для независимых разработчиков, так и для корпоративных команд является стоимость обучения. Модели Ultralytics YOLO требуют значительно меньшего объема памяти CUDA в training process, чем архитектуры трансформаторов. Стандартная модель RTDETRv2 может легко вызвать узкое место (bottleneck) на потребительской GPU, тогда как YOLOv8 сходится быстро и надежно на таком оборудовании, как NVIDIA RTX 4070.

Экосистема, API и простота использования#

Истинным дифференциатором для современных ИИ-решений является поддерживающий программный фреймворк. Экосистема Ultralytics упрощает сложные инженерные препятствия. Благодаря активной разработке и надежной поддержке сообщества на таких платформах, как Discord, YOLOv8 гарантирует, что твой проект не застопорится из-за плохой документации.

Более того, YOLOv8 выходит за рамки стандартного детектирования объектов. Это настоящая многозадачная сеть с нативной поддержкой Instance Segmentation, Pose Estimation, Image Classification и Oriented Bounding Boxes (OBB). RTDETRv2 по-прежнему сосредоточена исключительно на детектировании.

Пример кода: Единая простота#

Используя Ultralytics Python API, ты можешь бесшовно экспериментировать с обоими семействами моделей в единой среде.

from ultralytics import RTDETR, YOLO

# Load an RT-DETR model and a YOLOv8 model seamlessly
model_transformer = RTDETR("rtdetr-l.pt")
model_cnn = YOLO("yolov8l.pt")

# Predict on a sample image using the exact same API
results_transformer = model_transformer("https://ultralytics.com/images/bus.jpg")
results_cnn = model_cnn("https://ultralytics.com/images/bus.jpg")

# Export YOLOv8 to ONNX for rapid edge deployment
model_cnn.export(format="onnx")

После обучения YOLOv8 поддерживает экспорт в один клик в ONNX, TensorRT и OpenVINO, гарантируя высокопроизводительный вывод (inference) на различных аппаратных бэкендах.

Сценарии использования и рекомендации#

Выбор между RT-DETR и YOLOv8 зависит от конкретных требований твоего проекта, ограничений развертывания и предпочтений в экосистеме.

Когда выбирать RT-DETR#

RT-DETR — отличный выбор для:

• Исследований детектирования на основе Transformer: проектов, изучающих механизмы внимания и архитектуры трансформеров для end-to-end детектирования объектов без NMS.
• Сценариев с высокой точностью и гибкой задержкой: приложений, где точность детектирования является главным приоритетом, а немного большая задержка вывода допустима.
• Детектирования крупных объектов: сцен преимущественно со средними и крупными объектами, где глобальный механизм внимания трансформеров дает естественное преимущество.

Когда выбирать YOLOv8#

YOLOv8 рекомендуется для:

• Универсальное многозадачное развертывание: Проекты, требующие проверенной модели для обнаружения, сегментации, классификации и оценки позы в экосистеме Ultralytics.
• Устоявшихся производственных систем: существующих производственных сред, уже построенных на архитектуре YOLOv8 со стабильными и хорошо протестированными пайплайнами развертывания.
• Широкой поддержки сообщества и экосистемы: приложений, которым нужны обширные руководства по YOLOv8, сторонние интеграции и активные ресурсы сообщества.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает наилучшее сочетание производительности и удобства для разработчика:

• Развертывания на периферии без NMS: приложений, требующих стабильного вывода с низкой задержкой без сложности постобработки подавления немаксимумов.
• Среды только с CPU: устройств без выделенного GPU-ускорения, где до 43% более быстрый вывод на CPU у YOLO26 дает решающее преимущество.
• Обнаружение малых объектов: Сложные сценарии, такие как aerial drone imagery или анализ с помощью IoT-сенсоров, где ProgLoss и STAL значительно повышают точность для крошечных объектов.

Взгляд в будущее: преимущество YOLO26#

Хотя YOLOv8 остается легендарной вехой, компьютерное зрение развивается невероятно быстро. Для команд, ищущих абсолютный передовой рубеж в 2026 году, Ultralytics YOLO26 представляет собой следующий сдвиг парадигмы.

Если тебя привлекает дизайн RTDETRv2 без NMS, YOLO26 включает в себя нативный End-to-End NMS-Free Design, сочетающий простоту постпроцессинга трансформеров с молниеносной скоростью CNN. Кроме того, YOLO26 использует революционный MuSGD Optimizer, привнося стабильность обучения в стиле LLM в модели зрения для невероятно быстрой сходимости. Благодаря удалению DFL (Distribution Focal Loss удалена для упрощенного экспорта и лучшей совместимости с периферийными/маломощными устройствами), YOLO26 обеспечивает увеличение скорости вывода на CPU до 43%. В сочетании с передовыми механизмами ProgLoss + STAL для превосходного обнаружения мелких объектов, YOLO26 определенно является рекомендованным путем обновления по сравнению как с YOLOv8, так и с RTDETRv2.

Для дальнейшего чтения об альтернативных моделях изучи наши руководства по YOLO11 или ознакомься с подробным разбором YOLOv10 vs YOLOv8, чтобы увидеть, как развивалась архитектура без NMS в семействе YOLO.