YOLOv7 и RTDETRv2#

Компьютерное зрение продолжает быстро развиваться под влиянием конкуренции между сверточными нейронными сетями (CNNs) и визуальными трансформерами (ViTs). В этом техническом сравнении рассматриваются две известные архитектуры: YOLOv7 — высокооптимизированный детектор объектов на основе CNN, и RTDETRv2 — современный трансформер для обнаружения объектов в реальном времени.

Анализируя различия в архитектуре, метрики производительности и оптимальные сценарии развертывания, разработчики смогут принимать взвешенные решения при интеграции этих моделей ИИ для компьютерного зрения в производственные конвейеры.

YOLOv7: архитектура CNN с «набором бесплатных приемов»#

YOLOv7 привнесла в традиционное семейство YOLO несколько структурных оптимизаций, расширив возможности обнаружения объектов в реальном времени благодаря серии «обучаемых бесплатных улучшений».

Основные характеристики:

• Авторы: Чиен-Яо Ванг, Алексей Бочковский, Хун-Юань Марк Ляо
• Организация: Институт информатики Академии Синика
• Дата: 2022-07-06
• arXiv: https://arxiv.org/abs/2207.02696
• GitHub: WongKinYiu/yolov7

Архитектура и сильные стороны#

YOLOv7 построена на архитектуре расширенной эффективной сети агрегации слоев (E-ELAN). Такая структурная схема позволяет модели изучать более разнообразные признаки, не нарушая исходный путь градиента. Кроме того, в ней используются запланированные перепараметризованные свертки, которые повышают скорость инференса без снижения точности. Подход с обучаемыми бесплатными улучшениями обеспечивает хороший баланс скорости и точности, благодаря чему модель отлично подходит для задач обнаружения объектов в реальном времени на серверных GPU.

YOLOv7 также отличается универсальностью. Помимо стандартного обнаружения объектов с ограничивающими рамками, репозиторий содержит ветки для сегментации экземпляров и оценки позы, что демонстрирует адаптивность модели.

Ограничения#

Как и многие более ранние модели CNN, YOLOv7 использует подавление немаксимумов (NMS) для постобработки. NMS создает переменную задержку, особенно в переполненных сценах, что может затруднить обеспечение строгих гарантий работы в реальном времени на периферийных устройствах.

Узнай больше о YOLOv7

RTDETRv2: развитие трансформеров для работы в реальном времени#

RTDETRv2 развивает исходную платформу RT-DETR, дополнительно показывая, что трансформеры могут конкурировать с архитектурами YOLO по задержке в реальном времени, сохраняя высокую точность локализации.

Основные характеристики:

• Авторы: Вэньюй Лю, Иань Чжао, Циньяо Чанг, Куй Хуан, Гуаньчжун Ван, И Лю
• Организация: Baidu
• Дата: 2024-07-24
• arXiv: https://arxiv.org/abs/2407.17140
• GitHub: lyuwenyu/RT-DETR

Архитектура и сильные стороны#

RTDETRv2 — значительный шаг вперед для визуальных трансформеров. Модель использует гибкий процесс выбора запросов и эффективный гибридный энкодер для быстрой обработки многоуровневых признаков. Благодаря новой стратегии «бесплатных улучшений», специально разработанной для трансформеров обнаружения (DETRs), точность повышается без увеличения затрат на инференс. Поскольку модель не использует NMS, время инференса становится более предсказуемым, что полезно для приложений умного города и автономного вождения.

Ограничения#

Несмотря на усовершенствования, RTDETRv2 сохраняет традиционные недостатки архитектур на основе трансформеров. По сравнению с CNN, модель требует значительно больше памяти CUDA и при обучении, и при инференсе. Кроме того, сходимость при обучении заметно медленнее, поэтому нужны большие объемы качественных аннотированных данных, например датасет COCO, и значительные вычислительные ресурсы.

Подробнее о RTDETRv2

Сравнение производительности#

При сравнении этих моделей полезно одновременно учитывать точность, скорость инференса и вычислительные затраты. Ниже приведена таблица с прямым сравнением.

Преимущество Ultralytics: экосистема и развитие#

Хотя YOLOv7 и RTDETRv2 обладают широкими возможностями, их развертывание в производственной среде часто сопряжено с организационными трудностями. Экосистема Ultralytics создана, чтобы уменьшить эти сложности: она предоставляет разработчикам унифицированный API, который абстрагирует типичные проблемы конвейеров компьютерного зрения.

Универсальность и эффективность использования памяти#

В отличие от трансформерных моделей, которым требуется большой объем VRAM, модели Ultralytics YOLO эффективно расходуют память. Это позволяет быстро выполнять обучение моделей на доступном оборудовании. Экосистема изначально поддерживает несколько задач компьютерного зрения в единой кодовой базе, включая классификацию изображений и обнаружение ориентированных ограничивающих рамок (OBB), обеспечивая гибкость, которой RTDETRv2 пока не обладает.

Развёртывание#

Для перехода от исследований к производству нужны надежные варианты развертывания. API Ultralytics позволяет выполнять экспорт моделей в отраслевые форматы одним вызовом. Неважно, нужен ли тебе ONNX для совместимости между платформами или TensorRT для максимального ускорения на GPU: преобразование выполняется автоматически.

Переход на Ultralytics YOLO26#

Разработчикам, выбирающим между YOLOv7 и RTDETRv2, рекомендуется Ultralytics YOLO26. Выпущенная в январе 2026 года, YOLO26 сочетает скорость CNN со сквозным инференсом трансформеров и устраняет многие недостатки обеих архитектур.

YOLO26 предлагает несколько инноваций для развертывания как на серверах, так и на периферийных устройствах:

• Сквозная архитектура без NMS: Опираясь на обучение без NMS, которое YOLOv10 внедрила в модели YOLO, YOLO26 предлагает дополнительную голову без NMS (nms=False), пропускающую постобработку с NMS. Благодаря этому задержка предсказуема, как у RTDETRv2, но без вычислительных затрат трансформера.
• Оптимизатор MuSGD: Вдохновленная методами обучения больших языковых моделей, такими как Kimi K2 от Moonshot AI, YOLO26 использует гибрид SGD и Muon. По сравнению со стандартными конфигурациями AdamW, применяемыми во многих ViT, это повышает стабильность обучения и ускоряет сходимость.
• ProgLoss + STAL: Прогрессивная функция потерь и назначение меток с учетом малых объектов улучшают распознавание небольших объектов и напрямую конкурируют с преимуществами RTDETRv2 в обработке многоуровневых признаков. Это особенно важно для роботизированной автоматизации.
• Оптимизация для периферийных устройств и удаление DFL: Удаление Distribution Focal Loss (DFL) упрощает выходную голову, а YOLO26n работает на CPU до 43% быстрее, чем YOLO11n. Благодаря этому YOLO26 значительно проще развертывать на периферийных устройствах, чем тяжелые трансформерные модели.

Пример обучения с Ultralytics#

Благодаря простоте Python API Ultralytics ты можешь обучить модель YOLO26s всего несколькими строками кода:

from ultralytics import YOLO

# Загрузить малую модель YOLO26
model = YOLO("yolo26s.pt")

# Обучи модель на датасете COCO8
# Фреймворк автоматически управляет аугментацией данных и выбором оптимизатора
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device="0")

# Экспортируй модель в TensorRT для развёртывания
model.export(format="engine", dynamic=True)

Оптимальные сценарии применения#

Выбор архитектуры во многом зависит от ограничений развертывания и доступности оборудования:

Когда стоит рассмотреть YOLOv7:

• Существующие исследовательские проекты, где YOLOv7 служит проверенной базовой моделью.
• Среды с достаточной мощностью GPU, где допустимы колебания задержки из-за NMS.

Когда стоит рассмотреть RTDETRv2:

• Развертывание на мощных серверах, когда нужна максимальная mAP.
• Сценарии, где строго необходима предсказуемая задержка инференса без NMS, при условии, что у тебя достаточно VRAM для трансформерной основы модели.

Когда стоит выбрать Ultralytics YOLO26:

• Большинство новых проектов. Модель предлагает опциональный инференс без NMS, как RTDETRv2, превосходит YOLOv7 по скорости и точности, использует меньше VRAM и полностью интегрирована в Ultralytics Platform для управления датасетами, обучения и развертывания.