YOLOv7 и RTDETRv2#

Компьютерное зрение продолжает быстро развиваться, и на него во многом влияет конкуренция между сверточными нейронными сетями (CNNs) и визуальными трансформерами (ViTs). В этом техническом сравнении рассматриваются две мощные архитектуры: YOLOv7 — высокооптимизированная модель обнаружения объектов на основе CNN — и RTDETRv2, современный Transformer для обнаружения объектов в реальном времени.

Анализируя различия в архитектуре, метрики производительности и оптимальные сценарии развертывания, разработчики смогут принимать взвешенные решения при интеграции этих моделей ИИ для компьютерного зрения в производственные конвейеры.

YOLOv7: архитектура CNN с «набором бесплатных приемов»#

YOLOv7 представила несколько принципиально новых структурных оптимизаций для традиционного семейства YOLO, расширив возможности обнаружения объектов в реальном времени с помощью целого набора «обучаемых бесплатных приемов».

Основные характеристики:

• Авторы: Чиен-Яо Ванг, Алексей Бочковский, Хун-Юань Марк Ляо
• Организация: Институт информатики Академии Синика
• Дата: 2022-07-06
• Arxiv: https://arxiv.org/abs/2207.02696
• GitHub: WongKinYiu/yolov7

Архитектура и сильные стороны#

В основе YOLOv7 лежит архитектура расширенной сети эффективной агрегации слоев (E-ELAN). Благодаря такой структуре модель учится распознавать более разнообразные признаки, не нарушая исходный путь градиента. Кроме того, в ней применяются запланированные перепараметризованные свертки, которые ускоряют инференс без снижения точности. Обучаемый подход с «набором бесплатных приемов» обеспечивает впечатляющий баланс скорости и точности, благодаря чему модель отлично подходит для задач обнаружения объектов в реальном времени на серверных GPU.

YOLOv7 также отличается высокой универсальностью. Помимо стандартного обнаружения объектов с помощью ограничивающих рамок, в репозитории есть ветки для оценки позы и сегментации экземпляров, что демонстрирует гибкость модели.

Ограничения#

Как и многие устаревшие модели CNN, YOLOv7 использует подавление немаксимумов (NMS) для постобработки. NMS приводит к переменной задержке, особенно в переполненных сценах, и может мешать гарантировать строгое выполнение требований к работе в реальном времени на периферийных устройствах.

Узнай больше о YOLOv7

RTDETRv2: развитие трансформеров для работы в реальном времени#

RTDETRv2 развивает исходный фреймворк RT-DETR и дополнительно подтверждает, что Transformer может конкурировать с архитектурами YOLO по задержке в реальном времени, сохраняя при этом высокую пространственную точность.

Основные характеристики:

• Авторы: Вэньюй Лю, Иань Чжао, Циньяо Чанг, Куй Хуан, Гуаньчжун Ван, И Лю
• Организация: Baidu
• Дата: 2024-07-24
• Arxiv: https://arxiv.org/abs/2407.17140
• GitHub: lyuwenyu/RT-DETR

Архитектура и сильные стороны#

RTDETRv2 — важный шаг вперед для визуальных трансформеров. Для быстрой обработки признаков нескольких масштабов модель использует гибкий механизм выбора запросов и эффективный гибридный энкодер. Благодаря новому «набору бесплатных приемов», специально созданному для трансформеров обнаружения (DETR), модель выводит пространственное рассуждение на новый уровень. Поскольку NMS изначально не требуется, время инференса остается детерминированным — это критически важно для сложных приложений для умного города и автономного вождения.

Ограничения#

Несмотря на улучшения, RTDETRv2 сохраняет традиционные недостатки архитектур на основе Transformer. По сравнению с CNN модель требует значительно больше памяти CUDA и при обучении, и при инференсе. Кроме того, сходимость во время обучения заметно медленнее, поэтому необходимы большие объемы качественно размеченных данных, например набора данных COCO, и значительные вычислительные ресурсы.

Подробнее о RTDETRv2

Сравнение производительности#

При сравнении этих моделей нужно учитывать общую картину: точность, чистую скорость инференса и объем используемых вычислительных ресурсов. Ниже приведена таблица с непосредственным сравнением.

Преимущество Ultralytics: экосистема и развитие#

YOLOv7 и RTDETRv2 обладают широкими возможностями, однако при их развертывании в производственной среде часто возникают организационные сложности. Здесь и проявляет себя экосистема Ultralytics. Фреймворк Ultralytics создан для простой сквозной интеграции и предоставляет разработчикам единый API, который избавляет от типичных сложностей конвейеров компьютерного зрения.

Непревзойденная универсальность и эффективное использование памяти#

В отличие от негибких моделей Transformer, потребляющих огромный объём VRAM, модели Ultralytics YOLO отличаются высокой эффективностью использования памяти. Это позволяет быстро проводить обучение моделей на доступном оборудовании. Экосистема изначально поддерживает несколько задач компьютерного зрения в одной кодовой базе, включая классификацию изображений и обнаружение объектов с ориентированными ограничивающими рамками (OBB), обеспечивая гибкость, которой RTDETRv2 пока не хватает.

Простое развертывание#

Для перехода от исследований к производству нужны надёжные варианты развёртывания. API Ultralytics изначально поддерживает экспорт модели в один клик в форматы, принятые в отрасли. Независимо от того, выбираешь ли ты ONNX для кроссплатформенной совместимости или TensorRT для максимального ускорения на GPU, конвейер полностью автоматизирован и надёжен.

Лучшее обновление: Ultralytics YOLO26#

Разработчикам, выбирающим между YOLOv7 и RTDETRv2, стоит обратить внимание на новый стандарт в области ИИ для компьютерного зрения — Ultralytics YOLO26. Выпущенная в январе 2026 года, YOLO26 сочетает скорость CNN с продвинутыми возможностями рассуждения Transformer и полностью устраняет недостатки обеих архитектур.

В YOLO26 появились революционные инновации для развертывания как на серверах, так и на периферийных устройствах:

• Сквозная архитектура без NMS: Впервые реализованная в YOLOv10, в YOLO26 появилась нативная голова без NMS (nms=False), исключающая постобработку с использованием NMS. Это обеспечивает детерминированную задержку, как у RTDETRv2, без значительных вычислительных затрат на Transformer.
• Оптимизатор MuSGD: Вдохновленная методами обучения больших языковых моделей, например Kimi K2 от Moonshot AI, YOLO26 использует гибрид SGD и Muon. Это обеспечивает беспрецедентную стабильность обучения и значительно ускоряет сходимость по сравнению со стандартными реализациями AdamW, используемыми в ViT.
• ProgLoss + STAL: Эти продвинутые функции потерь заметно улучшают распознавание мелких объектов и напрямую конкурируют с преимуществами RTDETRv2 при работе с признаками разных масштабов. Это важно для роботизированной автоматизации.
• Оптимизация для периферийных устройств и удаление DFL: Отказ от Distribution Focal Loss (DFL) упрощает выходную голову YOLO26 и повышает скорость инференса на CPU до 43% — поэтому развертывать модель на периферийных устройствах гораздо проще, чем громоздкие модели Transformer.

Пример обучения с Ultralytics#

Благодаря простоте Python API от Ultralytics для обучения современной модели YOLO26 достаточно нескольких строк кода:

from ultralytics import YOLO

# Загрузи компактную и эффективную модель YOLO26
model = YOLO("yolo26s.pt")

# Обучи модель на датасете COCO8
# Фреймворк автоматически управляет аугментацией данных и выбором оптимизатора
results = model.train(data="coco8.yaml", epochs=100, imgsz=640, device="0")

# Без труда экспортируй модель в TensorRT для развертывания
model.export(format="engine", dynamic=True)

Оптимальные сценарии применения#

Выбор архитектуры во многом зависит от ограничений развертывания и доступности оборудования:

Когда стоит рассмотреть YOLOv7:

• Существующие исследовательские проекты, где YOLOv7 служит проверенной базовой моделью.
• Среды с достаточной мощностью GPU, где допустимы колебания задержки из-за NMS.

Когда стоит рассмотреть RTDETRv2:

• Развертывание на мощных серверах, где требуется максимально возможный mAP.
• Сценарии, в которых строго необходимо детерминированное время инференса (без NMS), если у тебя достаточно VRAM для работы основы Transformer.

Когда стоит выбрать Ultralytics YOLO26:

• Почти всегда. Модель обеспечивает детерминированную работу без NMS, как RTDETRv2, превосходит YOLOv7 по скорости и точности, требует значительно меньше VRAM и полностью интегрирована с платформой Ultralytics, упрощая управление наборами данных, обучение и развертывание.