RTDETRv2 и YOLOv7
В последние годы компьютерное зрение быстро развивалось благодаря прогрессу как в свёрточных нейронных сетях (CNN), так и в визуальных Transformer (ViT). Для выбора архитектуры под развёртывание нужно понимать компромиссы между скоростью, точностью и вычислительными затратами. В этом руководстве сравниваются технические различия двух известных архитектур — RTDETRv2 и YOLOv7 — и рассматривается более новая модель Ultralytics YOLO26.
RTDETRv2: подход Transformer к обнаружению объектов в реальном времени#
RTDETRv2 (Real-Time Detection Transformer, версия 2) развивает предшественницу и демонстрирует, что архитектуры на основе Transformer могут конкурировать в сценариях реального времени без традиционных этапов постобработки.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: Репозиторий RTDETRv2
Основные особенности архитектуры#
RTDETRv2 использует гибридный энкодер и декодер Transformer. Механизм self-attention позволяет модели обрабатывать всё изображение целиком и улавливать пространственные связи, которые не замечают строго локальные свёрточные ядра. Её отличительная особенность — встроенная архитектура без NMS. Устраняя подавление немаксимумов (NMS), RTDETRv2 убирает распространённое узкое место, вызывающее нестабильную задержку инференса при развёртывании.
Сильные стороны и ограничения#
Главное преимущество RTDETRv2 — способность обрабатывать плотное расположение перекрывающихся объектов в сложных сценах. Глобальный контекст, обеспечиваемый слоями внимания Transformer, повышает точность, особенно в сценариях с частыми перекрытиями.
Однако за это приходится платить вычислительными ресурсами. Для обучения и инференса моделей Transformer обычно требуется больше памяти, чем для CNN. Это ограничивает размер пакета на потребительских GPU и может удлинять циклы итераций для разработчиков, настраивающих пользовательские датасеты.
YOLOv7: базовая CNN-модель для высокой скорости#
Выпущенная за два года до RTDETRv2, YOLOv7 внесла несколько структурных улучшений в классическую архитектуру YOLO и на момент публикации задала высокую планку для детекторов на основе CNN, работающих в реальном времени.
- Авторы: Chien-Yao Wang, Alexey Bochkovskiy и Hong-Yuan Mark Liao
- Организация: Институт информатики, Академия Синика, Тайвань
- Дата: 2022-07-06
- arXiv: https://arxiv.org/abs/2207.02696
- GitHub: Репозиторий YOLOv7
Основные особенности архитектуры#
Архитектура YOLOv7 построена на концепции сети расширенной эффективной агрегации слоёв (E-ELAN). Этот подход оптимизирует путь градиента, позволяя модели эффективнее обучаться без значительного увеличения вычислительной сложности. Авторы также представили «обучаемый набор бесплатных улучшений» — набор методов, повышающих точность модели во время обучения без увеличения затрат на инференс.
Сильные стороны и ограничения#
YOLOv7 остаётся эффективной моделью для стандартных задач обнаружения объектов и быстро обрабатывает данные на потребительских GPU. Будучи CNN, она обычно требует меньше памяти CUDA во время обучения, чем модели на основе Transformer, например RTDETRv2.
Несмотря на эти преимущества, YOLOv7 по-прежнему использует NMS для постобработки. В условиях высокой плотности предсказаний этап NMS может вызывать колебания времени обработки, затрудняя строгую гарантию работы в реальном времени. Кроме того, YOLOv7 выполняет такие задачи, как сегментация экземпляров и оценка позы, в отдельных ветках кода, а не в единой системе.
Сравнение производительности#
В таблице ниже сравниваются средняя точность (mAP), количество параметров и скорость инференса на валидационном наборе COCO.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLOv7l | 640 | 51.4 | - | 6.84 | 36.9 | 104.7 |
| YOLOv7x | 640 | 53.1 | - | 11.57 | 71.3 | 189.9 |
RTDETRv2-x достигает наибольшего значения mAP (54,3), но также имеет наибольшее количество параметров и FLOPs. YOLOv7l (51,4 mAP, 6,84 мс) немного быстрее RTDETRv2-m (51,9 mAP, 7,51 мс), тогда как RTDETRv2-l (53,4 mAP, 9,76 мс) и точнее, и быстрее YOLOv7x (53,1 mAP, 11,57 мс). Скорость обеих моделей на CPU здесь не указана, поэтому пользователям, нацеленным на устройства с низким энергопотреблением без выделенных GPU, стоит самостоятельно провести бенчмарк инференса на CPU.
Современное решение: встречай YOLO26#
RTDETRv2 и YOLOv7 продвинули приложения компьютерного зрения, и развитие этой области продолжается. Выпущенная в январе 2026 года YOLO26 сочетает эффективность CNN с возможностью инференса без NMS, как у детекторов на основе Transformer.
Для разработчиков и исследователей, создающих новые системы, интегрированные Ultralytics Platform и экосистема Python предоставляют единый рабочий процесс, сокращающий затраты на интеграцию и поддержку.
Основные нововведения YOLO26#
- Сквозная архитектура без NMS: YOLO26 поддерживает нативный сквозной инференс и пропускает постобработку NMS благодаря дополнительной голове один-к-одному (
nms=False), что упрощает и ускоряет развёртывание. Этот подход, впервые представленный в YOLOv10, обеспечивает стабильную задержку независимо от плотности объектов. - Инференс на CPU до 43% быстрее: YOLO26n работает на CPU до 43% быстрее YOLO11n, что подходит для периферийных вычислений и устройств без GPU, на которых более тяжёлые модели Transformer сложнее развернуть.
- Оптимизатор MuSGD: гибрид SGD и Muon, созданный под влиянием Kimi K2 от Moonshot AI, переносит методы обучения больших языковых моделей (LLM) в компьютерное зрение, обеспечивая более стабильное обучение и быструю сходимость.
- Удаление DFL: Distribution Focal Loss удалена, что упрощает вычислительный граф и обеспечивает более удобный экспорт во встроенные NPU и среды TensorRT.
- ProgLoss + STAL: прогрессивная функция потерь и назначение меток с учётом малых объектов (STAL) улучшают распознавание небольших объектов, что особенно важно для робототехники, IoT и анализа аэрофотоснимков.
- Улучшения для отдельных задач: YOLO26 предназначена не только для обнаружения объектов. В ней предусмотрены многомасштабные прототипы для сегментации, оценка остаточного логарифмического правдоподобия (RLE) для оценки позы и специализированная функция потерь угла, устраняющая проблемы границ ориентированных ограничивающих рамок (OBB).
Упрощённая работа разработчика#
Одно из ключевых преимуществ моделей Ultralytics, таких как YOLO26 (или широко используемая YOLO11), — хорошо поддерживаемая экосистема. Для обучения на пользовательском датасете достаточно нескольких строк кода:
from ultralytics import YOLO
# Инициализируй модель YOLO26
model = YOLO("yolo26s.pt")
# Обучи модель на датасете COCO8
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Экспортируй модель для развертывания на периферийных устройствах
model.export(format="onnx", dynamic=True)Оптимальные сценарии применения#
Выбор между этими архитектурами зависит от целевого оборудования и конкретных эксплуатационных требований.
Когда стоит выбрать RTDETRv2#
RTDETRv2 эффективна в средах серверной обработки, оснащённых мощными GPU. Механизм глобального внимания делает её подходящей для сложного понимания сцен, например мониторинга массовых мероприятий с большим скоплением людей или специализированной медицинской визуализации, где перекрывающиеся признаки требуют глубокого контекстного анализа.
Когда стоит выбрать YOLOv7#
YOLOv7 часто используют в устаревших академических исследованиях как базовую модель для сравнения. Её также можно встретить в старых промышленных системах, где существующие конвейеры жёстко привязаны к определённым версиям PyTorch и не требуют поддержки нескольких задач, доступной в новых платформах.
Почему YOLO26 — рекомендуемый стандарт#
Для современной инфраструктуры умных городов, навигации дронов и высокоскоростного производства YOLO26 предлагает удачный баланс скорости и точности. Благодаря низким требованиям к памяти настройка гиперпараметров и обучение доступны на потребительском оборудовании, а инференс без NMS и оптимизация для CPU подходят для ограниченных периферийных устройств, таких как Raspberry Pi или NVIDIA Jetson.
Хочешь узнать, как эти модели выглядят на фоне других архитектур? Ознакомься с подробными руководствами YOLO11 и RT-DETR и YOLOv8 и YOLOv7, чтобы подобрать подходящий вариант для своего проекта в области компьютерного зрения.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.