RTDETRv2 и YOLO11#

Область компьютерного зрения постоянно развивается: новые архитектуры расширяют возможности устройств на периферии и облачных серверов. Среди наиболее заметных решений для обнаружения объектов в реальном времени сейчас — RTDETRv2 и YOLO11. Обе модели демонстрируют выдающуюся производительность, но основаны на принципиально разных подходах к архитектуре: на Transformer и высокооптимизированной сверточной нейронной сети (CNN).

В этом подробном техническом сравнении мы рассмотрим архитектуру, показатели производительности, методы обучения и оптимальные сценарии применения обеих моделей, чтобы помочь тебе принять взвешенное решение для следующего проекта в области искусственного интеллекта.

RTDETRv2: конкурент на базе Transformer#

RTDETRv2, созданная как развитие оригинальной модели Real-Time Detection Transformer, использует механизмы внимания для обработки визуальных данных. Рассматривая фрагменты изображения как последовательности, модель формирует целостное представление о контексте изображения, что особенно полезно для обнаружения сильно перекрывающихся объектов в сложных сценах.

Сведения о модели:

• Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
• Организация: Baidu
• Дата: 2024-07-24
• Arxiv: 2407.17140
• GitHub: Репозиторий RT-DETR
• Документация: документация RTDETRv2

Сильные и слабые стороны архитектуры#

Главное нововведение RTDETRv2 — сквозная архитектура без NMS. Отказ от подавления немаксимумов (NMS) упрощает конвейер постобработки. Кроме того, по сравнению с оригинальной моделью RT-DETR улучшены возможности извлечения многоуровневых признаков, благодаря чему модель лучше распознает объекты разного размера.

Однако из-за использования Transformer RTDETRv2 обычно требует значительно больше памяти во время обучения. Сходимость Transformer, как правило, медленнее, а для обучения требуется существенно больше памяти CUDA, чем для традиционных CNN. Поэтому такие модели менее доступны исследователям с потребительским оборудованием и не так подходят для развертывания в ограниченных средах периферийного ИИ.

Узнай больше о RTDETRv2

Ultralytics YOLO11: вершина эффективности CNN#

Опираясь на многолетние фундаментальные исследования, Ultralytics выпустила YOLO11 — значительный шаг вперед в развитии семейства YOLO. Модель совершенствует архитектуру CNN, обеспечивая беспрецедентные скорость и точность, и при этом сохраняет гибкость и удобную для разработчиков экосистему, к которым привыкло сообщество.

Сведения о модели:

• Авторы: Glenn Jocher и Jing Qiu
• Организация: Ultralytics
• Дата: 27 сентября 2024 года
• GitHub: Репозиторий Ultralytics

Преимущества Ultralytics#

Сильная сторона YOLO11 — баланс производительности. Модель обеспечивает исключительное сочетание скорости и точности, что делает ее особенно универсальной для различных реальных сценариев развертывания: от крупных кластеров облачных вычислений до легких мобильных устройств.

Кроме того, модели Ultralytics YOLO известны низким потреблением памяти при обучении и инференсе. В отличие от Transformer, которые могут быстро исчерпать видеопамять, YOLO11 позволяет использовать большие размеры пакетов на стандартных GPU. При этом возможности YOLO11 не ограничиваются обнаружением объектов: модель отличается высокой универсальностью и изначально поддерживает сегментацию экземпляров, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB).

Сравнение производительности и метрик#

Сравнение численных показателей показывает, что RTDETRv2 обеспечивает высокую точность, но YOLO11 предлагает гораздо более широкий выбор размеров моделей и более высокую скорость инференса, особенно на TensorRT.

Как видно из таблицы, модель YOLO11x обеспечивает более высокий показатель mAP^val — 54,7%, использует меньше FLOPs (195,3B против 259B) и быстрее выполняет инференс на TensorRT (11,3 мс против 15,03 мс), чем вариант RTDETRv2-x. Нано- и малые варианты YOLO11 — непревзойденные легковесные решения для устройств с ограниченными ресурсами, например Raspberry Pi.

Экосистема, простота использования и обучение#

Главная особенность моделей Ultralytics — удобство работы. Пакет ultralytics для Python предоставляет единый интуитивно понятный API, который берет на себя сложную работу по аугментации данных, распределенному обучению и экспорту моделей. Исследовательский репозиторий RTDETRv2 требует большого количества шаблонного кода и настроек, а Ultralytics предлагает полный путь от первых шагов до экспертного уровня.

Экосистема Ultralytics настолько развита, что изначально поддерживает запуск моделей RT-DETR наряду с моделями YOLO! Это позволяет использовать преимущества хорошо поддерживаемой экосистемы Ultralytics, включая интеграции с Weights & Biases и Comet ML, для удобного отслеживания экспериментов.

from ultralytics import RTDETR, YOLO

# Легко загрузить модель RTDETR через API Ultralytics
model_rtdetr = RTDETR("rtdetr-l.pt")

# Загрузить высокооптимизированную модель YOLO11
model_yolo = YOLO("yolo11n.pt")

# Обучать YOLO11 с максимально эффективным использованием памяти
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)

# Экспортировать обученную модель YOLO в формат ONNX
model_yolo.export(format="onnx")

Применение в реальных условиях#

Выбор между этими архитектурами часто зависит от конкретных ограничений проекта при развертывании.

Преимущества RTDETRv2: Основа RTDETRv2 на Transformer эффективна в сценариях с высокой плотностью объектов и сильной окклюзией, где необходим глобальный контекст. Модель часто оценивают в академических исследованиях и применениях, где вычислительные затраты менее важны, чем построение связей на основе механизмов внимания.

Преимущества YOLO11: YOLO11 — бесспорный лидер в практическом развертывании в реальных условиях. Минимальное потребление памяти и высокая скорость инференса делают модель идеальной для:

• Умное производство: обнаружение дефектов на производственных линиях в реальном времени с помощью промышленных ПК.
• Сельское хозяйство: использование дронов для мониторинга состояния посевов в реальном времени и автоматизированной роботизированной уборки урожая.
• Аналитика розничной торговли: одновременная обработка потоков с нескольких камер для управления очередями и отслеживания запасов без необходимости в огромных серверных фермах.

Сценарии использования и рекомендации#

Выбор между RT-DETR и YOLO11 зависит от конкретных требований проекта, ограничений развертывания и предпочтительной экосистемы.

Когда выбрать RT-DETR#

RT-DETR — отличный выбор для:

• Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
• Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
• Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.

Когда выбирать YOLO11#

YOLO11 рекомендуется для:

• Промышленное развертывание на периферийных устройствах: коммерческие приложения на устройствах вроде Raspberry Pi или NVIDIA Jetson, где особенно важны надёжность и активная поддержка.
• Многозадачные приложения компьютерного зрения: проекты, в которых в рамках единого фреймворка требуются обнаружение объектов, сегментация, оценка позы и OBB.
• Быстрое прототипирование и развертывание: команды, которым нужно быстро пройти путь от сбора данных до промышленной эксплуатации с помощью удобного Python API Ultralytics.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:

• Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
• Среды только с CPU: Устройства без выделенного ускорителя GPU, где до 43% более быстрый инференс YOLO26 на CPU даёт решающее преимущество.
• Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.

Взгляд в будущее: появление YOLO26#

Если ты начинаешь новый проект, рассмотри также новое поколение ИИ для компьютерного зрения — Ultralytics YOLO26. Выпущенная в январе 2026 года, YOLO26 объединяет лучшие черты обоих подходов. В модели появилась опциональная голова без NMS и со сквозной обработкой (nms=False, впервые представленная в YOLOv10), которая, как и RTDETRv2, исключает постобработку NMS, сохраняя при этом непревзойденную скорость CNN.

В YOLO26 используется оптимизатор MuSGD, вдохновленный новыми подходами к обучению LLM. Он обеспечивает исключительно стабильную и быструю сходимость, а отказ от функции потерь Distribution Focal Loss (DFL) повышает скорость инференса на CPU до 43%. Специальные функции потерь ProgLoss + STAL значительно улучшают распознавание мелких объектов, поэтому YOLO26 — оптимальный выбор для современных конвейеров компьютерного зрения.

Выбирай YOLO11 за проверенную универсальность, RTDETRv2 — за механизмы внимания, а передовую YOLO26 — за максимальную производительность на периферийных устройствах. В документации Ultralytics есть все ресурсы, необходимые для успешной работы над проектами компьютерного зрения.