RTDETRv2 и YOLO11#
Новые архитектуры компьютерного зрения постоянно расширяют возможности устройств периферийных вычислений и облачных серверов. RTDETRv2 и YOLO11 — два широко используемых решения для обнаружения объектов в реальном времени. Оба показывают хорошие результаты, но используют разные архитектурные подходы: детектор на основе Transformer и высокооптимизированную свёрточную нейронную сеть (CNN).
В этом сравнении рассматриваются архитектуры, метрики производительности, методы обучения и оптимальные сценарии применения обеих моделей, чтобы помочь тебе выбрать подходящую модель для следующего приложения.
RTDETRv2: конкурент на базе Transformer#
Представленная как развитие исходного Real-Time Detection Transformer, модель RTDETRv2 применяет механизмы внимания к многомасштабным признакам, извлечённым магистралью CNN. Её гибридный энкодер и декодер Transformer улавливают глобальный контекст изображения, что помогает обнаруживать сильно перекрывающиеся объекты в сложных сценах.
Сведения о модели:
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: 2407.17140
- GitHub: Репозиторий RT-DETR
- Документация: документация RTDETRv2
Сильные и слабые стороны архитектуры#
Главная инновация RTDETRv2 — сквозная архитектура без NMS. Отказ от подавления немаксимумов (NMS) упрощает конвейер постобработки. Кроме того, возможности извлечения многомасштабных признаков улучшены по сравнению с исходной моделью RT-DETR, что позволяет лучше распознавать объекты разного размера.
Однако из-за использования Transformer RTDETRv2 обычно требует больше памяти во время обучения. Сходимость Transformer, как правило, медленнее, а для него требуется больше памяти CUDA, чем для традиционных CNN. Поэтому такие модели менее доступны исследователям с потребительским оборудованием и сложнее для развёртывания в ограниченных средах периферийного ИИ.
Ultralytics YOLO11: эффективность CNN#
Продолжая ранние исследования YOLO, Ultralytics YOLO11 совершенствует архитектуру CNN, обеспечивая лучший баланс скорости и точности и сохраняя гибкую, удобную для разработчиков экосистему Ultralytics.
Сведения о модели:
- Авторы: Glenn Jocher и Jing Qiu
- Организация: Ultralytics
- Дата: 27 сентября 2024 года
- GitHub: Репозиторий Ultralytics
Преимущества Ultralytics#
Главное преимущество YOLO11 — сбалансированная производительность. Баланс скорости и точности подходит для самых разных сценариев развёртывания: от крупных кластеров облачных вычислений до компактных мобильных устройств.
Модели Ultralytics YOLO также используют меньше памяти при обучении и инференсе. В отличие от моделей Transformer, которые могут быстро исчерпать VRAM, YOLO11 позволяет использовать больший размер пакета на стандартных GPU. Кроме того, YOLO11 отличается универсальностью и поддерживает не только обнаружение объектов, но и сегментацию экземпляров, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB).
Сравнение производительности и метрик#
В таблице ниже сравниваются точность на COCO и скорость. RTDETRv2 немного точнее в малом и среднем размерах, тогда как YOLO11 доступна в пяти размерах, включая nano-вариант, и при сопоставимом размере имеет меньшую задержку в TensorRT.
| Модель | размер (пиксели) | mAPval 50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
| YOLO11n | 640 | 39.5 | 56.1 | 1.5 | 2.6 | 6.5 |
| YOLO11s | 640 | 47.0 | 90.0 | 2.5 | 9.4 | 21.6 |
| YOLO11m | 640 | 51.5 | 183.2 | 4.7 | 20.1 | 68.1 |
| YOLO11l | 640 | 53.4 | 238.6 | 6.2 | 25.3 | 87.2 |
| YOLO11x | 640 | 54.7 | 462.8 | 11.3 | 56.9 | 195.3 |
YOLO11x достигает 54.7% mAPval, на 0.4 пункта выше RTDETRv2-x, при меньшем количестве операций с плавающей запятой (FLOPs: 195.3B против 259B) и более быстром инференсе в TensorRT (11.3 мс против 15.03 мс). YOLO11l сравнима с RTDETRv2-l по точности (53.4%), но работает за 6.2 мс вместо 9.76 мс, а RTDETRv2-s и -m опережают YOLO11s и -m на 1.1 и 0.4 пункта при задержке в 1.6–2 раза выше. Nano- и small-варианты YOLO11 — лёгкие решения для устройств с ограниченными ресурсами, например Raspberry Pi.
Экосистема, простота использования и обучение#
Модели Ultralytics созданы для удобства использования. Пакет Python ultralytics предоставляет унифицированный API для аугментации данных, распределённого обучения и экспорта моделей. Исследовательский репозиторий RTDETRv2 требует больше шаблонного кода и настроек, тогда как Ultralytics предоставляет полный конвейер от данных до развёртывания.
Пакет Ultralytics также поддерживает модели RT-DETR наряду с моделями YOLO, поэтому обеим доступна хорошо поддерживаемая экосистема Ultralytics, включая интеграции с Weights & Biases и Comet для отслеживания экспериментов.
from ultralytics import RTDETR, YOLO
# Загрузи модель RTDETR через API Ultralytics
model_rtdetr = RTDETR("rtdetr-l.pt")
# Загрузить высокооптимизированную модель YOLO11
model_yolo = YOLO("yolo11n.pt")
# Обучать YOLO11 с максимально эффективным использованием памяти
results = model_yolo.train(data="coco8.yaml", epochs=100, imgsz=640)
# Экспортировать обученную модель YOLO в формат ONNX
model_yolo.export(format="onnx")Эффективность обучения важна в машинном обучении. Модели Ultralytics начинают работу с предварительно обученных весов, поэтому трансферное обучение на пользовательских данных быстро сходится. Чтобы управлять наборами данных, запусками обучения и конечными точками развёртывания без написания кода, используй платформу Ultralytics для комплексного рабочего процесса MLOps.
Применение в реальных условиях#
Выбор между этими архитектурами часто зависит от конкретных ограничений проекта при развертывании.
В чём RTDETRv2 особенно хороша: Магистраль Transformer в RTDETRv2 эффективна в сценариях с плотным расположением сильно перекрывающихся объектов, когда необходим глобальный контекст. Эту модель часто используют в академических исследованиях и приложениях, где вычислительный бюджет менее важен, чем моделирование отношений между объектами.
В чём YOLO11 особенно хороша: YOLO11 хорошо подходит для практического развёртывания в реальных условиях. Благодаря небольшому объёму используемой памяти и быстрому инференсу она подходит для:
- Умное производство: обнаружение дефектов на производственных линиях в реальном времени с помощью промышленных ПК.
- Сельское хозяйство: использование дронов для мониторинга состояния посевов в реальном времени и автоматизированной роботизированной уборки урожая.
- Аналитики розничной торговли: Одновременной обработки потоков с нескольких камер для управления очередями и отслеживания запасов без необходимости в крупных серверных кластерах.
Сценарии использования и рекомендации#
Выбор между RT-DETR и YOLO11 зависит от конкретных требований проекта, ограничений развертывания и предпочтительной экосистемы.
Когда выбрать RT-DETR#
RT-DETR — отличный выбор для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать YOLO11#
YOLO11 рекомендуется для:
- Промышленное развёртывание на периферии: коммерческих приложений на устройствах вроде Raspberry Pi или NVIDIA Jetson, где важны надёжность и активная поддержка.
- Многозадачные приложения компьютерного зрения: проекты, которым нужны обнаружение объектов, сегментация, классификация, оценка позы и OBB в рамках единого фреймворка.
- Быстрое прототипирование и развертывание: команды, которым нужно быстро пройти путь от сбора данных до промышленной эксплуатации с помощью удобного Python API Ultralytics.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.
Взгляд в будущее: появление YOLO26#
Если ты начинаешь новый проект, рассмотри также Ultralytics YOLO26 — модель, выпущенную в январе 2026 года и рекомендованную Ultralytics. Она объединяет идеи обоих подходов: дополнительная сквозная голова без NMS (nms=False), впервые внедрённая в модели YOLO с выходом YOLOv10, исключает постобработку с NMS, как RTDETRv2, и при этом сохраняет скорость CNN.
YOLO26 использует оптимизатор MuSGD, вдохновлённый методами обучения LLM, для стабильной и быстрой сходимости, а YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n, в том числе благодаря отказу от Distribution Focal Loss (DFL). Прогрессивная функция потерь и назначение меток с учётом малых объектов (ProgLoss + STAL) улучшают распознавание небольших объектов, поэтому YOLO26 — рекомендуемый вариант для новых конвейеров компьютерного зрения.
Выбираешь ли ты YOLO11 за проверенную универсальность, RTDETRv2 за механизмы внимания или YOLO26 за производительность на периферийных устройствах — в документации Ultralytics описано обучение и развёртывание YOLO11, YOLO26 и исходной RT-DETR.