YOLO11 и RTDETRv2
Для обнаружения объектов в реальном времени всё чаще приходится выбирать между свёрточными нейронными сетями (CNN) и визуальными трансформерами (ViT). В этом техническом сравнении рассматриваются две ведущие архитектуры обнаружения объектов: YOLO11 — высокооптимизированная CNN от Ultralytics, и RTDETRv2 — одна из версий семейства Detection Transformer от Baidu.
В этом руководстве сравниваются архитектуры, метрики производительности и сценарии развёртывания моделей, чтобы помочь инженерам по машинному обучению выбрать между ними. Обе модели обеспечивают высокую точность, но модели Ultralytics YOLO обычно лучше сочетают скорость, поддержку экосистемы и простоту использования в производственной среде.
YOLO11: эталон универсальности в реальных условиях#
Представленная компанией Ultralytics, YOLO11 продолжает многолетние исследования YOLO и сочетает скорость, точность и универсальность. Модель изначально поддерживает обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение ориентированных ограничивающих рамок (OBB).
- Авторы: Glenn Jocher и Jing Qiu
- Организация: Ultralytics
- Дата: 2024-09-27
- GitHub: Репозиторий Ultralytics
- Документация: Документация YOLO11
Архитектура и сильные стороны#
YOLO11 использует усовершенствованную базовую CNN и многоуровневые пирамиды признаков, что делает её эффективной по ресурсам. Модель подходит для сред со строгими ограничениями на оборудование благодаря малому объёму памяти, необходимой и для обучения, и для инференса. Платформа Ultralytics поддерживает YOLO11 для разметки данных, облачного обучения и мониторинга моделей без необходимости объединять отдельные инструменты MLOps.
Для развёртывания на периферии YOLO11 обеспечивает низкую задержку. Благодаря лёгкой архитектуре модель эффективно работает на устройствах от плат Raspberry Pi до потребительских мобильных телефонов, поэтому её часто выбирают для умной розницы, контроля качества производства и автоматизированного управления дорожным движением.
RTDETRv2: трансформеры реального времени от Baidu#
RTDETRv2 (Detection Transformer реального времени версии 2) — это попытка Baidu сделать архитектуры на основе трансформеров пригодными для задач реального времени. Модель развивает оригинальную RT-DETR, используя подход «набора бесплатных улучшений» для повышения базовой точности без увеличения задержки вывода.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: 2407.17140
- GitHub: Репозиторий RTDETRv2
- Документация: README RTDETRv2
Архитектура и сильные стороны#
В отличие от традиционных CNN, RTDETRv2 использует архитектуру кодировщика-декодировщика с механизмами самовнимания, позволяющими учитывать глобальный контекст всего изображения. Это полезно для переполненных сцен с частыми перекрытиями объектов. RTDETRv2 устраняет необходимость в подавлении немаксимумов (NMS) при постобработке и вместо этого использует венгерское сопоставление во время обучения для взаимно-однозначного двудольного сопоставления.
Однако трансформерным моделям обычно требуется больше видеопамяти и памяти CUDA. Обучение RTDETRv2 с нуля или дообучение на пользовательских наборах данных часто требует мощных GPU с большим объёмом памяти. Для небольших команд это может стать препятствием по сравнению с более низкими требованиями моделей Ultralytics к памяти при обучении.
Анализ производительности и показателей#
Оценка на стандартном наборе данных COCO показывает явные компромиссы между числом параметров, FLOPs и точностью (mAP).
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLO11n | 640 | 39.5 | 56.1 | 1.5 | 2.6 | 6.5 |
| YOLO11s | 640 | 47.0 | 90.0 | 2.5 | 9.4 | 21.6 |
| YOLO11m | 640 | 51.5 | 183.2 | 4.7 | 20.1 | 68.1 |
| YOLO11l | 640 | 53.4 | 238.6 | 6.2 | 25.3 | 87.2 |
| YOLO11x | 640 | 54.7 | 462.8 | 11.3 | 56.9 | 195.3 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
Разбор результатов#
YOLO11 обеспечивает более высокую точность при меньшем числе параметров. YOLO11x показывает более высокий показатель mAPval50-95 (54,7), чем RTDETRv2-x (54,3), используя меньше параметров (56,9 млн против 76 млн) и выполняя меньше операций с плавающей запятой (195,3 млрд против 259 млрд).
YOLO11 также быстрее работает на T4 с TensorRT. YOLO11s выполняет инференс за 2.5 мс против 5.03 мс у RTDETRv2-s (47.0 против 48.1 mAP), а YOLO11m и точнее (51.5 mAP), и быстрее (4.7 мс), чем RTDETRv2-s. Поэтому YOLO11 хорошо подходит для видеоаналитики в реальном времени, где основным узким местом является время обработки кадров.
RTDETRv2 обеспечивает высокую точность благодаря слоям внимания, однако их вычислительная сложность квадратично растёт с увеличением разрешения изображения, что повышает расход видеопамяти при обучении и инференсе. YOLO11 избегает этих затрат благодаря эффективным свёрточным блокам.
Экосистема обучения и удобство использования#
Главное преимущество моделей Ultralytics — развитая экосистема. Обучение RTDETRv2 часто требует работы со сложными исследовательскими репозиториями, настройки непростых весов функции потерь для двудольного сопоставления и управления значительными затратами памяти.
Ultralytics уделяет особое внимание удобству разработки. Унифицированный API Python избавляет от шаблонного кода, интегрируется с такими инструментами, как Weights & Biases, для отслеживания экспериментов и автоматически выполняет аугментацию данных.
Вот насколько просто обучить и экспортировать модель с помощью пакета ultralytics:
from ultralytics import YOLO
# Инициализируй модель YOLO11 с предобученными весами
model = YOLO("yolo11n.pt")
# Эффективно обучи модель на локальном GPU или в облаке
train_results = model.train(
data="coco8.yaml",
epochs=100,
imgsz=640,
device=0, # Используй GPU с CUDA
)
# Экспортируй обученную модель в ONNX для широкого развёртывания
export_path = model.export(format="onnx")После обучения для экспорта модели YOLO11 в такие форматы, как ONNX, OpenVINO или CoreML, достаточно одной команды, поэтому одна и та же модель может работать на разных аппаратных платформах.
RTDETRv2 предназначена исключительно для обнаружения объектов с ограничивающими рамками, а YOLO11 также поддерживает сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение OBB, поэтому несколько задач компьютерного зрения можно объединить в одном семействе моделей.
Сценарии использования и рекомендации#
Выбор между YOLO11 и RT-DETR зависит от требований твоего проекта, ограничений развёртывания и предпочтений в отношении экосистемы.
Когда выбирать YOLO11#
YOLO11 — отличный выбор для следующих задач:
- Промышленное развертывание на периферийных устройствах: коммерческие приложения на устройствах вроде Raspberry Pi или NVIDIA Jetson, где особенно важны надёжность и активная поддержка.
- Приложения компьютерного зрения для решения нескольких задач: проекты, которым нужны обнаружение объектов, сегментация, классификация, оценка позы и OBB в рамках единого фреймворка.
- Быстрое прототипирование и развертывание: команды, которым нужно быстро пройти путь от сбора данных до промышленной эксплуатации с помощью удобного Python API Ultralytics.
Когда выбрать RT-DETR#
RT-DETR рекомендуется для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды только с CPU: Устройства без выделенного ускорения GPU, где инференс YOLO26 на CPU — до 43% быстрее (YOLO26n против YOLO11n), что даёт решающее преимущество.
- Обнаружение небольших объектов: сложные сценарии, например аэрофотосъемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность обнаружения небольших объектов.
Взгляд в будущее: возможности YOLO26#
YOLO11 остается надежным выбором для промышленного применения, но новые проекты стоит начинать с YOLO26. Выпущенная в январе 2026 года, YOLO26 сокращает архитектурный разрыв с трансформерами благодаря опциональной сквозной голове без NMS (nms=False), внедренной в модели YOLO с выходом YOLOv10. Эта голова устраняет задержку из-за постобработки с помощью NMS и упрощает логику развертывания.
В YOLO26 также добавлено несколько других изменений:
- Оптимизатор MuSGD: Вдохновлённый методами обучения больших языковых моделей (LLM), использованными для Kimi K2 от Moonshot AI, этот гибрид SGD и Muon обеспечивает более стабильное обучение и быструю сходимость.
- Удаление DFL: удаление Distribution Focal Loss упрощает экспорт и повышает совместимость с маломощными периферийными устройствами.
- ProgLoss + STAL: Progressive Loss и Small-Target-Aware Label Assignment (STAL) улучшают распознавание мелких объектов — это ключевое требование для наблюдения с дронов, мониторинга сельскохозяйственных угодий и периферийных датчиков IoT.
- До 43% быстрее на CPU: для развертываний без выделенных GPU YOLO26n работает на CPU до 43% быстрее, чем YOLO11n.
Чтобы ознакомиться с более широким спектром архитектур, посмотри YOLOv8, широко применяемую YOLOv5 и специализированные модели, такие как YOLO-World для обнаружения объектов с открытым словарём. Независимо от того, выберешь ли ты проверенную временем стабильность YOLO11 или более новую YOLO26, экосистема Ultralytics предоставляет инструменты для вывода твоих проектов компьютерного зрения в промышленную эксплуатацию.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.