YOLOv8 и RTDETRv2
Ландшафт компьютерного зрения постоянно меняется, а новые архитектуры расширяют возможности обнаружения объектов в реальном времени. Две заметные модели, привлекшие значительное внимание, — Ultralytics YOLOv8 и RTDETRv2 от Baidu. В этом руководстве приводится техническое сравнение моделей, их архитектур, метрик производительности и оптимальных сценариев развертывания.
Обзор YOLOv8#
Ultralytics YOLOv8 — важная веха в семействе моделей YOLO (смотришь только один раз), сочетающая скорость, точность и простоту использования для широкого спектра задач.
Основные характеристики:
- Авторы: Glenn Jocher, Ayush Chaurasia и Jing Qiu
- Организация: Ultralytics
- Дата: 10 января 2023 года
- GitHub: Репозиторий Ultralytics
- Документация: Документация YOLOv8
Архитектура и сильные стороны#
В YOLOv8 представлена упрощенная архитектура, оптимизирующая извлечение признаков и регрессию ограничивающих рамок. Это детектор без анкеров, который упрощает голову предсказаний и сокращает количество настроек гиперпараметров, необходимых во время обучения. Благодаря этому YOLOv8 обеспечивает удачный баланс между скоростью инференса и средней точностью (mAP), что делает ее подходящей для развертывания в реальных условиях — как на периферийных устройствах, так и на облачных серверах.
Кроме того, во время обучения YOLOv8 требует меньше памяти, чем архитектуры на основе Transformer, поэтому разработчики могут обучать модели на обычных потребительских GPU, не сталкиваясь с нехваткой памяти.
Универсальность#
Одно из главных преимуществ YOLOv8 — универсальность, доступная из коробки. В то время как многие модели специализируются только на ограничивающих рамках, YOLOv8 изначально поддерживает обнаружение объектов, сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение повернутых ограничивающих рамок (OBB).
Обзор RTDETRv2#
RTDETRv2 (Transformer для обнаружения объектов в реальном времени, версия 2) развивает идеи оригинальной модели RT-DETR, стремясь перенести механизмы внимания из Vision Transformers в приложения для обнаружения объектов в реальном времени.
Основные характеристики:
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: 2407.17140
- GitHub: Репозиторий RT-DETR
- Документация: README RTDETRv2
Архитектура и сильные стороны#
RTDETRv2 использует гибридную архитектуру, объединяющую основу сверточной нейронной сети (CNN) со структурой кодировщика-декодировщика Transformer. Благодаря механизмам самовнимания модель может учитывать сложные пространственные взаимосвязи и глобальный контекст. Применяя набор стратегий обучения «bag-of-freebies», RTDETRv2 достигает конкурентных показателей mAP на стандартных эталонных наборах данных, таких как набор данных COCO.
Недостатки#
Несмотря на высокую точность, архитектура RTDETRv2 на основе Transformer приводит к большему потреблению памяти и более длительному обучению по сравнению с чистыми архитектурами CNN. Transformer обычно требуют больше VRAM, что затрудняет обучение на оборудовании с ограниченными ресурсами. Кроме того, хотя RTDETRv2 хорошо справляется с обнаружением объектов, в ней нет поддержки нескольких задач (например, сегментации и оценки позы), встроенной в экосистему Ultralytics.
Сравнение производительности#
При выборе моделей для промышленной эксплуатации важно учитывать компромисс между размером модели, скоростью инференса и точностью. В таблице ниже напрямую сравниваются варианты YOLOv8 и RTDETRv2.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| YOLOv8n | 640 | 37.3 | 80.4 | 1.47 | 3.2 | 8.7 |
| YOLOv8s | 640 | 44.9 | 128.4 | 2.66 | 11.2 | 28.6 |
| YOLOv8m | 640 | 50.2 | 234.7 | 5.86 | 25.9 | 78.9 |
| YOLOv8l | 640 | 52.9 | 375.2 | 9.06 | 43.7 | 165.1 |
| YOLOv8x | 640 | 53.9 | 479.1 | 14.37 | 68.2 | 257.8 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
Сценарии использования и рекомендации#
Выбор между YOLOv8 и RT-DETR зависит от конкретных требований проекта, ограничений на развертывание и предпочтений в отношении экосистемы.
Когда выбрать YOLOv8#
YOLOv8 — хороший выбор для:
- Универсальное развёртывание для нескольких задач: Проекты, которым нужна проверенная модель для обнаружения объектов, сегментации, классификации и оценки позы в экосистеме Ultralytics.
- Уже работающие системы: существующие промышленные среды, построенные на архитектуре YOLOv8 и использующие стабильные, тщательно проверенные конвейеры развертывания.
- Широкая поддержка сообщества и экосистемы: приложения, которым помогают многочисленные руководства по YOLOv8, сторонние интеграции и активное сообщество.
Когда выбрать RT-DETR#
RT-DETR рекомендуется для:
- Исследования обнаружения на основе Transformer: проекты, изучающие механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды, работающие только на CPU: устройства без выделенного ускорения на GPU, на которых преимущество YOLO26n особенно заметно: инференс на CPU выполняется до 43% быстрее, чем у YOLO11n.
- Обнаружение мелких объектов: сложные сценарии, например съемка с дронов или анализ данных датчиков IoT, где ProgLoss и STAL повышают точность распознавания крошечных объектов.
Преимущества Ultralytics#
При выборе модели важны не только основные метрики: окружающая программная экосистема играет ключевую роль в производительности разработчиков. Экосистема Ultralytics разработана для простоты использования и предоставляет унифицированный Python API, который упрощает весь жизненный цикл машинного обучения.
От управления наборами данных до распределенного обучения — Ultralytics берет на себя сложный шаблонный код. Разработчикам доступны предварительно обученные веса и интеграции с платформами вроде Hugging Face и инструментами мониторинга экспериментов. Экосистема активно развивается и регулярно обновляется, а за ней стоит большое сообщество.
Модели Ultralytics YOLO также оптимизированы для быстрой сходимости и меньшего потребления памяти в процессе обучения, что позволяет быстрее проводить эксперименты, чем с детекторами на основе Transformer, такими как RTDETRv2.
Взгляд в будущее: возможности YOLO26#
YOLOv8 остается мощной моделью, но для новых проектов Ultralytics рекомендует выпущенную в январе 2026 года YOLO26, которая предлагает несколько улучшений:
- Сквозной дизайн без NMS: необязательная голова one-to-one в YOLO26 (
nms=False) устраняет постобработку с подавлением немаксимумов (NMS), обеспечивая более быстрое и детерминированное развертывание. - Удаление DFL: отказ от Distribution Focal Loss упрощает модель и улучшает совместимость с периферийными устройствами и устройствами с низким энергопотреблением.
- Оптимизатор MuSGD: созданный под влиянием обучения LLM, MuSGD (гибрид SGD и Muon) обеспечивает более стабильное обучение и более быструю сходимость.
- Инференс на CPU до 43% быстрее: YOLO26n выполняет инференс в ONNX на CPU до 43% быстрее YOLO11n и хорошо подходит для сред без выделенных GPU.
- ProgLoss + STAL: Progressive Loss и Small-Target-Aware Label Assignment заметно улучшают распознавание мелких объектов, что особенно важно для аэрофотосъёмки и робототехники.
К другим современным альтернативам из линейки Ultralytics, которые стоит изучить, относится YOLO11. Она остается хорошим вариантом для существующих проектов, хотя для новых развертываний рекомендуется YOLO26.
Пример кода: обучение и инференс#
Благодаря простоте API Ultralytics для загрузки, обучения и развертывания моделей достаточно всего нескольких строк кода на Python. Перед запуском примера ниже установи PyTorch.
from ultralytics import YOLO
# Загружаем предварительно обученную небольшую модель YOLOv8
model = YOLO("yolov8s.pt")
# Обучи модель на собственном датасете
# Экономное использование памяти при обучении позволяет увеличить размер батча
train_results = model.train(data="coco8.yaml", epochs=50, imgsz=640, batch=16)
# Запусти инференс на тестовом изображении
results = model("https://ultralytics.com/images/bus.jpg")
# Отобрази результаты
results[0].show()
# Экспортируй модель для развертывания на периферийных устройствах
export_path = model.export(format="onnx")Ultralytics поддерживает экспорт одной командой во множество форматов, включая ONNX, TensorRT и CoreML, упрощая варианты развертывания моделей на разных аппаратных архитектурах.
Заключение#
И YOLOv8, и RTDETRv2 обладают широкими возможностями для обнаружения объектов в реальном времени. RTDETRv2 показывает, как Transformer учитывают глобальный контекст, поэтому модель подходит для сложных задач пространственного анализа, где скорость инференса и затраты памяти не являются главными ограничениями.
Однако разработчикам, которым важен баланс скорости, точности и эффективности использования ресурсов, практичнее выбрать модели Ultralytics YOLO. Легкая архитектура YOLOv8, простота использования, поддержка нескольких задач и активная экосистема с открытым исходным кодом делают ее подходящей для масштабируемых промышленных систем. Для максимальной производительности на периферийных устройствах YOLO26 обеспечивает инференс без NMS и более высокую скорость CPU.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.