EfficientDet и RTDETRv2
Выбор оптимальной архитектуры для проектов в области компьютерного зрения требует ориентироваться в разнообразии нейронных сетей. В этом руководстве сравниваются два разных подхода: семейство EfficientDet — масштабируемые сверточные нейронные сети (CNN) — и RTDETRv2, трансформерный детектор реального времени. Рассматриваются их структурные различия, методы обучения и пригодность для развертывания на различных типах оборудования.
Понимание компромисса между эффективностью ранних CNN и возможностями современных Transformer помогает разработчикам принимать обоснованные решения. В руководстве также объясняется, как Ultralytics YOLO26 сокращает этот разрыв с помощью быстрых, точных и простых в использовании моделей.
Знакомство с EfficientDet#
EfficientDet усовершенствовала обнаружение объектов, предложив продуманный подход к масштабированию моделей.
- Авторы: Mingxing Tan, Ruoming Pang и Quoc V. Le
- Организация: Google
- Дата: 20 ноября 2019 года
- arXiv: https://arxiv.org/abs/1911.09070
- GitHub: Репозиторий Google AutoML
- Документация: документация EfficientDet
Архитектура и основные концепции#
В основе EfficientDet лежит EfficientNet, используемая в качестве базовой сети, и двунаправленная сеть пирамиды признаков (BiFPN). BiFPN обеспечивает быстрое слияние признаков разных масштабов: обучаемые веса помогают учитывать важность различных входных признаков. Вместе с этим применяется метод составного масштабирования, который одновременно и равномерно изменяет разрешение, глубину и ширину базовой сети, сети признаков и сетей предсказания рамок и классов.
Сильные стороны и ограничения#
Главное преимущество EfficientDet — эффективность использования параметров. На момент выпуска такие модели, как EfficientDet-D0, обеспечивали более высокую точность при меньшем количестве параметров и FLOPs по сравнению с предыдущими версиями YOLO. Благодаря этому модель была привлекательна для сред с жесткими ограничениями на вычислительные ресурсы.
Однако на этапе постобработки EfficientDet использует стандартное подавление немаксимумов (NMS) для фильтрации перекрывающихся ограничивающих рамок, что может стать причиной задержек в конвейерах реального времени. Хотя процесс обучения хорошо документирован, тонкая настройка EfficientDet может быть сложной по сравнению с удобными современными инструментами для разработчиков.
EfficientDet проложила путь к масштабируемым сетям, однако развертывание этих моделей на современных NPU часто требует масштабной ручной оптимизации. Более новые модели Ultralytics упрощают развертывание благодаря экспорту одним щелчком.
Рассмотрим RTDETRv2#
RTDETRv2 — это дальнейшее развитие детекторов на основе Transformer, отходящее от традиционных CNN с якорями.
- Авторы: Wenyu Lv, Yian Zhao, Qinyao Chang, Kui Huang, Guanzhong Wang и Yi Liu
- Организация: Baidu
- Дата: 2024-07-24
- arXiv: https://arxiv.org/abs/2407.17140
- GitHub: Репозиторий RT-DETR
- Документация: документация RTDETRv2
Усовершенствования Transformer#
RTDETRv2 развивает базовую архитектуру трансформера обнаружения объектов в реальном времени (RT-DETR). Модель использует механизмы глобального внимания, благодаря чему понимает сложный контекст сцены без ограничений локализованных сверток. Главное архитектурное преимущество — изначально безанкорная конструкция без NMS. Модель предсказывает объекты непосредственно по входному изображению, упрощая конвейер инференса и избавляя от эвристической настройки, необходимой для постобработки NMS.
Преимущества и недостатки#
RTDETRv2 хорошо показывает себя в условиях высокой плотности объектов, где перекрытия сбивают с толку традиционные CNN. Модель демонстрирует высокую точность на сложных тестовых наборах данных, таких как COCO.
Несмотря на высокую точность, модели Transformer требуют значительного объема памяти. Эффективность обучения заметно ниже: для сходимости им нужно существенно больше эпох и больше памяти CUDA, чем CNN. Поэтому RTDETRv2 хуже подходит разработчикам с ограниченным облачным бюджетом или тем, кому нужно быстро создавать прототипы.
Для обучения моделей Transformer, таких как RTDETRv2, обычно требуются мощные GPU. Если возникают ошибки нехватки памяти (OOM), рассмотрим модели, которым при обучении нужно меньше памяти, например семейство Ultralytics YOLO.
Сравнение результатов тестирования производительности#
Для выбора модели важно понимать фактические метрики производительности. В таблице ниже сравниваются EfficientDet и RTDETRv2 разных размеров.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| EfficientDet-d0 | 512 | 34.6 | - | 3.92 | 3.9 | 2.54 |
| EfficientDet-d1 | 640 | 40.5 | - | 7.31 | 6.6 | 6.1 |
| EfficientDet-d2 | 768 | 43.0 | - | 10.92 | 8.1 | 11.0 |
| EfficientDet-d3 | 896 | 47.5 | - | 19.59 | 12.0 | 24.9 |
| EfficientDet-d4 | 1024 | 49.7 | - | 33.55 | 20.7 | 55.2 |
| EfficientDet-d5 | 1280 | 51.5 | - | 67.86 | 33.7 | 130.0 |
| EfficientDet-d6 | 1280 | 52.6 | - | 89.29 | 51.9 | 226.0 |
| EfficientDet-d7 | 1536 | 53.7 | - | 128.07 | 51.9 | 325.0 |
| RTDETRv2-s | 640 | 48.1 | - | 5.03 | 20 | 60 |
| RTDETRv2-m | 640 | 51.9 | - | 7.51 | 36 | 100 |
| RTDETRv2-l | 640 | 53.4 | - | 9.76 | 42 | 136 |
| RTDETRv2-x | 640 | 54.3 | - | 15.03 | 76 | 259 |
Сценарии использования и рекомендации#
Выбор между EfficientDet и RT-DETR зависит от требований твоего проекта, ограничений развертывания и предпочтений в отношении экосистемы.
Когда стоит выбрать EfficientDet#
EfficientDet — хороший выбор для:
- Конвейеры Google Cloud и TPU: системы на базе TensorFlow в инфраструктуре Google Cloud TPU, где эталонная реализация EfficientDet поддерживает обучение на TPU.
- Исследования составного масштабирования: Академические исследования и сравнительное тестирование, посвящённые влиянию сбалансированного масштабирования глубины, ширины и разрешения сети.
- Развертывание на мобильных устройствах через LiteRT: Проекты, для которых требуется экспорт в LiteRT (ранее TensorFlow Lite) для Android или встраиваемых устройств с Linux.
Когда выбрать RT-DETR#
RT-DETR рекомендуется для:
- Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
- Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
- Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает лучшее сочетание производительности и удобства для разработчиков:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды только с CPU: устройства без выделенного ускорителя GPU, на которых YOLO26n получает явное преимущество благодаря инференсу на CPU до 43% быстрее, чем у YOLO11n.
- Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.
Преимущества Ultralytics: знакомство с YOLO26#
EfficientDet и RTDETRv2 заняли свое место в истории компьютерного зрения, но современным производственным средам необходимы баланс скорости и точности, а также удобство для разработчиков. Недавно выпущенная Ultralytics YOLO26 сочетает лучшие стороны этих разных архитектур.
YOLO26 выделяется тем, что объединяет упрощенную экосистему, которой известна Ultralytics, с рядом архитектурных улучшений.
Почему стоит выбрать YOLO26 вместо конкурентов?#
- Сквозная архитектура без NMS: Как и Transformer-модели, например RTDETRv2, YOLO26 предлагает голову для сквозного инференса (
nms=False), которая устраняет постобработку NMS и позволяет создавать более быстрые и простые конвейеры развертывания без большого количества параметров, характерного для чистых моделей Transformer. - Оптимизатор MuSGD: Вдохновленная методами обучения больших языковых моделей (например, подходами, лежащими в основе Kimi K2 от Moonshot AI), YOLO26 использует гибрид SGD и Muon. Он обеспечивает стабильное обучение и более быструю сходимость по сравнению с длительными циклами обучения RTDETRv2.
- Оптимизация для периферийных устройств: YOLO26n работает на CPU до 43% быстрее YOLO11n, поэтому YOLO26 создана для периферийного ИИ. Она превосходит тяжелые модели Transformer на устройствах с ограниченными ресурсами, таких как телефоны и интеллектуальные камеры.
- Удаление DFL: Удаление Distribution Focal Loss упрощает граф модели и облегчает экспорт в TensorRT и ONNX.
- ProgLoss + STAL: Прогрессивная функция потерь и назначение меток с учетом малых объектов заметно улучшают распознавание небольших объектов, устраняя распространенное узкое место при анализе аэрофотоснимков и в робототехнике.
- Универсальность: В отличие от RTDETRv2, ориентированной преимущественно на обнаружение объектов, YOLO26 изначально поддерживает сегментацию экземпляров, классификацию изображений, оценку позы и ориентированные ограничивающие рамки (OBB), а также улучшения для отдельных задач, например RLE для оценки позы и специализированную функцию потерь угла для OBB.
Используя Ultralytics Platform, ты можешь управлять наборами данных, обучать в облаке такие модели, как YOLO26 или YOLO11, и развертывать их через гибкие API.
Простота кода с Ultralytics#
Хорошо поддерживаемый Python API Ultralytics упрощает обучение моделей и инференс. Разработчики могут легко сравнивать модели или запускать скрипты обучения без большого объема шаблонного кода.
from ultralytics import YOLO
# Загружаем модель YOLO26
model = YOLO("yolo26n.pt")
# Обучи модель на собственном датасете
results = model.train(data="coco8.yaml", epochs=50, imgsz=640)
# Запусти инференс на тестовом изображении
predictions = model.predict("image.jpg")Для тех, кто поддерживает устаревшую инфраструктуру, широко используемая Ultralytics YOLOv8 остается стабильным выбором и подтверждает долгосрочную надежность экосистемы Ultralytics. Запускаешь ли ты сложные алгоритмы отслеживания объектов в реальном времени или простую систему обнаружения дефектов, переход на YOLO26 поможет сохранить точность, эффективно использовать память и не отставать от новых технологий.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.