Начать

RTDETRv2 и EfficientDet

Выбор оптимальной архитектуры нейронной сети — ключевое решение для любого проекта в области компьютерного зрения. В этом техническом сравнении рассматриваются две заметные модели обнаружения объектов: RTDETRv2, трансформерный детектор реального времени, и EfficientDet, хорошо масштабируемая сверточная нейронная сеть. В руководстве оцениваются архитектуры, показатели производительности, методы обучения и наиболее подходящие сценарии развертывания, чтобы помочь тебе принимать решения для конвейеров ИИ на основе данных.

RTDETRv2: Transformer для обнаружения объектов в реальном времени#

Развивая успех оригинальной RT-DETR, RTDETRv2 совершенствует подход к обнаружению объектов на основе Transformer. Оптимизация структуры энкодера и декодера обеспечивает высокую точность при сохранении скорости инференса в реальном времени, эффективно сокращая разрыв между традиционными CNN и визуальными Transformer.

Сведения о модели

Архитектура и основные преимущества#

RTDETRv2 использует гибридную архитектуру, объединяющую мощную основу CNN (обычно ResNet или HGNet) с эффективным трансформерным декодером. Главная особенность RTDETRv2 — встроенная возможность обходиться без подавления немаксимумов (NMS). Традиционным детекторам требуется NMS для отсеивания дублирующихся ограничивающих рамок, что приводит к переменной задержке инференса при постобработке. RTDETRv2 представляет обнаружение объектов как задачу прямого предсказания набора и использует двудольное сопоставление для получения уникальных предсказаний.

Эта модель лучше всего подходит для развертывания на сервере, где достаточно памяти GPU. Механизм глобального внимания хорошо учитывает контекст, поэтому модель подходит для разделения перекрывающихся объектов в плотных и загруженных сценах, например в автоматизированных системах охранной сигнализации или при наблюдении за большими скоплениями людей.

Ограничения#

Несмотря на высокую мощность, трансформерные архитектуры по своей природе требуют при обучении больше памяти CUDA, чем стандартные CNN. Кроме того, тонкая настройка RTDETRv2 может дольше сходиться на новых данных для обучения, поэтому быстрое прототипирование требует больше ресурсов.

Узнай больше о RTDETRv2

EfficientDet: масштабируемые и эффективные CNN#

EfficientDet — это семейство моделей обнаружения объектов, оптимизированных для точности и эффективности при широком спектре ограничений ресурсов. Эта архитектура остаётся классическим примером масштабируемого дизайна машинного зрения.

Сведения о модели

Архитектура и основные преимущества#

Инновации EfficientDet основаны на двух ключевых элементах: двунаправленной пирамидальной сети признаков (BiFPN) и методе комплексного масштабирования. BiFPN обеспечивает простое и быстрое извлечение признаков разных масштабов: обучаемые веса помогают модели учитывать важность входных признаков, а их слияние повторно выполняется сверху вниз и снизу вверх. Метод комплексного масштабирования одновременно и равномерно изменяет разрешение, глубину и ширину сети.

Модели EfficientDet варьируются от компактной D0 до гораздо более крупной D7. Благодаря этому они подходят для развертывания ИИ на периферийных устройствах, где разработчикам нужно находить баланс между жесткими ограничениями вычислительных ресурсов и требованиями к точности, например в ранних мобильных приложениях дополненной реальности.

Ограничения#

EfficientDet — более старая архитектура, которая активно использует якорные рамки и традиционный конвейер постобработки NMS. Генерация якорей требует тщательной настройки гиперпараметров, а этап NMS может стать узким местом при развертывании на встроенном оборудовании, например на Raspberry Pi. Кроме того, модель изначально не поддерживает современные задачи, такие как оценка позы и ориентированные ограничивающие рамки (OBB).

Подробнее об EfficientDet

Сравнение производительности и метрик#

Чтобы понять точный компромисс между этими моделями, нужно проанализировать пропускную способность и эффективность использования параметров. В таблице ниже сравниваются современная серия RTDETRv2 и масштабируемое семейство EfficientDet.

Модельразмер
(пиксели)
mAPval50-95Скорость
CPU ONNX
(мс)
Скорость
T4 TensorRT10
(мс)
параметры
(M)
FLOPs
(B)
RTDETRv2-s64048.1-5.032060
RTDETRv2-m64051.9-7.5136100
RTDETRv2-l64053.4-9.7642136
RTDETRv2-x64054.3-15.0376259
EfficientDet-d051234.6-3.923.92.54
EfficientDet-d164040.5-7.316.66.1
EfficientDet-d276843.0-10.928.111.0
EfficientDet-d389647.5-19.5912.024.9
EfficientDet-d4102449.7-33.5520.755.2
EfficientDet-d5128051.5-67.8633.7130.0
EfficientDet-d6128052.6-89.2951.9226.0
EfficientDet-d7153653.7-128.0751.9325.0

Как видно выше, RTDETRv2 не уступает моделям EfficientDet сопоставимого размера или превосходит их по средней точности (mAP), при этом работает на GPU намного быстрее (например, 53.4 mAP за 9.76 мс у RTDETRv2-l против 52.6 mAP за 89.29 мс у EfficientDet-d6), используя трансформерную архитектуру для повышения точности.

Сценарии использования и рекомендации#

Выбор между RT-DETR и EfficientDet зависит от конкретных требований проекта, ограничений развертывания и предпочтительной экосистемы.

Когда выбрать RT-DETR#

RT-DETR — отличный выбор для:

  • Исследований обнаружения на основе Transformer: Проектов, в которых изучаются механизмы внимания и архитектуры Transformer для сквозного обнаружения объектов без NMS.
  • Сценариев с высокой точностью и гибкими требованиями к задержке: Приложений, где точность обнаружения важнее всего, а немного большая задержка инференса допустима.
  • Обнаружения крупных объектов: Сцен, в которых преобладают объекты среднего и крупного размера, а механизм глобального внимания Transformer даёт естественное преимущество.

Когда стоит выбрать EfficientDet#

EfficientDet подойдёт для следующих задач:

  • Конвейеры Google Cloud и TPU: системы на базе TensorFlow в инфраструктуре Google Cloud TPU, где эталонная реализация EfficientDet поддерживает обучение на TPU.
  • Исследования составного масштабирования: Академические исследования и сравнительное тестирование, посвящённые влиянию сбалансированного масштабирования глубины, ширины и разрешения сети.
  • Развертывание на мобильных устройствах через LiteRT: Проекты, для которых требуется экспорт в LiteRT (ранее TensorFlow Lite) для Android или встраиваемых устройств с Linux.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:

  • Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
  • Среды только с CPU: устройства без выделенного ускорителя GPU, на которых YOLO26n получает явное преимущество благодаря инференсу на CPU до 43% быстрее, чем у YOLO11n.
  • Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.

Альтернатива от Ultralytics#

И RTDETRv2, и EfficientDet обладают весомыми преимуществами, однако современной разработке ИИ нужны платформы, сочетающие высокую производительность с удобным опытом разработчика. Экосистема Ultralytics предлагает значительно более оптимизированный подход к задачам компьютерного зрения.

Если ты изучаешь современные варианты обнаружения объектов, недавно выпущенная Ultralytics YOLO26 объединяет лучшие стороны CNN и трансформеров.

Почему стоит выбрать YOLO26?

YOLO26 реализует опциональную сквозную архитектуру без NMS (nms=False), перенося простоту развертывания RTDETRv2 в эффективную архитектуру YOLO. Кроме того, модель использует оптимизатор MuSGD, вдохновленный методами обучения LLM, для повышения стабильности обучения. Благодаря удалению DFL (Distribution Focal Loss удалена, чтобы упростить экспорт и повысить совместимость с периферийными устройствами и устройствами с низким энергопотреблением) YOLO26n обеспечивает инференс на CPU до 43% быстрее, чем YOLO11n, и отлично подходит для периферийных вычислений по сравнению с более тяжелыми моделями. ProgLoss + STAL (Progressive Loss и назначение меток с учетом небольших объектов) также заметно улучшают распознавание мелких объектов, что важно для Интернета вещей, робототехники и аэросъемки.

Пакет Ultralytics для Python создан для удобства использования. Разработчики могут обучать модели, проверять их и экспортировать модели через интуитивно понятный API, который избавляет от шаблонного кода, обычно необходимого при работе с исследовательскими репозиториями.

from ultralytics import RTDETR

# Загрузи предварительно обученную модель RT-DETR из экосистемы Ultralytics
model = RTDETR("rtdetr-l.pt")

# Обучи модель на датасете COCO8
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Экспортируй модель для оптимизированной инференции на TensorRT
model.export(format="engine")

Модели Ultralytics изначально поддерживают множество задач, включая сегментацию экземпляров и классификацию изображений, что делает их универсальным инструментом для различных отраслей. Удаление Distribution Focal Loss (DFL) в современных моделях Ultralytics также упрощает вычислительный граф и облегчает экспорт на встроенные NPU и TPU.

Для разметки данных и управления моделями Ultralytics Platform предлагает полноценную облачную среду для всего жизненного цикла машинного обучения, что делает ее отличным выбором для развертывания в промышленной эксплуатации надежных решений в области компьютерного зрения.

Участники

Комментарии

Задай вопрос, поделись результатами или помоги кому-нибудь.