YOLOv10 и DAMO-YOLO#

При создании современных конвейеров компьютерного зрения крайне важно правильно выбрать архитектуру для обнаружения объектов в реальном времени. В этом подробном техническом анализе мы рассматриваем архитектуры, метрики производительности и оптимальные сценарии применения YOLOv10 и DAMO-YOLO. Обе модели существенно расширяют возможности обнаружения объектов, но используют разные архитектурные подходы для достижения своих целей.

Требуется ли для твоего проекта развертывание на периферийном оборудовании для ИИ с ограниченными ресурсами или максимальная точность на облачных GPU — понимание особенностей этих архитектур поможет тебе принять обоснованное решение.

Знакомство с YOLOv10#

Представленная исследователями Университета Цинхуа, YOLOv10 произвела революцию в семействе YOLO благодаря изначально сквозному подходу, эффективно устранившему необходимость в подавлении немаксимумов (NMS) на этапе постобработки.

Подробности о YOLOv10:

• Авторы: Ao Wang, Hui Chen, Lihao Liu и др.
• Организация: Университет Цинхуа
• Дата: 2024-05-23
• Arxiv: https://arxiv.org/abs/2405.14458
• GitHub: https://github.com/THU-MIG/yolov10
• Документация: https://docs.ultralytics.com/models/yolov10

Ключевые особенности архитектуры#

Главное новшество YOLOv10 — стратегия согласованных двойных назначений для обучения без NMS. Традиционные детекторы объектов активно используют NMS для фильтрации перекрывающихся ограничивающих рамок, что приводит к непредсказуемой задержке — серьезному узкому месту в таких приложениях реального времени, как автономные транспортные средства и скоростная робототехника. Напрямую предсказывая одну оптимальную ограничивающую рамку для каждого объекта, YOLOv10 обеспечивает предсказуемый инференс с минимальной задержкой.

Кроме того, в модели используется комплексная архитектура, ориентированная на эффективность и точность. Различные компоненты архитектуры оптимизированы: например, применяются легкая голова классификации и пространственно-канальное раздельное уменьшение разрешения, что значительно сокращает избыточные вычисления. Благодаря этому архитектура требует меньше параметров и FLOPs, сохраняя конкурентоспособную среднюю точность (mAP).

Подробнее о YOLOv10

Пример использования#

YOLOv10 глубоко интегрирована в экосистему Ultralytics, поэтому ее очень просто использовать через пакет Ultralytics для Python.

from ultralytics import YOLO

# Загрузи предварительно обученную компактную модель YOLOv10
model = YOLO("yolov10n.pt")

# Обучи модель на датасете COCO8
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)

# Запусти инференс на тестовом изображении
results = model("https://ultralytics.com/images/bus.jpg")

# Экспортируй модель в формат TensorRT
model.export(format="engine", quantize=16)

Знакомство с DAMO-YOLO#

Разработанная Alibaba Group, DAMO-YOLO ориентирована на поиск высокоэффективных структур сети с помощью автоматического поиска архитектуры нейронной сети (NAS), чтобы расширить границу Парето для скорости и точности.

Сведения о DAMO-YOLO:

• Авторы: Сяньчжэ Сюй, Ици Цзян, Вэйхуа Чэнь, Илуне Хуан, Юань Чжан и Сюйюй Сунь
• Организация: Alibaba Group
• Дата: 2022-11-23
• Arxiv: https://arxiv.org/abs/2211.15444v2
• GitHub: https://github.com/tinyvision/DAMO-YOLO

Ключевые особенности архитектуры#

В DAMO-YOLO применяются несколько новых технологий для промышленных задач. В основе модели лежит базовая сеть MAE-NAS, созданная с помощью поиска на основе максимальной энтропии. Этот автоматизированный процесс подбирает структуры базовой сети, строго укладывающиеся в заданные вычислительные бюджеты и обеспечивающие оптимальный баланс точности и задержки инференса.

Кроме того, в архитектуре используется шейка Efficient RepGFPN. Эта пирамидальная сеть признаков улучшает их объединение на разных масштабах, что особенно важно для сложных задач, например анализа аэрофотоснимков, где размеры объектов сильно различаются. Для этого в DAMO-YOLO предусмотрена ZeroHead — минималистичная голова детекции, значительно упрощающая финальные слои предсказания и сокращающая затраты вычислений при инференсе.

Узнай больше о DAMO-YOLO

Сравнение производительности#

При оценке архитектур обнаружения объектов важно найти оптимальный баланс между скоростью инференса, эффективностью использования параметров и точностью обнаружения. В таблице ниже сравниваются показатели YOLOv10 и DAMO-YOLO для моделей разных размеров.

Как видно из результатов тестирования, YOLOv10 стабильно обеспечивает исключительно низкую задержку на TensorRT, особенно в компактном варианте, которому требуется значительно меньше параметров и FLOPs, чем сопоставимым моделям DAMO-YOLO. Компактный вариант DAMO-YOLO демонстрирует высокие значения mAP, но семейство YOLOv10 обладает явным преимуществом по эффективности использования параметров и задержке инференса при развертывании в условиях ограниченных ресурсов.

Сценарии использования и рекомендации#

Выбор между YOLOv10 и DAMO-YOLO зависит от конкретных требований твоего проекта, ограничений развертывания и предпочтений в отношении экосистемы.

Когда выбирать YOLOv10#

YOLOv10 — хороший выбор для:

• Детектирование в реальном времени без NMS: Приложения, которым полезно сквозное детектирование без подавления немаксимумов, что упрощает развертывание.
• Сбалансированное соотношение скорости и точности: Проекты, в которых важно найти оптимальный баланс между скоростью инференса и точностью детектирования для моделей разных размеров.
• Приложения с постоянной задержкой: Сценарии развертывания, где важны предсказуемые времена инференса, например в робототехнике или автономных системах.

Когда стоит выбрать DAMO-YOLO#

DAMO-YOLO рекомендуется для следующих задач:

• Высокопроизводительная видеоаналитика: Обработка видеопотоков с высокой частотой кадров на фиксированной инфраструктуре NVIDIA GPU, где основной показатель — пропускная способность при размере пакета 1.
• Промышленные производственные линии: Сценарии со строгими ограничениями по задержке GPU на выделенном оборудовании, например контроль качества в реальном времени на сборочных линиях.
• Исследования в области поиска нейросетевых архитектур: Изучение влияния автоматизированного поиска архитектур (MAE-NAS) и эффективных перенастраиваемых базовых сетей на качество обнаружения.

Когда выбирать Ultralytics (YOLO26)#

Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:

• Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
• Среды только с CPU: Устройства без выделенного ускорителя GPU, где до 43% более быстрый инференс YOLO26 на CPU даёт решающее преимущество.
• Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.

Преимущества Ultralytics#

Обе модели впечатляют с технической точки зрения, но при выборе архитектуры для промышленной эксплуатации важно смотреть не только на основные метрики. Использование моделей, изначально поддерживаемых экосистемой Ultralytics, дает разработчикам и исследователям уникальные преимущества.

Удобство использования и хорошо поддерживаемая экосистема#

В отличие от отдельных академических репозиториев, которые часто остаются без поддержки, Ultralytics предлагает надежную и активно развиваемую экосистему. Настройка сложных сред для моделей, активно использующих конвейеры NAS, может оказаться непростой задачей. Ultralytics же предоставляет стандартизированный, интуитивно понятный Python API и мощный CLI, а также обширную документацию. Это существенно сокращает время вывода пользовательских решений для компьютерного зрения на рынок.

Эффективность обучения и требования к памяти#

Обучение крупных моделей может быстро стать дорогостоящим с вычислительной точки зрения. Архитектуры Ultralytics YOLO традиционно отличаются низким потреблением памяти CUDA при обучении и инференсе. Благодаря такой эффективности разработчики могут обучать модели на обычном пользовательском оборудовании или недорогих облачных инстансах, не сталкиваясь с нехваткой памяти, которая часто возникает при работе с моделями на основе Transformer, например RT-DETR.

Универсальность для разных задач#

Существенный недостаток многих специализированных моделей обнаружения объектов — узкая область применения. В экосистеме Ultralytics ты не ограничен только обнаружением объектов. Инструменты без проблем подходят для различных задач компьютерного зрения, включая сегментацию экземпляров, классификацию изображений, оценку позы и обнаружение объектов с ориентированными ограничивающими рамками (OBB).

Взгляд в будущее: эволюция YOLO26#

YOLOv10 стала первопроходцем в области инференса без NMS, а DAMO-YOLO продемонстрировала возможности NAS, но компьютерное зрение развивается стремительно. Разработчикам, которым нужно самое передовое решение, мы рекомендуем обратить внимание на Ultralytics YOLO26.

Выпущенная в качестве полноценной замены YOLO11, YOLO26 основана на заложенном YOLOv10 фундаменте инференса без NMS, но значительно развивает этот подход.

Ключевые достижения YOLO26:

• Инференс на CPU ускорен до 43%: Модель специально оптимизирована для периферийных вычислений и устройств с низким энергопотреблением.
• Удаление DFL: Distribution Focal Loss удалена, что упрощает экспорт и повышает совместимость с различными целевыми платформами развертывания.
• Оптимизатор MuSGD: Гибрид SGD и Muon, который привносит в компьютерное зрение стабильность обучения LLM и ускоряет сходимость.
• ProgLoss + STAL: Значительно улучшенные функции потерь повышают точность распознавания мелких объектов, что особенно важно для таких сценариев, как сельское хозяйство и дистанционное зондирование.

С помощью обновленной платформы Ultralytics разработчики могут без лишних сложностей аннотировать данные, обучать и развертывать модели следующего поколения, такие как YOLO26, всего за несколько щелчков мышью. Это позволит создавать передовые и готовые к будущему конвейеры компьютерного зрения.