DAMO-YOLO и YOLOv10
Архитектуры для обнаружения объектов в реальном времени стремительно развиваются. DAMO-YOLO и YOLOv10 представляют две разные философии проектирования: автоматический поиск архитектуры и сквозную оптимизацию без NMS. Хотя обе модели повышают точность и скорость, их внутреннее устройство и наиболее подходящие сценарии применения существенно различаются.
DAMO-YOLO: поиск нейронной архитектуры в крупных масштабах#
DAMO-YOLO, разработанная Alibaba Group, — это модель обнаружения объектов, использующая автоматический поиск архитектуры для повышения структурной эффективности.
- Авторы: Сяньчжэ Сюй, Ици Цзян, Вэйхуа Чэнь, Илуне Хуан, Юань Чжан и Сюйюй Сунь
- Дата: 23 ноября 2022 года
- arXiv: 2211.15444v2
- GitHub: tinyvision/DAMO-YOLO
Основные особенности архитектуры#
DAMO-YOLO активно использует поиск нейронной архитектуры (NAS), чтобы найти баланс между производительностью и задержкой. Ее бэкбон MAE-NAS использует поиск с максимальной энтропией при строгих ограничениях на вычисления, чтобы подобрать оптимальные глубину и ширину слоев.
Для слияния признаков на разных масштабах модель использует эффективную RepGFPN (обобщенную пирамидальную сеть признаков с перепараметризацией). Эта архитектура с тяжелой шеей хорошо подходит для извлечения сложных пространственных иерархий, что полезно, например, при анализе аэрофотоснимков. В DAMO-YOLO также появилась ZeroHead — упрощенная голова обнаружения, значительно сокращающая сложность финальных слоев предсказаний, — и применяется процесс улучшения модели с помощью дистилляции при обучении.
DAMO-YOLO часто использует многоэтапную дистилляцию знаний. Для обучения меньшей модели-«ученика» требуется более крупная модель-«учитель», которая направляет ее работу. Это повышает mAP (среднюю точность), но существенно увеличивает необходимое время вычислений на GPU.
YOLOv10: обнаружение в реальном времени без NMS#
Выпущенная полтора года спустя YOLOv10 устранила необходимость в подавлении немаксимумов (NMS) при инференсе.
- Авторы: Ao Wang, Hui Chen, Lihao Liu и др.
- Организация: Университет Цинхуа
- Дата: 23 мая 2024 года
- arXiv: 2405.14458
- Документация: Ultralytics YOLOv10
Основные особенности архитектуры#
Главная особенность YOLOv10 — согласованные двойные назначения для обучения без NMS. Традиционные модели обнаружения предсказывают несколько перекрывающихся ограничивающих рамок для одного объекта, поэтому для фильтрации дубликатов нужна NMS. Этот этап постобработки становится узким местом, особенно на периферийных устройствах. YOLOv10 решает эту проблему, позволяя модели естественным образом предсказывать одну точную ограничивающую рамку для каждого объекта.
Авторы также сосредоточились на комплексном проектировании модели с учетом эффективности и точности. Тщательно проанализировав избыточные вычисления в существующих архитектурах, они оптимизировали бэкбон и голову, сократив количество FLOPs и параметров. Благодаря такой легковесной архитектуре YOLOv10 обеспечивает низкую задержку инференса после экспорта в такие форматы, как TensorRT и OpenVINO.
Производительность и тесты#
В таблице ниже представлены показатели производительности на наборе данных COCO. Лучшие значения в каждом столбце выделены жирным.
| Модель | размер (пиксели) | mAPval50-95 | Скорость CPU ONNX (мс) | Скорость T4 TensorRT10 (мс) | параметры (M) | FLOPs (B) |
|---|---|---|---|---|---|---|
| DAMO-YOLOt | 640 | 42.0 | - | 2.32 | 8.5 | 18.1 |
| DAMO-YOLOs | 640 | 46.0 | - | 3.45 | 16.3 | 37.8 |
| DAMO-YOLOm | 640 | 49.2 | - | 5.09 | 28.2 | 61.8 |
| DAMO-YOLOl | 640 | 50.8 | - | 7.18 | 42.1 | 97.3 |
| YOLOv10n | 640 | 38.5 | - | 1.84 | 2.3 | 6.7 |
| YOLOv10s | 640 | 46.3 | - | 2.49 | 7.2 | 21.6 |
| YOLOv10m | 640 | 51.1 | - | 4.74 | 15.4 | 59.1 |
| YOLOv10b | 640 | 52.5 | - | 5.74 | 19.1 | 92.0 |
| YOLOv10l | 640 | 53.2 | - | 7.28 | 24.4 | 120.3 |
| YOLOv10x | 640 | 54.4 | - | 10.70 | 29.5 | 160.4 |
DAMO-YOLO обеспечивает хорошую точность, но YOLOv10 точнее при сопоставимом размере модели и имеет значительно меньший объем весов модели. Например, YOLOv10s показывает чуть более высокую mAP (46,3%), чем DAMO-YOLOs (46,0%), используя менее половины количества параметров (7,2 млн против 16,3 млн). Благодаря меньшим требованиям к памяти YOLOv10 — универсальный выбор для встраиваемых систем.
Эффективность обучения и удобство использования#
При переходе от академических исследований к производству первостепенное значение имеет простота использования. Многоэтапная дистилляция и сложные конфигурации NAS в DAMO-YOLO создают высокий порог входа для инженерных команд.
В отличие от нее, YOLOv10 полностью интегрирована в пакет Ultralytics для Python. Для обучения пользовательской модели требуется минимум шаблонного кода. Ultralytics автоматически выполняет аугментацию данных, настройку гиперпараметров и отслеживание экспериментов.
from ultralytics import YOLO
# Загрузи предварительно обученную nano-модель YOLOv10
model = YOLO("yolov10n.pt")
# Обучи модель на собственном наборе данных со встроенной валидацией
results = model.train(data="coco8.yaml", epochs=100, imgsz=640)
# Запустить инференс на изображении
prediction = model("path/to/image.jpg")
prediction[0].show()Экосистема Ultralytics позволяет разработчикам перейти от прототипа к полноценной модели ONNX, готовой к экспорту, написав всего несколько строк кода и избежав сложной настройки среды, необходимой для старых фреймворков.
Примеры применения в реальных условиях#
- Умная розница (DAMO-YOLO): точность DAMO-YOLO подходит для анализа поведения покупателей в крупных серверных средах, где достаточно GPU и можно справиться с узкими местами, вызванными NMS в реальном времени.
- Автономные транспортные средства (YOLOv10): архитектура без NMS обеспечивает предсказуемую задержку, что критично для систем безопасности при автономном вождении.
- Промышленная автоматизация (YOLOv10): обнаружение дефектов на быстро движущихся сборочных линиях требует моделей, которые обеспечивают максимальную скорость инференса в реальном времени, не расходуя много VRAM. Поэтому YOLOv10 — отличный кандидат для развертывания на периферии.
Сценарии использования и рекомендации#
Выбор между DAMO-YOLO и YOLOv10 зависит от требований конкретного проекта, ограничений среды развертывания и предпочтений в отношении экосистемы.
Когда стоит выбрать DAMO-YOLO#
DAMO-YOLO — хороший выбор для:
- Высокопроизводительная видеоаналитика: Обработка видеопотоков с высокой частотой кадров на фиксированной инфраструктуре NVIDIA GPU, где основной показатель — пропускная способность при размере пакета 1.
- Промышленные производственные линии: Сценарии со строгими ограничениями по задержке GPU на выделенном оборудовании, например контроль качества в реальном времени на сборочных линиях.
- Исследования в области поиска нейросетевых архитектур: Изучение влияния автоматизированного поиска архитектур (MAE-NAS) и эффективных перенастраиваемых базовых сетей на качество обнаружения.
Когда выбирать YOLOv10#
YOLOv10 рекомендуется для таких задач:
- Детектирование в реальном времени без NMS: Приложения, которым полезно сквозное детектирование без подавления немаксимумов, что упрощает развертывание.
- Сбалансированное соотношение скорости и точности: Проекты, в которых важно найти оптимальный баланс между скоростью инференса и точностью детектирования для моделей разных размеров.
- Приложения с постоянной задержкой: Сценарии развертывания, где важны предсказуемые времена инференса, например в робототехнике или автономных системах.
Когда выбирать Ultralytics (YOLO26)#
Для большинства новых проектов Ultralytics YOLO26 предлагает оптимальное сочетание производительности и удобства разработки:
- Развертывание на периферийных устройствах без NMS: Приложения, которым необходим стабильный инференс с низкой задержкой без усложнения постобработки подавлением немаксимумов.
- Среды только с CPU: устройства без выделенного GPU-ускорителя, где инференс YOLO26 (YOLO26n по сравнению с YOLO11n) до 43% быстрее, что дает явное преимущество.
- Обнаружение небольших объектов: Сложные сценарии, например съёмка с дронов или анализ данных IoT-датчиков, где ProgLoss и STAL заметно повышают точность обнаружения крошечных объектов.
Следующее поколение: встречай Ultralytics YOLO26#
YOLOv10 заложила основу для обнаружения объектов без NMS, но технология быстро развивается. Для современных приложений модель Ultralytics YOLO26 сочетает высокую производительность и удобство, развивая лучшие идеи предыдущих поколений для промышленного использования.
В YOLO26 предусмотрен встроенный сквозной режим (nms=False), который пропускает постобработку с NMS и упрощает конвейеры развертывания на периферийных устройствах. Удаление Distribution Focal Loss (DFL) также улучшает совместимость с маломощным оборудованием для периферийного ИИ.
В YOLO26 появился оптимизатор MuSGD — гибридный оптимизатор, вдохновленный методами обучения больших языковых моделей (LLM), для более стабильного обучения и быстрой сходимости. В сочетании с ProgLoss + STAL (прогрессивной функцией потерь и стратегией назначения меток с учетом малых объектов) YOLO26 лучше распознает небольшие объекты, что особенно важно для охраны дикой природы и эксплуатации дронов.
YOLO26 — это не только детектор объектов. Модель предлагает специализированные улучшения для разных задач и изначально поддерживает сегментацию экземпляров, оценку позы с помощью оценки остаточного логарифмического правдоподобия (RLE) и специализированные функции потерь для угла в ориентированных ограничивающих рамках (OBB). YOLO26n работает на CPU до 43% быстрее YOLO11n, поэтому это рекомендуемый выбор для динамичных инженерных команд.
Для централизованного управления, аннотирования и облачного обучения моделей YOLO26 платформа Ultralytics предлагает интуитивно понятный интерфейс, упрощающий весь цикл разработки решений для компьютерного зрения.
Разработчикам, желающим изучить другие недавние достижения, стоит также оценить Ultralytics YOLO11 и фреймворк на основе Transformer RT-DETR — для сценариев, требующих иных архитектурных решений.
Комментарии
Задай вопрос, поделись результатами или помоги кому-нибудь.