Экспорт DEEPX для моделей Ultralytics YOLO#

Развертывание моделей компьютерного зрения на специализированном аппаратном обеспечении NPU требует совместимого и оптимизированного формата моделей. Экспорт моделей Ultralytics YOLO в формат DEEPX обеспечивает эффективный инференс с квантованием INT8 на ускорителях DEEPX NPU. В этом руководстве описано, как конвертировать модели YOLO в формат DEEPX и развертывать их на оборудовании с поддержкой DEEPX.

Что такое DEEPX?#

DEEPX — это компания по производству полупроводников для ИИ, специализирующаяся на нейронных процессорах (NPU), разработанных для энергоэффективного инференса deep learning на периферии (edge). Чипы DEEPX NPU созданы для требовательных встраиваемых и промышленных приложений ИИ, обеспечивая высокую пропускную способность при минимальном энергопотреблении. Их аппаратное обеспечение отлично подходит для сценариев развертывания, где облачное подключение ненадежно или нежелательно, таких как робототехника, умные камеры и системы промышленной автоматизации.

Формат экспорта DEEPX#

В результате экспорта в DEEPX создается скомпилированный бинарный файл модели .dxnn, оптимизированный для выполнения на аппаратном обеспечении DEEPX NPU. Конвейер компиляции использует инструментарий dx_com для выполнения квантования INT8 и специфичной для железа оптимизации, создавая самодостаточный каталог модели, готовый к развертыванию.

Ключевые особенности моделей DEEPX#

Модели DEEPX предлагают несколько преимуществ для периферийного развертывания:

• Квантование INT8: Модели квантуются до точности INT8 во время экспорта, что значительно уменьшает размер модели и максимизирует пропускную способность NPU. Узнай больше о квантовании моделей.
• Оптимизация под NPU: Формат .dxnn специально скомпилирован для аппаратного обеспечения DEEPX NPU с использованием специализированных блоков ускорения для быстрого и эффективного инференса.
• Низкое энергопотребление: Перенос вычислений на NPU позволяет моделям DEEPX потреблять гораздо меньше энергии, чем при выводе на CPU или GPU.
• Точность на основе калибровки: При экспорте используется калибровка на основе EMA с изображениями из реального набора данных для минимизации потери точности при квантовании.
• Автономный вывод: Экспортируемая директория модели объединяет скомпилированный бинарный файл, конфигурацию калибровки и метаданные для удобного развертывания.

Поддерживаемые задачи#

Экспорт DEEPX поддерживает все семь задач Ultralytics. Семантическая сегментация и оценка глубины доступны только с YOLO26, единственным семейством, в котором есть эти головы.

Экспорт в DEEPX: преобразование твоей модели YOLO#

Экспортируй модель Ultralytics YOLO в формат DEEPX и запускай вывод с помощью экспортированной модели.

Установка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO
pip install ultralytics

Пакет компилятора dx_com будет автоматически установлен из репозитория DEEPX SDK при первом экспорте. Подробные инструкции и лучшие практики, связанные с процессом установки, можно найти в нашем руководстве по установке Ultralytics. Если при установке необходимых пакетов для YOLO ты столкнешься с какими-либо трудностями, обратись к нашему руководству по частым проблемам за решениями и советами.

Использование#

Формат DEEPX поддерживает режимы Export, Predict и Validate. Инференс и валидация выполняются на аппаратном обеспечении DEEPX NPU. Экспортируй модель, а затем загрузи ее для запуска инференса или проверки точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to DEEPX format (quantize=8 is enforced automatically)
model.export(format="deepx")  # creates 'yolo26n_deepx_model/'

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported DEEPX model
model = YOLO("yolo26n_deepx_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Аргументы экспорта#

Дополнительную информацию о процессе экспорта см. на странице документации Ultralytics по экспорту.

Структура вывода#

После успешного экспорта создается директория модели со следующей структурой:

yolo26n_deepx_model/
├── yolo26n.dxnn     # Compiled DEEPX model binary (NPU executable)
├── config.json      # Calibration and preprocessing configuration
└── metadata.yaml    # Model metadata (classes, image size, task, etc.)

Файл .dxnn — это скомпилированный бинарный файл модели, который среда выполнения dx_engine загружает непосредственно на NPU. metadata.yaml содержит имена классов, размер изображения и другую информацию, используемую конвейером инференса Ultralytics.

Развертывание экспортированных моделей YOLO DEEPX#

Как только ты успешно экспортировал свою модель Ultralytics YOLO в формат DEEPX, следующим шагом будет развертывание этих моделей на NPU-оборудовании DEEPX.

Установка среды выполнения#

Для инференса требуются драйвер DEEPX NPU, среда выполнения libdxrt и Python-пакет dx_engine.

# Install the NPU driver and libdxrt runtime
sudo apt update
wget https://github.com/DEEPX-AI/dx_rt_npu_linux_driver/raw/main/release/2.4.1/dxrt-driver-dkms_2.4.1-2_all.deb
sudo apt install ./dxrt-driver-dkms_2.4.1-2_all.deb
wget https://github.com/DEEPX-AI/dx_rt/raw/main/release/3.3.2/libdxrt_3.3.2_all.deb
sudo apt install ./libdxrt_3.3.2_all.deb

# Create dx-engine wheel
cd /usr/share/libdxrt/python_package && sudo ./make_whl.sh

# Install the bundled dx_engine Python wheel
pip install dx_engine-*.whl

Убедись, что среда выполнения установлена правильно, с помощью dxrt-cli --version. Ты должен увидеть вывод, похожий на:

DXRT v3.3.2
Minimum Driver Versions
Device Driver: v2.4.0
PCIe Driver: v2.2.0
Firmware: v2.5.2
Minimum Compiler Versions
Compiler: v1.18.1
.dxnn File Format: v6

После установки среды выполнения запусти инференс и валидацию на своем устройстве DEEPX точно так же, как показано в разделе Использование выше — экспортированный _deepx_model загружается напрямую с помощью YOLO(...).

Визуализация с помощью dxtron#

dxtron — это визуализатор графов от DEEPX для инспекции скомпилированной модели .dxnn.

Установи dxtron на x86-64 Linux, загрузив пакет .deb из DEEPX SDK и установив его с помощью dpkg:

wget https://sdk.deepx.ai/release/dxtron/v2.0.1/dxtron_2.0.1_amd64.deb
sudo dpkg -i dxtron_2.0.1_amd64.deb

Затем открой свою экспортированную модель:

dxtron yolo26n_deepx_model/yolo26n.dxnn

Бенчмарки#

Команда Ultralytics провела тестирование моделей YOLO26, сравнив скорость и точность между PyTorch и DEEPX.

Производительность

Raspberry Pi 5 + модуль DX-M1 M.2Скоро появятся новые устройства!

Модель	Формат	Статус	Размер (МБ)	метрики/mAP50-95(B)	Время вывода (мс/из)
YOLO26n	PyTorch	✅	5.3	0.4760	315.2
YOLO26n	DEEPX	✅	6.6	0.4660	34.6
YOLO26n-seg	PyTorch	✅	6.5	0.4080	485.4
YOLO26n-seg	DEEPX	✅	7.9	0.3920	53.8
YOLO26n-pose	PyTorch	✅	7.6	0.4230	506.3
YOLO26n-pose	DEEPX	✅	8.8	0.4590	37.6
YOLO26n-obb	PyTorch	✅	5.7	0.817	1094.4
YOLO26n-obb	DEEPX	✅	7.3	0.783	56.4

Модель	Формат	Статус	Размер (МБ)	acc (top1)	acc (top5)	Время вывода (мс/из)
YOLO26n-cls	PyTorch	✅	5.6	0.431	0.716	23.8
YOLO26n-cls	DEEPX	✅	5.9	0.333	0.686	2.7

Примечание

Валидация для вышеуказанных бенчмарков проводилась с использованием coco128 для детекции, coco128-seg для сегментации, coco8-pose для оценки позы, imagenet100 для классификации и dota128 для моделей OBB. Время инференса не включает предобработку и постобработку.

sudo nano /boot/firmware/config.txt

dtparam=pciex1
dtparam=pciex1_gen=3

sudo reboot

sudo lspci -vvv | grep -iA 33 accelerators | grep -E "LnkCap|LnkSta"

Рекомендуемый рабочий процесс#

1. Обучай (Train) свою модель с помощью режима обучения Ultralytics
2. Экспортируй (Export) в формат DEEPX с помощью model.export(format="deepx")
3. Проверяй (Validate) точность с помощью yolo val, чтобы убедиться в минимальной потере качества при квантовании
4. Предсказывай (Predict) с помощью yolo predict для качественной проверки
5. Развертывай (Deploy) экспортированный каталог _deepx_model/ на аппаратном обеспечении DEEPX NPU, используя среду выполнения dx_engine

Применение в реальных условиях#

Модели YOLO, развернутые на аппаратном обеспечении DEEPX NPU, отлично подходят для широкого спектра приложений периферийного ИИ:

• Умное видеонаблюдение: Обнаружение объектов в реальном времени для систем безопасности и мониторинга с низким энергопотреблением и без зависимости от облака.
• Промышленная автоматизация: Контроль качества на устройстве, обнаружение дефектов и мониторинг процессов в заводских условиях.
• Робототехника: Навигация на основе зрения, предотвращение столкновений и распознавание объектов на автономных роботах и дронах.
• Умное сельское хозяйство: Мониторинг здоровья культур, обнаружение вредителей и оценка урожайности с использованием компьютерного зрения в сельском хозяйстве.
• Аналитика розничной торговли: Анализ потока покупателей, мониторинг полок и отслеживание запасов с инференсом на периферии в реальном времени.

Резюме#

В этом руководстве ты узнал, как экспортировать модели Ultralytics YOLO в формат DEEPX и развертывать их на оборудовании DEEPX NPU. Конвейер экспорта использует калибровку INT8 и компилятор dx_com для создания оптимизированного под железо бинарного файла .dxnn, в то время как среда выполнения dx_engine управляет инференсом на устройстве.

Сочетание Ultralytics YOLO и NPU-технологии DEEPX обеспечивает эффективное решение для выполнения продвинутых рабочих нагрузок компьютерного зрения на встроенных и периферийных устройствах, обеспечивая высокую пропускную способность при низком энергопотреблении для приложений реального времени.

Для получения дополнительной информации об использовании посети официальный сайт DEEPX.

Кроме того, если ты хочешь узнать больше о других интеграциях Ultralytics YOLO, посети нашу страницу руководства по интеграции. Там ты найдешь множество полезных ресурсов и идей.

FAQ#