Link to this sectionЭкспорт в Qualcomm QNN для моделей Ultralytics YOLO#

Для развертывания моделей компьютерного зрения на устройствах Qualcomm Snapdragon требуется формат модели, адаптированный под среду выполнения Qualcomm AI Engine Direct (QNN). Экспорт моделей Ultralytics YOLO в формат QNN позволяет тебе запускать ускоренный вывод на самом устройстве с использованием процессоров Snapdragon CPU, графических ускорителей Adreno GPU и нейронных процессоров Hexagon NPU, которые установлены в миллиардах мобильных телефонов, ноутбуков, автомобильных систем и устройств IoT. В этом руководстве описано, как экспортировать YOLO в формат Qualcomm QNN и развернуть его для быстрого и энергоэффективного вывода на оборудовании Snapdragon.

Link to this sectionЧто такое Qualcomm QNN?#

Qualcomm AI Engine Direct — часто называемый QNN и распространяемый в составе SDK Qualcomm AI Runtime (QAIRT) — это низкоуровневый стек логического вывода Qualcomm для процессоров Snapdragon. Он предоставляет унифицированный API с библиотеками для конкретных бэкендов, которые нацелены на CPU Snapdragon, GPU Adreno и процессор Hexagon Tensor Processor (HTP) — специализированный блок обработки нейронных сетей (NPU) внутри современных SoC Snapdragon. QNN дает тебе полностековый доступ к этим ускорителям ИИ Snapdragon и является современным преемником старого SDK Snapdragon Neural Processing Engine (SNPE). Он обеспечивает работу ИИ на устройствах на базе мобильных платформ Snapdragon 8 Gen 2, 8 Gen 3 и 8 Elite, ноутбуков на Snapdragon X, а также автомобильных и XR-продуктов.

Link to this sectionЗачем экспортировать в Qualcomm QNN?#

Snapdragon — самая распространенная мобильная вычислительная платформа в мире. Экспорт Ultralytics YOLO в формат Qualcomm QNN открывает доступ к специализированному AI-оборудованию на этих устройствах:

• Ускорение Hexagon NPU: Запуск YOLO на процессоре Hexagon Tensor обеспечивает значительно более высокую пропускную способность и меньшее энергопотребление по сравнению с выводом на CPU, что идеально подходит для вывода в реальном времени и постоянной работы компьютерного зрения на Snapdragon.
• На устройстве и офлайн: Вывод QNN выполняется полностью на устройстве Snapdragon, поэтому нет обращений к облаку, задержка остается низкой, а данные никогда не покидают устройство.
• Эффективность квантования: Экспорт QNN квантует YOLO до весов INT8 с 16-битными активациями — это оптимальный баланс точности и производительности для Hexagon NPU, который уменьшает размер модели и максимизирует количество кадров в секунду на устройствах с питанием от батареи.
• Один формат, множество устройств: Один экспорт в Qualcomm QNN подходит для Snapdragon CPU, Adreno GPU и Hexagon NPU в семействах процессоров Snapdragon 8 Gen 2, 8 Gen 3, 8 Elite и других.
• Готовый к производству стек Qualcomm AI: QNN (Qualcomm AI Engine Direct / QAIRT) — это актуальная и активно поддерживаемая среда выполнения AI на устройстве от Qualcomm, рекомендуемая в качестве замены SNPE.

Link to this sectionФормат экспорта QNN#

Ultralytics компилирует модели YOLO в QNN локально, используя QNN Execution Provider для ONNX Runtime (пакет onnxruntime-qnn, доступный через pip, в который включены библиотеки QAIRT). Экспортер преобразует твою модель в ONNX, квантует ее с использованием калибровочных данных до 16-битных активаций и весов INT8 (рекомендуемый баланс для Hexagon NPU), а затем инициализирует сессию ONNX Runtime с включенным кэшированием бинарного контекста — это компилирует квантованный граф в QNN context binary, встроенный в <model>_qnn.onnx. Учетная запись Qualcomm, загрузка в облако или отдельная загрузка SDK не требуются.

В отличие от облачного сервиса Qualcomm AI Hub, который компилирует и профилирует модели на устройствах Snapdragon в облаке Qualcomm и требует учетную запись Qualcomm, экспорт Ultralytics QNN выполняется полностью на твоем компьютере с помощью одного вызова export(format="qnn", imgsz=640) (imgsz=224 для классификации). Ты получаешь тот же целевой компонент среды выполнения QNN/QAIRT — Snapdragon CPU, Adreno GPU и Hexagon NPU — без регистрации, лимитов на загрузку или очередей, и он органично встраивается в стандартный рабочий процесс экспорта YOLO.

Экспортированный файл *_qnn.onnx является самодостаточным: он содержит бинарный контекст QNN и метаданные ONNX, такие как имена классов, размер изображения и задача.

Link to this sectionКлючевые особенности моделей QNN#

• Квантование: Модель квантуется до 16-битных активаций и весов INT8 с использованием потока QDQ ONNX Runtime и набора данных для калибровки, что является рекомендуемым балансом точности и производительности для Hexagon NPU. Узнай больше о квантовании моделей.
• Полностью локальная компиляция: Бинарный контекст генерируется полностью на твоем хост-компьютере — без учетной записи Qualcomm, API-токена или загрузки в облако.
• Полное ускорение Snapdragon: Запускай вывод на Hexagon NPU (HTP), Adreno GPU или CPU через единую среду выполнения.
• Широкий охват устройств: Ориентируйся на широкий спектр платформ Snapdragon, используемых в телефонах, ПК (Windows on Snapdragon), автомобилях, XR-устройствах и встроенных системах.
• Прекомпилированный бинарный контекст: Поставка бинарного контекста минимизирует компиляцию графа на устройстве, снижая задержку загрузки модели на целевом устройстве.
• Самодостаточный результат: Экспортированный файл ONNX включает в себя прекомпилированный бинарный контекст QNN и метаданные для простого развертывания.

Link to this sectionИзмеренная производительность#

Link to this sectionТелефон на Android#

Оборудование: Xiaomi 17 с 12 ГБ памяти LPDDR5X и Android 16 / API 36. Его 3-нм процессор Snapdragon 8 Elite Gen 5 (SM8850) имеет 8-ядерный процессор Qualcomm Oryon (2 основных ядра с частотой до 4,6 ГГц и 6 производительных ядер с частотой до 3,62 ГГц), GPU Adreno и NPU Hexagon (HTP v81).

• Значения скорости представляют собой задержки пакета из одного изображения — среднее значение по 15 запускам после 3 прогревочных запусков на bus.jpg, измеренное с помощью тестового инструмента Flutter plugin 0.6.10 для работы на устройстве и стандартизированных ассетов v0.6.6. Порядок бэкендов чередовался между задачами в ходе одного последовательного прогона. Собственные логи подтвердили, что для каждой строки CPU использовался LiteRT CPU/XNNPACK, для каждой строки GPU весь граф делегировался LiteRT OpenCL (LITERT_CL), а для каждой строки NPU использовался бэкенд QNN Hexagon HTP.
• Подробный отчет о бенчмарках находится в документации по производительности Flutter.
• Сравни другие устройства Android в интеграции с LiteRT, а устройства Apple — в интеграции с CoreML.

Link to this sectionНоутбук с Windows on Snapdragon#

В этом историческом прогоне использовались нестандартизированные бинарные файлы QNN версии v73; для семантики и OBB применялись входы 1024 пикселя. Тест выполнялся на ноутбуке Lenovo с 32 ГБ памяти под управлением Windows 11. Его процессор Snapdragon X Elite (X1E78100) содержит 12-ядерный CPU Qualcomm Oryon, GPU Adreno и NPU Hexagon (HTP v73); точная модель Lenovo не была зафиксирована. В данном сравнении Windows-on-Snapdragon нативная базовая линия PyTorch FP32 CPU, с которой обычно начинают десктопные разработчики, сопоставляется с путем ONNX Runtime QNN Hexagon HTP. Каждая ячейка отображает общее время выполнения model.predict() с указанием времени предварительной обработки, инференса и постобработки под ним; общая сумма может включать накладные расходы фреймворка вне этих трех этапов. Значения для CPU соответствуют PyTorch FP32 (torch==2.10.0+cpu), а значения для NPU соответствуют ONNX Runtime QNN (onnxruntime-qnn==2.2.0, веса INT8 / 16-битные активации).

• Скорость — это задержка при пакетной обработке одного изображения, вычисленная как среднее значение по 100 прогонам после 10 прогревочных прогонов на bus.jpg, измеренная с помощью time.perf_counter() вокруг полного вызова model.predict() на устройстве в состоянии теплового покоя (ultralytics==8.4.67, Python 3.12.10).
• NPU Hexagon работает примерно в 2-4 раза быстрее, чем базовый PyTorch CPU на задачах 640-1024 пикс. (детектирование ~3.4 раза), сокращая разрыв до ~1.3 раза на классификаторе 224 пикс., где фиксированные накладные расходы на предобработку преобладают над небольшой рабочей нагрузкой.

Link to this sectionПоддерживаемые задачи#

Экспорт QNN поддерживает стандартный набор задач, доступный для каждого семейства моделей, включая семантическую сегментацию YOLO26.

Link to this sectionЭкспорт в QNN: Конвертация твоей модели YOLO#

Экспортируй модель Ultralytics YOLO в формат QNN для развертывания на оборудовании Snapdragon. Бинарный контекст финализируется для целевой архитектуры Hexagon Tensor Processor (HTP), которую ты выбираешь с помощью аргумента name — тот же аргумент используется для выбора чипа при экспорте RKNN.

Link to this sectionПоддерживаемые архитектуры HTP#

Передай целевую архитектуру через name (например, name="73"). Допустимые значения:

Link to this sectionУстановка#

Чтобы установить необходимые пакеты, выполни:

# Install the required package for YOLO
pip install ultralytics

Пакет onnxruntime-qnn (который предоставляет QNN Execution Provider для ONNX Runtime и включает библиотеки QAIRT) устанавливается автоматически при первом экспорте. Подробные инструкции и рекомендации по процессу установки смотри в нашем руководстве по установке Ultralytics. Если при установке необходимых пакетов для YOLO ты столкнешься с трудностями, обратись к нашему руководству по общим проблемам за решениями и советами.

Link to this sectionИспользование#

Формат QNN поддерживает стандартные режимы Экспорта, Предсказания и Валидации. Вывод и валидация выполняются на оборудовании Qualcomm Snapdragon через QNN Execution Provider для ONNX Runtime (тот же пакет onnxruntime-qnn, что используется для экспорта). Экспортируй свою модель, а затем загрузи ее на устройство Snapdragon для запуска вывода или проверки точности.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Qualcomm QNN format (INT8, enforced automatically), targeting an HTP architecture via 'name'
# 'name' can be one of 68, 69, 73, 75, 79, 81 (Snapdragon 888, 8 Gen 1, 8 Gen 2, 8 Gen 3, 8 Elite, 8 Elite Gen 5)
model.export(format="qnn", name="73", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported QNN model (on a Snapdragon device with onnxruntime-qnn)
model = YOLO("yolo26n_qnn.onnx")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

Link to this sectionАргументы экспорта#

Для получения дополнительной информации о процессе экспорта посети страницу документации Ultralytics по экспорту.

Link to this sectionСтруктура вывода#

После успешного экспорта создается самодостаточный файл ONNX:

Файл yolo26n_qnn.onnx содержит внедренный бинарный контекст QNN и загружается через ONNX Runtime с QNN Execution Provider на устройстве Snapdragon. Он также содержит метаданные модели, такие как имена классов, размер изображения и задача в свойствах metadata_props ONNX.

Link to this sectionРазвертывание экспортированных моделей YOLO QNN#

Модели QNN работают на оборудовании Qualcomm Snapdragon, что делает развертывание моделей на устройстве простым. На устройстве Snapdragon с установленным onnxruntime-qnn запускай экспортированную модель напрямую через API Ultralytics (yolo predict/yolo val, смотри Использование выше) — Ultralytics загружает бинарный контекст через QNN Execution Provider для ONNX Runtime и выбирает бэкенд HTP (NPU), GPU или CPU.

Для кастомных конвейеров ты также можешь загрузить бинарный контекст ONNX напрямую через ONNX Runtime. onnxruntime-qnn — это подключаемый Execution Provider, поэтому зарегистрируй его во время выполнения:

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# On the Snapdragon device, register the QNN plugin EP and select its device(s)
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

Поскольку бинарный контекст QNN прекомпилирован, сессия загружается быстро без перекомпиляции графа на устройстве.

Link to this sectionРекомендуемый рабочий процесс#

1. Обучи свою модель, используя режим обучения Ultralytics
2. Экспортируй модель в формат QNN с помощью model.export(format="qnn", imgsz=640) на поддерживаемой платформе (используй imgsz=224 для классификации)
3. Разверни экспортированный файл *_qnn.onnx на своем устройстве Snapdragon
4. Запусти вывод с помощью ONNX Runtime и QNN Execution Provider, выбрав бэкенд HTP, GPU или CPU

Link to this sectionПрименение в реальных условиях#

Модели YOLO, работающие на оборудовании Qualcomm Snapdragon, хорошо подходят для широкого спектра приложений Edge AI:

• Смартфоны: Детектирование объектов в реальном времени и понимание сцены в приложениях камеры и фото с ускорением NPU.
• Windows on Snapdragon: Компьютерное зрение на устройстве в ПК Copilot+ без использования облака.
• Автомобили: Мониторинг водителя, обнаружение пассажиров и функции ADAS на платформах Snapdragon Digital Chassis.
• XR и носимые устройства: Энергоэффективное восприятие с низкой задержкой для AR/VR-гарнитур и умных очков.
• IoT и робототехника: Эффективный вывод зрения на камерах, дронах и встроенных системах на базе Snapdragon.

Link to this sectionРезюме#

В этом руководстве ты узнал, как экспортировать модели Ultralytics YOLO в формат Qualcomm QNN локально с помощью QNN Execution Provider для ONNX Runtime. Конвейер экспорта преобразует твою модель в ONNX, а затем компилирует ее в бинарный контекст QNN на твоем компьютере — без учетной записи Qualcomm или облака — создавая файл *_qnn.onnx, оптимизированный для оборудования Snapdragon CPU, Adreno GPU и Hexagon NPU через среду выполнения QNN/QAIRT.

Сочетание Ultralytics YOLO и стека AI от Qualcomm для работы на устройстве обеспечивает эффективное решение для запуска передовых нагрузок компьютерного зрения во всей экосистеме Snapdragon.

Для других целей развертывания на устройствах и мобильных платформах ознакомься с соответствующими руководствами по экспорту в ONNX, CoreML, NCNN, LiteRT, ExecuTorch, RKNN, Sony IMX500 и TensorRT. Чтобы сравнить форматы перед отправкой, используй режим Benchmark. Полный список форматов и опций можно найти в документации к режиму Export и на странице руководств по интеграции.

Link to this sectionFAQ#

Link to this sectionКак экспортировать мою модель Ultralytics YOLO в формат QNN?#

Ты можешь экспортировать свою модель с помощью export(format="qnn", imgsz=640) (imgsz=224 для классификации) или эквивалентных аргументов CLI. Сначала при экспорте создается модель ONNX, которая затем локально компилируется в бинарный файл контекста QNN с использованием провайдера выполнения ONNX Runtime QNN. Пакет onnxruntime-qnn устанавливается автоматически при первом экспорте.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(format="qnn", imgsz=640)  # use imgsz=224 for classification

Link to this sectionНужна ли мне учетная запись Qualcomm или доступ к облаку?#

Нет. Экспорт QNN выполняется полностью на твоем локальном компьютере с использованием пакета onnxruntime-qnn, в который включены библиотеки QAIRT. Учетная запись Qualcomm, API-токен или доступ к сети не требуются.

Link to this sectionЧем экспорт Ultralytics QNN отличается от Qualcomm AI Hub?#

Qualcomm AI Hub — это облачный сервис Qualcomm для компиляции, профилирования и бенчмаркинга моделей на устройствах Snapdragon, который требует учетной записи Qualcomm. Экспорт Ultralytics QNN ориентирован на ту же среду выполнения QNN/QAIRT (Snapdragon CPU, Adreno GPU и Hexagon NPU), но компилирует бинарный контекст локально с помощью QNN Execution Provider для ONNX Runtime — без учетной записи, без загрузки в облако и без очередей. Это самый быстрый способ перехода от модели .pt к сборке для Snapdragon прямо внутри стандартного рабочего процесса экспорта YOLO.

Link to this sectionНа каких платформах я могу выполнять экспорт?#

onnxruntime-qnn предоставляет предварительно собранные пакеты (wheels) для Windows (x64 и ARM64) и Linux ARM64 (aarch64); на Linux x86-64 необходимо собрать ONNX Runtime из исходного кода с флагом --use_qnn (предварительно собранный пакет не публикуется, а macOS не является поддерживаемым хостом для QNN). Генерация бинарного контекста выполняется на хосте x64 — Windows x64 или Linux x86-64 — и не требует физического устройства Snapdragon.

Link to this sectionКак запустить YOLO на Qualcomm Snapdragon NPU?#

Выполни экспорт с помощью model.export(format="qnn", imgsz=640) (imgsz=224 для классификации), скопируй полученный файл yolo26n_qnn.onnx на свое устройство Snapdragon и запусти yolo predict model=yolo26n_qnn.onnx source=image.jpg (или yolo val). Ultralytics загружает бинарный файл контекста через провайдер выполнения ONNX Runtime QNN и запускает его на NPU Hexagon — см. Развертывание экспортированных моделей YOLO QNN.

Link to this sectionВ чем разница между QNN и SNPE?#

QNN (Qualcomm AI Engine Direct, часть SDK QAIRT) — это современный стек вывода Qualcomm и рекомендуемая замена для устаревшего SDK Snapdragon Neural Processing Engine (SNPE). Новые развертывания должны использовать QNN.

Link to this sectionМогу ли я запустить модель QNN с помощью yolo predict и yolo val?#

Да, на устройстве Qualcomm Snapdragon с установленным onnxruntime-qnn — YOLO("yolo26n_qnn.onnx") загружает бинарный контекст через QNN Execution Provider и запускает predict/val как любой другой формат. На хосте x86 без оборудования QNN модель не может выполниться, поскольку бинарный контекст предназначен для Snapdragon NPU.

Link to this sectionЧто является результатом экспорта QNN?#

Экспорт создает самодостаточный ONNX-файл с бинарным контекстом (например, yolo26n_qnn.onnx), в котором имена классов, размер изображения, задача и другие метаданные модели встроены в свойства metadata_props ONNX.