Ultralytics YOLOモデルのQualcomm QNNエクスポート#

Qualcomm Snapdragonデバイスにコンピュータービジョンモデルをデプロイするには、Qualcomm AI Engine Direct (QNN)ランタイムに合わせて調整されたモデル形式が必要です。Ultralytics YOLOモデルをQNN形式にエクスポートすると、数十億台の携帯電話、ノートPC、自動車システム、IoTデバイスに搭載されているSnapdragonのCPU、Adreno GPU、Hexagon NPU上で、デバイス上の推論を高速化できます。このガイドでは、YOLOをQualcomm QNNにエクスポートし、Snapdragonハードウェア上で高速かつ低消費電力の推論を実行する方法を説明します。

Qualcomm QNNとは何ですか？#

Qualcomm AI Engine Directは、一般にQNNと呼ばれ、Qualcomm AI Runtime (QAIRT) SDKの一部として配布されている、Qualcommの低レベル推論スタックです。Snapdragonプロセッサ向けに、Snapdragon CPU、Adreno GPU、Hexagon Tensor Processor (HTP)をターゲットとするバックエンド固有のライブラリを備えた統合APIを提供します。HTPは、最新のSnapdragon SoCに搭載された専用のニューラル処理ユニット（NPU）です。QNNにより、開発者はSnapdragonのAIアクセラレーターをフルスタックで利用できます。また、従来のSnapdragon Neural Processing Engine (SNPE) SDKの後継となる最新のSDKです。Snapdragon 8 Gen 2、8 Gen 3、8 Eliteのモバイルプラットフォーム、Snapdragon X搭載ノートPC、自動車製品、XR製品など、幅広いデバイス上のAI処理を支えています。

Qualcomm QNNにエクスポートする理由#

Snapdragonは、最も広く普及しているモバイルコンピューティングプラットフォームの1つです。Ultralytics YOLOをQualcomm QNN形式にエクスポートすると、これらのデバイスに搭載された専用AIハードウェアを利用できます。

• Hexagon NPUアクセラレーション: Hexagon Tensor Processor上でYOLOを実行すると、CPU推論よりも大幅にスループットが高く、消費電力も抑えられます。Snapdragonでのリアルタイム推論や常時稼働のコンピュータービジョンに適しています。
• デバイス上でオフライン実行: QNN推論はSnapdragonデバイス上で完全に実行されるため、クラウドとの通信が不要で、レイテンシを低く抑え、データがデバイス外に出ることもありません。
• 量子化による効率化: QNNエクスポートでは、YOLOを16ビットのアクティベーションとINT8の重みに量子化します。これはHexagon NPUが推奨する精度とパフォーマンスのバランスであり、モデルサイズを縮小し、バッテリー駆動のハードウェアで最大限のフレームレートを実現します。
• 1つの形式で多様なデバイスに対応: 1つのQualcomm QNNエクスポートで、Snapdragon 8 Gen 2、8 Gen 3、8 Eliteの各シリーズ以降に搭載されたSnapdragon CPU、Adreno GPU、Hexagon NPUをターゲットにできます。
• 本番環境対応のQualcomm AIスタック: QNN (Qualcomm AI Engine Direct / QAIRT)は、Qualcommが現在提供し、積極的に保守しているデバイス上のAIランタイムであり、SNPEに代わる推奨ソリューションです。

QNNエクスポート形式#

Ultralyticsは、ONNX Runtime QNN Execution Provider（pipでインストールでき、QAIRTライブラリを同梱するonnxruntime-qnnパッケージ）を使い、YOLOモデルをローカルでQNNにコンパイルします。エクスポーターはモデルをONNXに変換し、キャリブレーションデータを使用して16ビットのアクティベーションとINT8の重み（Hexagon NPUに推奨されるバランス）に量子化します。その後、コンテキストバイナリのキャッシュを有効にしてONNX Runtimeセッションを初期化し、量子化されたグラフを<model>_qnn.onnxに埋め込まれるQNNコンテキストバイナリにコンパイルします。Qualcommアカウント、クラウドへのアップロード、別途のSDKダウンロードは不要です。

クラウドベースのQualcomm AI Hubでは、QualcommがホストするSnapdragonデバイス上でモデルをコンパイルしてプロファイルし、Qualcommアカウントが必要です。一方、Ultralytics QNNエクスポートは、単一のexport(format="qnn", imgsz=640)呼び出し（分類の場合はimgsz=224）で、すべてを自分のマシン上で実行します。サインアップ、アップロード制限、待ち時間なしで、同じQNN/QAIRTランタイムのターゲットであるSnapdragon CPU、Adreno GPU、Hexagon NPUを利用でき、標準のYOLOエクスポートワークフローにそのまま組み込めます。

エクスポートされた*_qnn.onnxファイルは自己完結型です。QNNコンテキストバイナリと、クラス名、画像サイズ、タスクなどのONNXメタデータが含まれています。

QNNモデルの主な機能#

• 量子化: モデルはONNX Runtime QNN QDQフローとキャリブレーションデータセットを使って、活性化を16ビット、重みをINT8に量子化します。これはHexagon NPUで推奨される精度とパフォーマンスのバランスです。
• 完全なローカルコンパイル: コンテキストバイナリはホストマシン上ですべて生成されるため、Qualcommアカウント、APIトークン、クラウドへのアップロードは不要です。
• Snapdragonの性能を最大限に活用: 単一の統合ランタイムを通じて、Hexagon NPU (HTP)、Adreno GPU、またはCPUで推論を実行できます。
• 幅広いデバイスに対応: スマートフォン、PC（Windows on Snapdragon）、自動車、XR、組み込み製品に搭載される幅広いSnapdragonプラットフォームをターゲットにできます。
• 事前コンパイル済みのコンテキストバイナリ: コンテキストバイナリを同梱すると、デバイス上でのグラフコンパイルが最小限になり、ターゲットデバイスでのモデル読み込みレイテンシが短縮されます。
• 自己完結型の出力: エクスポートされたONNXファイルには、事前コンパイル済みのQNNコンテキストバイナリとメタデータが含まれているため、簡単にデプロイできます。

実測パフォーマンス#

Androidスマートフォン#

ハードウェア: 12 GB LPDDR5XメモリとAndroid 17 / API 37を搭載したXiaomi 17です。3 nmのSnapdragon 8 Elite Gen 5（SM8850）は、8コアのQualcomm Oryon CPU（最大4.6 GHzのPrimeコア2基、最大3.62 GHzのPerformanceコア6基）、Adreno GPU、Hexagon NPU（HTP v81）を搭載しています。

• 速度の値は単一画像のバーストレイテンシです。bus.jpgで3回のウォームアップ後に15回実行した平均値であり、Flutterプラグインの 0.7.1オンデバイスベンチマークハーネスと公式のv0.7.0アセット（Ultralytics 8.4.188によるエクスポート）を使用して測定しています。バックエンドの順序は、1回の連続した測定内でタスクごとに入れ替えています。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がグラフ全体をLiteRT OpenCL（LITERT_CL）に委譲し、すべてのNPU行がQNN Hexagon HTPバックエンドを使用したことを確認しました。
• 詳細なベンチマーク記録は、Flutterパフォーマンスドキュメントにあります。
• 他のAndroidデバイスについてはLiteRT統合、AppleデバイスについてはCoreML統合をご覧ください。

Windows on Snapdragon搭載ノートPC#

この過去の測定では、標準化前のv73 QNNバイナリを使用し、セマンティックモデルとOBBモデルには1024pxの入力を使用しました。32 GBメモリとWindows 11を搭載したLenovo製ノートPCで実行しました。 Snapdragon X Elite （X1E78100）は、12コアのQualcomm Oryon CPU、Adreno GPU、Hexagon NPU (HTP v73)を搭載しています。正確なLenovoのモデルは記録されていません。このWindows on Snapdragonの比較では、デスクトップ開発者が最初に利用することの多いネイティブPyTorch FP32 CPUのベースラインと、ONNX Runtime QNN Hexagon HTPの実行経路を比較しています。各セルはmodel.predict()の合計実行時間を示し、その下に報告された前処理／推論／後処理の時間を記載しています。合計時間には、これら3つの段階以外のフレームワークのオーバーヘッドが含まれる場合があります。CPUの数値はPyTorch FP32 (torch==2.10.0+cpu)、NPUの数値はONNX Runtime QNN (onnxruntime-qnn==2.2.0、INT8の重み／16ビットのアクティベーション)です。

• 速度の値は単一画像のバーストレイテンシです。bus.jpg上でウォームアップを10回行った後、100回実行した平均値であり、熱的に安定したデバイス（ultralytics==8.4.67、Python 3.12.10）で、処理全体のmodel.predict()呼び出しをtime.perf_counter()で計測しています。
• Hexagon NPUは、640～1024 pxのタスク全体でPyTorch CPUベースラインよりおよそ2～4倍高速です（検出では~3.4倍）。固定の前処理オーバーヘッドが小規模な処理を支配する224 pxの分類では、~1.3倍まで差が縮まります。

対応タスク#

Qualcomm QNNエクスポートは、Ultralyticsの7つすべてのタスクに対応しています。セマンティックセグメンテーションと深度推定は、これらのヘッドを搭載する唯一のファミリーであるYOLO26でのみ利用できます。

QNNへのエクスポート：YOLOモデルの変換#

Ultralytics YOLOモデルをQNN形式にエクスポートし、Qualcommハードウェアにデプロイします。コンテキストバイナリは、対象のHexagon Tensor Processor（HTP）アーキテクチャまたはサポート対象のSoC向けに確定されます。対象はname引数で指定します。この引数は、RKNNエクスポートでチップを指定する際と同じです。

サポート対象のHTPターゲット#

nameを使って、対象のアーキテクチャまたはSoCを指定します（例：name="73"またはname="iq-8275"）。サポート状況は HTPターゲットによって決まるため、以下のSnapdragonの項目は代表的なプラットフォームであり、すべてのSoCを網羅した一覧ではありません。 Dragonwingデバイスは個別に記載しています。

ONNX Runtimeがv66 DSPをオフラインHTPターゲットとして公開していないため、Dragonwing IQ-615ではUltralytics QNNコンテキストバイナリエクスポートを使用できません。標準のONNXエクスポートは、ボードBSPがサポートするCPUまたはGPU実行プロバイダーと個別に統合できます。

from ultralytics import YOLO

model = YOLO("best.pt")
model.export(format="qnn", name="iq-8275", imgsz=640)

インストール#

必要なパッケージをインストールするには、次を実行します。

# Install the required package for YOLO
pip install ultralytics

onnxruntime-qnnパッケージ（ONNX Runtime QNN Execution Providerを提供し、QAIRTライブラリをバンドルしています）は、初回のエクスポート時に自動でインストールされます。インストール手順の詳細やベストプラクティスについては、Ultralyticsインストールガイドをご覧ください。YOLOに必要なパッケージのインストール時に問題が発生した場合は、解決策やヒントについてよくある問題のガイドをご確認ください。

使用方法#

QNN形式は、エクスポート、予測、検証の各モードに対応しています。推論と検証は、ONNX RuntimeのQNN Execution Provider（エクスポートに使用するものと同じonnxruntime-qnnパッケージ）を通じて、Qualcomm Snapdragonハードウェア上で実行されます。モデルをエクスポートした後、エクスポート済みモデルをSnapdragonデバイスに読み込むと、推論を実行したり精度を検証したりできます。

from ultralytics import YOLO

# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")

# デフォルトのv73 HTPターゲット向けにQualcomm QNN形式（INT8、自動適用）でエクスポート
model.export(format="qnn", name="73", imgsz=640)  # 分類ではimgsz=224を使用します

from ultralytics import YOLO

# エクスポート済みQNNモデルを読み込む（onnxruntime-qnnをインストールしたSnapdragonデバイス上）
model = YOLO("yolo26n_qnn.onnx")

# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# エクスポート済みQNNモデルを読み込む（onnxruntime-qnnをインストールしたSnapdragonデバイス上）
model = YOLO("yolo26n_qnn.onnx")

# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")

エクスポート引数#

エクスポートプロセスの詳細については、Ultralyticsのエクスポートに関するドキュメントページをご覧ください。

出力構造#

エクスポートが正常に完了すると、自己完結型のONNXファイルが作成されます。

yolo26n_qnn.onnxファイルにはQNNコンテキストバイナリが埋め込まれており、Snapdragonデバイス上でQNN Execution Providerを使うONNX Runtimeによって読み込まれます。また、クラス名、画像サイズ、タスクなどのモデルメタデータもONNX metadata_propsに含まれます。

エクスポート済みYOLO QNNモデルのデプロイ#

QNNモデルはサポート対象のQualcommハードウェア上で動作するため、デバイス上へのモデルのデプロイが容易です。onnxruntime-qnnをインストールした対応デバイスでは、エクスポート済みモデルをUltralytics API（yolo predict/yolo val。上記の使用方法を参照）で直接実行できます。UltralyticsはONNX Runtime QNN Execution Providerを通じてHTPコンテキストバイナリを読み込みます。

カスタムパイプラインでは、コンテキストバイナリのONNXをONNX Runtimeで直接読み込むこともできます。onnxruntime-qnnはプラグイン型のExecution Providerであるため、実行時に登録します。

import onnxruntime as ort
import onnxruntime_qnn as qnn_ep

# Snapdragonデバイス上で、QNNプラグインEPを登録してデバイスを選択します
ort.register_execution_provider_library("QNNExecutionProvider", qnn_ep.get_library_path())
devices = [d for d in ort.get_ep_devices() if d.ep_name == "QNNExecutionProvider"]

options = ort.SessionOptions()
options.add_provider_for_devices(devices, {"backend_path": qnn_ep.get_qnn_htp_path()})
session = ort.InferenceSession("yolo26n_qnn.onnx", sess_options=options)
input_info = session.get_inputs()[0]
outputs = session.run(None, {input_info.name: input_tensor})  # input_tensor: float32 NHWC

QNNコンテキストバイナリは事前にコンパイルされているため、デバイス上でグラフを再コンパイルせずにセッションをすばやく読み込めます。

LinuxおよびYocto BSPの要件#

ターゲットボードには、相互に互換性のあるQualcommランタイムとBSPが必要です。HTP推論には、ONNX Runtime QNN Execution Provider、libQnnSystem.so、libQnnHtp.so、IQ-8275用のv75 HTPスタブおよびスケルトンライブラリ、libcdsprpc.soなどのFastRPCユーザー空間サポート、DSPファームウェア、および対応するFastRPC/カーネルドライバーが含まれます。スケルトンライブラリは、BSPのDSPライブラリパスから検出できる必要があります。

これらのターゲット側コンポーネントは、ボードベンダーが提供するQAIRT/QNN対応BSPに含まれており、エクスポート済みモデルには埋め込まれていません。GPUでの実行には、libQnnGpu.soと対応するAdrenoユーザー空間ドライバースタックが必要です。Ultralyticsのformat=qnn出力はHTP専用のコンテキストバイナリです。そのため、GPUまたはCPUにデプロイする場合は、事前コンパイル済みの*_qnn.onnxファイルではなく、標準のONNXエクスポートを使用してください。

推奨ワークフロー#

1. UltralyticsのTrain Modeを使用してモデルをトレーニングします
2. サポート対象のプラットフォームでmodel.export(format="qnn", name="iq-8275", imgsz=640)を使用してQNN形式にエクスポートします（分類にはimgsz=224を使用します）。
3. エクスポート済みの*_qnn.onnxファイルをQualcommデバイスにデプロイします。
4. HTPバックエンドを使用し、ONNX RuntimeとQNN Execution Providerで推論を実行します。

実際の用途#

Qualcomm Snapdragonハードウェア上で動作するYOLOモデルは、幅広いエッジAIアプリケーションに適しています。

• スマートフォン：NPUアクセラレーションを利用し、カメラアプリや写真アプリで物体検出やシーン理解をリアルタイムで実行できます。
• Snapdragon搭載Windows：Copilot+ PC上で、クラウドにデータを送信せずにデバイス上でコンピュータービジョンを実行できます。
• 自動車：Snapdragon Digital Chassisプラットフォームで、ドライバー監視、乗員検出、ADAS機能を実現できます。
• XRおよびウェアラブル：AR/VRヘッドセットやスマートグラス向けに、低消費電力・低レイテンシの認識処理を実現できます。
• IoTおよびロボティクス：Snapdragon搭載カメラ、ドローン、組み込みシステムで効率的なビジョン推論を実行できます。

概要#

このガイドでは、ONNX Runtime QNN Execution Providerを使用して、Ultralytics YOLOモデルをQualcomm QNN形式にローカルでエクスポートする方法を説明しました。エクスポートパイプラインはモデルをONNXに変換した後、ホストマシン上でQNNコンテキストバイナリにコンパイルします。Qualcommアカウントやクラウドは不要です。生成される*_qnn.onnxファイルは、QNN/QAIRTランタイムを介したSnapdragon CPU、Adreno GPU、Hexagon NPUハードウェア向けに最適化されています。

Ultralytics YOLOとQualcommのオンデバイスAIスタックを組み合わせると、幅広いSnapdragonエコシステムでコンピュータービジョンのワークロードを実行できます。

出荷前に形式を比較するには、Benchmarkモードを使用してください。

よくある質問#