Google LiteRTエクスポート
LiteRTはGoogleのオンデバイスAI向けランタイムであり、TensorFlow Lite(TFLite)の新しい名称です。format="litert"を使用してUltralytics YOLO26モデルをエクスポートすると、AndroidおよびiOSのスマートフォン、組み込みLinuxボード、Webブラウザー向けの単一の.tfliteファイルが作成されます。形式はFP32、または3種類のINT8量子化方式のいずれかです。
概要#
| プロパティ | 詳細 |
|---|---|
format 引数 | litert。以前のtfliteとtfjsの値も引き続き使用できます。非推奨の警告をログに記録し、同じLiteRTファイルをエクスポートします |
| 出力 | yolo26n.tflite。クラス名、タスク、画像サイズがメタデータとしてファイル内に保存された単一ファイルです。量子化エクスポートの名前はyolo26n_w8a32.tflite、yolo26n_int8.tflite、yolo26n_w8a16.tfliteです |
| 実行環境 | AndroidおよびiOSデバイス、組み込みLinuxボード、デスクトップCPU、LiteRT.jsを介したWebブラウザー、Intel GPUおよびNPU |
| ランタイム | LiteRT:ai-edge-litert Pythonパッケージ(2.1.4以降)、AndroidおよびiOS向けLiteRTライブラリ、またはLiteRT.js |
| 適合率 | FP32、w8a32、INT8、w8a16。YOLO26nはFP32で10.0 MB、w8a32では2.9 MB、INT8では3.1 MB、w8a16では3.0 MBです |
| エクスポートホスト | Python 3.10以降を搭載したLinux x86-64またはAppleシリコン搭載Mac。エクスポートはCPUで実行され、GPUは不要です |
Ultralytics Platformでは、トレーニング済みモデルをLiteRTにエクスポートできるため、ローカルにエクスポート環境を用意する必要はありません。
クイックスタート#
LiteRTエクスポート用の依存関係とともにUltralyticsパッケージをインストールします。
pip install "ultralytics[export-litert]"これにより、litert-torch、ai-edge-litert、ai-edge-quantizerがインストールされます。通常のpip install ultralyticsを使用すると、最初のエクスポート時に不足しているパッケージがインストールされますが、PyTorchが置き換えられる場合はエラーで停止することがあります。エクスポートには次のバージョン要件があります。
| パッケージ | 必須バージョン |
|---|---|
| Python | 3.10以降 |
litert-torch | 0.10.0以降 |
torch | インストール済みのlitert-torchが受け入れる範囲:2.4.0以降、0.10.0の場合は2.15.0未満 |
ai-edge-litert | エクスポートには2.3.0以降が必要です。エクスポート済みモデルの実行には、Python 3.10以降で2.1.4以降が必要です |
ai-edge-quantizer | quantize="w8a32"、quantize=8、"w8a16"には0.10.0以降が必要です |
その他のインストール方法については、インストールガイドをご覧ください。次に、モデルをエクスポートし、エクスポートしたファイルを読み込んで推論を実行するか、精度を検証します。
from ultralytics import YOLO
# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")
# モデルをLiteRT形式にエクスポートします
model.export(format="litert") # 'yolo26n.tflite'を作成します
# キャリブレーションデータが不要な、INT8重みとFP32活性化を使用したエクスポート
model.export(format="litert", quantize="w8a32") # 'yolo26n_w8a32.tflite'を生成しますfrom ultralytics import YOLO
# エクスポートしたLiteRTモデルを読み込みます
model = YOLO("yolo26n.tflite")
# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# エクスポートしたLiteRTモデルを読み込みます
model = YOLO("yolo26n.tflite")
# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")対応タスク#
LiteRTエクスポートは、YOLOv8、YOLO11、YOLO26モデルで、Ultralyticsの7つすべてのタスクに対応しています。検出、インスタンスセグメンテーション、セマンティックセグメンテーション、深度推定、分類、姿勢推定、OBBに対応します。セマンティックセグメンテーションと深度推定はYOLO26のみで利用できます。これらのヘッドを搭載しているのはYOLO26だけです。
エクスポート引数#
| 引数 | 種類 | デフォルト | 説明 |
|---|---|---|---|
format | str | 'litert' | エクスポートしたモデルのターゲットフォーマットです。さまざまなデプロイ環境との互換性を定義します。 |
imgsz | intまたはtuple | 640 | モデル入力の画像サイズです。正方形の画像の場合は整数、またはタプル(height, width)を指定します。指定しない場合、チェックポイントのトレーニング時のサイズが使用されます。公式YOLO26チェックポイントでは、detect、segment、poseモデル、およびADE20Kで事前トレーニングされたsemanticモデルに640、OBBモデルおよびCityscapesで事前トレーニングされたsemanticモデルに1024、depthに768、classifyに224が使用されます。 |
quantize | intまたはstr | None | 量子化方式:'w8a32'(INT8重み、FP32活性化、キャリブレーションなし)、8(INT8重みと活性化、dataでキャリブレーション)、または'w8a16'(INT8重み、INT16活性化、dataでキャリブレーション)です。32または未設定の場合はFP32です。16を指定するとエラーになり、quantize=8でトレーニングしたチェックポイントはLiteRTにエクスポートできません。詳しくは制限事項とトラブルシューティングをご覧ください。非推奨のhalfおよびint8フラグに代わるものです。 |
data | str | None | quantize=8および'w8a16'でキャリブレーションに使用するデータセットYAMLです。分類の場合は、データセットディレクトリまたは組み込みデータセット名を指定します。splitが設定されていない場合、キャリブレーションにはvalの分割が使用されます。省略すると、Ultralyticsはタスクに対応する小規模なデフォルトデータセットを使用します。たとえば、検出の場合はcoco8.yamlです。 |
fraction | float、int、またはlist | 1.0 | キャリブレーション用サブセット: 比率、画像数(1を超える整数)、または[train, val, test]リストを指定します。リストの場合、キャリブレーション分割のエントリが使用されます。 |
nms | bool、省略可 | None | 生の出力(デフォルトのNone)またはNMSフリーヘッド(FP32および'w8a32'エクスポートのみのFalse)を選択します。LiteRTでは組み込みNMS(True)を使用できません。出力形式をご覧ください。 |
batch | int | 1 | エクスポート済みモデルのバッチサイズです。入力形状に固定され、キャリブレーションにも使用されます。 |
device | str | None | 指定された値にかかわらず、エクスポートは常にCPUで実行されます。 |
すべての形式に共通する引数については、エクスポートモードのドキュメントを参照してください。
量子化#
quantizeでは、3種類のINT8方式のいずれかを選択します。いずれも重みを8ビット整数で保存し、層間を流れる値である活性化の保存方法が異なります。
quantize | 重み | 活性化 | キャリブレーションデータ | YOLO26nファイル | サイズ |
|---|---|---|---|---|---|
未設定または32 | FP32 | FP32 | いいえ | yolo26n.tflite | 10.0 MB |
'w8a32' | INT8 | FP32 | いいえ | yolo26n_w8a32.tflite | 2.9 MB |
8 | INT8 | INT8 | はい | yolo26n_int8.tflite | 3.1 MB |
'w8a16' | INT8 | INT16 | はい | yolo26n_w8a16.tflite | 3.0 MB |
- 入力と出力:4種類すべての精度で、入力と出力は
float32のままです。そのため、FP32モデル用に記述した推論コードは、同じnmsレイアウトでエクスポートした量子化モデルでも変更せずに実行できます。 'w8a32':ダイナミックレンジ量子化です。キャリブレーションデータは不要で、nms=Falseを使用したNMSフリーヘッドに対応します。また、実測性能のCPU列とGPU列に示す公式モバイルモデルで使用されている精度です。8および'w8a16':静的量子化です。エクスポート時に、dataのval分割、またはsplitで指定した分割について、完全なバッチごとにキャリブレーションします。画像数が300枚未満の場合は警告が表示されます。画像数を制限するにはfractionを使用します。quantize=8でのヘッド出力: 検出、セグメンテーション、分類、ポーズ、OBBモデルでは、INT8によってクラススコアがクリップされ、ボックス座標の精度が粗くなるため、ヘッドの出力レイヤーと出力をデコードする処理は浮動小数点形式のまま維持されます。'w8a16'では、16ビットのアクティベーションを使用してこれらのレイヤーも量子化します。- NMSフリーヘッド:YOLO26またはYOLOv10モデルの
quantize=8および'w8a16'エクスポートでは、one-to-manyヘッドが使用され、生の予測値が返されるためNMSが必要です。nms=Falseの場合も同様です。 - FP16:FP16エクスポートには対応していません。LiteRT GPUデリゲートはデフォルトで、FP32モデルを半精度で実行するため、
quantize=16は不要であり、指定するとエラーになります。
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# COCOの検証画像の10%(500枚)でキャリブレーションします。coco.yamlを独自のデータセットに置き換えてください
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1) # 'yolo26n_int8.tflite'を生成します
# エクスポートしたINT8モデルを読み込み、推論を実行する
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")量子化によって精度が変化します。その影響はモデル、タスク、キャリブレーション画像によって異なります。デプロイする前に、実際のデータで量子化モデルを検証してください。
出力形式#
エクスポートでは、単一の.tfliteファイルが作成されます。モデルは形状が(batch, 3, height, width)の入力を1つ受け取ります。入力はRGB、チャネル先行(NCHW)、float32で、値は0~1にスケーリングされます。これは、チャネル後置(NHWC)画像を受け取っていた以前のformat="tflite"エクスポートによるTFLiteファイルとは異なります。nms引数とタスクによって出力が決まります。以下の形状は、デフォルトのエクスポートサイズを使用した公式YOLO26nチェックポイントのものです。セマンティックセグメンテーションには、Cityscapesチェックポイントyolo26n-sem.ptを使用しています。
| タスク | デフォルトの imgsz | nms=None を使用した出力 | nms=False を使用した出力 |
|---|---|---|---|
| Detect | 640 | (1, 84, 8400) | (1, 300, 6) |
| Segment | 640 | (1, 116, 8400)と(1, 32, 160, 160) | (1, 300, 38)と(1, 32, 160, 160) |
| セマンティック | 1024 | (1, 19, 1024, 1024)。各クラスおよび各ピクセルのスコア | nms=Noneと同じ |
| 深度 | 768 | (1, 1, 768, 768)、深度マップ | nms=Noneと同じ |
| 分類 | 224 | (1, 1000)、クラス確率 | nms=Noneと同じ |
| 姿勢推定 | 640 | (1, 56, 8400) | (1, 300, 57):ボックス値6個に続いて、キーポイント17個×3 |
| OBB | 1024 | (1, 20, 21504) | (1, 300, 7):ボックス値4個、スコア、クラス、角度 |
- 生の出力(
nms=None):形状は(batch, values, anchors)です。各アンカーには、ボックスの中心x、中心y、幅、高さ、続いてクラススコア、さらにタスクの値(マスク係数32個、キーポイント値17個×3、またはラジアン単位のOBB角度)が含まれます。ボックス値とキーポイントのxおよびyは0~1に正規化されているため、入力の幅と高さを掛けてください。NMSは独自に適用してください。 - NMSフリー出力(
nms=False):max_det行(デフォルトは300行)のx1, y1, x2, y2, score, classが入力画像のピクセル単位で返され、NMS処理はありません。OBBの行はcenter x, center y, width, height, score, class, angleで、角度はラジアン単位です。スコアで行をフィルタリングしてください。NMSフリーヘッドを備えたモデルのFP32および'w8a32'エクスポートで利用できます。 - セグメンテーション:各アンカーまたは行の最後の32個の値がマスク係数で、2番目の出力にはマスクプロトタイプが含まれます。
- セマンティックセグメンテーション:ONNXエクスポートのクラスマップではなく、クラススコアが出力されます。そのため、独自のコードでクラス軸に沿ってargmaxを計算してください。
YOLO("yolo26n.tflite")はファイルのメタデータからレイアウトを読み取り、座標をスケーリングするため、独自のコードでモデルを実行する場合にのみ、これらの詳細が必要です。メタデータはmetadata.jsonエントリーで、エクスポート時にZIPアーカイブとしてファイルに追加され、任意のZIPライブラリで読み取れます。キーにはnames、task、imgsz、stride、batch、end2end、argsが含まれます。poseモデルの場合はkpt_shapeも含まれます。
LiteRT Interpreterで実行する#
Ultralyticsパッケージの外部でモデルを実行するには、ai-edge-litertパッケージのInterpreterで読み込みます。テンソル名に依存せず、モデルから入力および出力の形状を読み取ってください。セグメンテーションモデルには2つの出力があります。3次元の出力には検出結果が、4次元の出力にはマスクプロトタイプが含まれます。
# まずエクスポートします:yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile
import numpy as np
from ai_edge_litert.interpreter import Interpreter
interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()
image = np.zeros((1, 3, 640, 640), dtype=np.float32) # 前処理済み画像:RGB、NCHW、0~1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0] # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25] # 信頼度しきい値を超える行を保持
with zipfile.ZipFile("yolo26n.tflite") as z:
names = json.loads(z.read("metadata.json"))["names"] # {'0': 'person', '1': 'bicycle', ...}デプロイする#
YOLO("yolo26n.tflite")は、CPU上でai-edge-litert Interpreterを使用して、最大8スレッドでモデルを実行します。0やmpsなど、その他のdevice値もCPUで実行されます。xpuとnpuはIntelハードウェアを選択します。推論デバイスの表では、形式ごとのこれらの名称を比較しています。
モデルは常に、エクスポート時のimgszおよびbatchで実行されます。これらの値はUltralyticsがファイルのメタデータから読み取ります。predictまたはvalに渡したimgszは無視されます。大きなバッチはエクスポート時のバッチサイズに合わせて分割され、小さなバッチはパディングされるため、任意の枚数の画像を処理できます。
Intel GPUおよびNPUでの推論#
エクスポートした.tfliteモデルは、LiteRT Intel OpenVINOプラグインを介してIntelハードウェアで実行できます。GPUにはdevice=xpu、NPUにはdevice=npuを指定します。初回使用時にUltralyticsがai-edge-litert>=2.3.0とai-edge-litert-sdk-intelをインストールします。このプラグインは独自のopenvinoバージョンを固定するため、異なるバージョンのOpenVINOモデルも実行する場合は、別の環境にしてください。NPUには、Intel NPUドライバーをインストールしたIntel Core Ultraプロセッサーが必要です。Core Ultra X7 358Hで実測したレイテンシーをご覧ください。要求されたIntelデバイスがないマシンでは、OpenVINOプラグインによるモデルのコンパイルが失敗し、LiteRTはOpenVINO経由ではなく、独自のCPUバックエンド(XNNPACK)で実行します。AMDサーバーCPUでは、YOLO26nの画像あたりの処理時間はdevice=xpuとdevice=npuで29~30 msでしたが、device=cpuでは18 msでした。この場合、Ultralyticsは警告をログに記録しないため、device=cpuでレイテンシーを比較し、デバイスが使用されていることを確認してください。
from ultralytics import YOLO
model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu") # または "xpu"デプロイガイド#
- Ultralytics YOLO Flutterプラグイン:LiteRTの
.tfliteエクスポートをAndroidで実行し、リアルタイムのカメラ推論、単一画像の予測、GPUアクセラレーションに対応します。 - @ultralytics/yolo npmパッケージ:LiteRTの
.tfliteエクスポートを、WebGPUアクセラレーションとCPU(WASM)フォールバックを備えたLiteRT.jsを介してブラウザーで実行します。npm i @ultralytics/yolo @litertjs/coreでインストールします。 - MediaTek Dimensity:NPUを含むMediaTek製スマートフォンでのAndroidデプロイに対応します。
- Qualcomm QNNおよびCore ML:それぞれSnapdragon NPUおよびAppleデバイス向けの形式です。
- NXP i.MX95およびCoral Edge TPU:これらのアクセラレーター向けの形式です。
- Raspberry Pi:Raspberry PiボードでUltralyticsをセットアップします。
- LiteRTドキュメント:AndroidおよびiOSアプリケーション、またはブラウザーにランタイムを統合します。
制限事項とトラブルシューティング#
- エクスポートホスト:WindowsおよびRaspberry PiなどのLinux ARM64では、エクスポートが
LiteRT export only supported on Linux x86 and macOSで失敗します。対応ホストでエクスポートし、.tfliteファイルをデバイスにコピーしてください。 - 通常のインストール後の初回エクスポート:初回のエクスポート時に、インストール済みのPyTorchバージョンを受け入れない
litert-torchがインストールされると(0.10.0は2.4.0以上、2.15.0未満を受け入れます)、pipがPyTorchを置き換え、UltralyticsはRestart runtime or rerun command for updates to take effectをログに記録します。その結果、PyTorch 2.15.0でのエクスポートがRuntimeError: duplicate registrations for aten.miopen_batch_norm.defaultにより失敗することがあります。エクスポートを再実行してください。 - FP16:
quantize=16はquantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32).で失敗します。FP32でエクスポートし、GPUデリゲートで半精度実行してください。 quantize=8でトレーニングされたチェックポイント:量子化を考慮したトレーニングでファインチューニングしたチェックポイントは、format='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backendsでエクスポートすると失敗します。代わりに、ファインチューニングの開始元となったチェックポイントをquantize=8でエクスポートするか、ファインチューニング済みチェックポイントをONNXまたはTensorRTにエクスポートしてください。quantize=8または'w8a16'を使用したNMSフリーヘッド:nms=Falseの場合、エクスポートはLiteRT INT8 export does not support end2end models, disabling end2end branch.をログに記録し、NMSが必要な生の予測値を書き出します。NMSフリーヘッドを維持するには、FP32または'w8a32'を使用してください。- 組み込みNMS:
nms=Trueはformat=litert does not support embedded NMS; exporting native outputs for external NMS.を記録し、未加工の出力を書き込みます。 - その他のモデルでのNMSフリーヘッド:
nms=Falseには、YOLO26やYOLOv10など、NMSフリーヘッドを備えたモデルが必要です。YOLO11などのその他のモデルでは、エクスポート時にThis model has no one-to-one head; using one-to-many outputs.の警告が表示され、生の(1, 84, 8400)出力が書き出されます。 - 入力形状は固定です:
dynamic=Trueはargument 'dynamic' is not supported for format='litert'で失敗します。画像サイズまたはバッチサイズを変更するには、再度エクスポートしてください。 dataを指定しないキャリブレーション:quantize=8または'w8a16'のエクスポートでは、INT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.がログに記録され、タスク用の小規模なデフォルトデータセットでキャリブレーションされます。デプロイ環境を代表する画像を含むdataを指定してください。- キャリブレーションサイズ: キャリブレーション分割の画像が300枚未満の場合、エクスポート時に
>300 images recommended for INT8 calibration, found 4 images.が記録されます。coco8.yamlの検証画像はわずか4枚で、エクスポートのテストには十分ですが、デプロイ用モデルのキャリブレーションには不十分です。 - x86 CPUでの
'w8a16':LiteRT CPU Interpreterでは、8スレッドのAMD EPYC 9655サーバーCPU上でYOLO26nの'w8a16'モデルを実行した場合、画像あたり約1秒かかりました。一方、FP32モデルでは約17 msでした。デプロイ先のデバイスとデリゲートで'w8a16'を測定してください。 - ファイル名:同じチェックポイントを同じ
quantize値でエクスポートするたびに、同じファイルが作成されます。たとえば、FP32ではyolo26n.tfliteになります。imgsz、batch、nmsの値にかかわらず、後のエクスポートで前のファイルが置き換えられます。
その他のエラーについては、よくある問題のガイドを参照してください。
実測パフォーマンス#
以下の表は、各タスクのYOLO26nモデルについて、4種類のAndroidスマートフォンとIntel Core Ultraプロセッサーでの1画像あたりのレイテンシーを示しています。各セルにはミリ秒単位の合計時間と、その下に前処理/推論/後処理の内訳が示されます。モデルごとに最速の列は太字です。YOLO26モデルのページでは、PyTorchチェックポイントの精度を確認できます。
Xiaomi 17#
ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Xiaomi 17。3 nmプロセスの Snapdragon 8 Elite Gen 5(SM8850)は、8コアのQualcomm Oryon CPU(最大4.6 GHzのPrimeコア2基、最大3.62 GHzのPerformanceコア6基)、Adreno GPU、Hexagon NPUを備えています。
| モデル | タスク | サイズ (ピクセル) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ミリ秒) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.9 1.9 / 32.6 / 2.3 | 10.6 1.8 / 6.2 / 2.6 | 10.1 3.5 / 4.0 / 2.5 |
| YOLO26n-seg | Segment | 640 | 50.5 1.9 / 42.9 / 5.8 | 18.0 1.9 / 9.5 / 6.6 | 19.2 3.6 / 5.9 / 9.7 |
| YOLO26n-sem | セマンティック | 640 | 45.7 1.9 / 35.7 / 8.2 | 30.6 1.9 / 20.5 / 8.3 | 25.8 3.6 / 11.0 / 11.3 |
| YOLO26n-depth | 深度 | 640 | 66.8 2.2 / 55.0 / 9.7 | 21.9 2.1 / 10.1 / 9.8 | 24.8 4.3 / 6.0 / 14.5 |
| YOLO26n-cls | 分類 | 224 | 3.6 0.3 / 3.3 / 0.0 | 2.0 0.4 / 1.4 / 0.2 | 1.5 0.6 / 0.7 / 0.3 |
| YOLO26n-pose | 姿勢推定 | 640 | 39.9 2.0 / 36.5 / 1.4 | 10.0 1.8 / 6.7 / 1.4 | 11.5 3.5 / 4.2 / 3.8 |
| YOLO26n-obb | OBB | 640 | 36.3 2.0 / 33.2 / 1.2 | 10.1 2.6 / 5.9 / 1.6 | 8.2 3.5 / 3.7 / 0.9 |
- 速度の値は単一画像のバーストレイテンシです。
bus.jpg上でウォームアップ3回の後に15回実行した平均値を、Ultralytics Flutterプラグイン0.7.1と公式のv0.7.0アセット(Ultralytics 8.4.188でエクスポート)を使用して測定しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。 - LiteRTエクスポートではPyTorchモデルを直接トレースし、浮動小数点入力のNCHW
.tfliteを生成します。GPUデリゲートはグラフ全体をコンパイルし(ここでは7つすべてのタスクがAdreno GPU上で実行されます)、w8a32ではキャリブレーションデータは不要です。従来のonnx2tf NHWCレイアウトやIdentityの出力名を前提とせず、テンソル形状とシグネチャ名を確認してください。RGBデータは平面CHW形式で直接パックするか、推論前に転置してください。セマンティックエクスポートはNCHWロジットを返すため、ホスト側でクラスのargmax処理が必要です。公式Androidアセットはyolo-flutter-appv0.7.0リリースで提供されており、詳細なベンチマーク記録はFlutterパフォーマンスドキュメントにあります。 - NPU列はLiteRT独自のNPUパスです。FP32エクスポート(
yolo export format=litert、quantizeなし)を、litert-npu-runtime-qualcommと-mediatekの2.3.0ランタイムでデバイス上でコンパイルし、FlutterプラグインのNPUプロトタイプビルド(未リリース)を使用して測定しました。初回ロードにはコンパイル時間が含まれます(nでは約0.3秒、xでは最大6秒)。w8a32アセットは、これらのNPUでは完全にはコンパイルできません。LiteRTはグラフをGPU上でサイレントに実行する場合でもNPUコンパイルを報告するため、NPUの各行をGPUの実行時間と照合しました。フォールバックした行は — で示しています。 - 公式QNNアセットを使用したSnapdragon Hexagon NPUの対応する数値は、Qualcomm QNN統合に掲載されています。
- Apple CPU/アクセラレーターの結果は、CoreML統合で比較できます。
以下のデバイス別スイープでは、同じ公式 v0.7.0 アセットを使用しています。
Google Pixel 10#
ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Google Pixel 10。3 nmプロセスの Google Tensor G5 は、8コアCPU(最大3.78 GHzのPrimeコア1基、最大3.05 GHzのPerformanceコア5基、最大2.25 GHzのEfficiencyコア2基)、PowerVR D-Series GPU、Google TPUを備えています。Googleはリンク先の仕様でコアクロックとGPUドライバー名を公開していないため、ベンチマーク対象デバイスから読み取りました。
| モデル | タスク | サイズ (ピクセル) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) |
|---|---|---|---|---|
| YOLO26n | Detect | 640 | 36.6 1.5 / 33.5 / 1.6 | 36.5 3.5 / 28.4 / 4.6 |
| YOLO26n-seg | Segment | 640 | 53.1 1.5 / 45.8 / 5.7 | 51.5 1.6 / 40.1 / 9.9 |
| YOLO26n-sem | セマンティック | 640 | 57.2 1.5 / 47.7 / 8.0 | 75.9 1.8 / 63.4 / 10.8 |
| YOLO26n-depth | 深度 | 640 | 75.0 1.6 / 65.1 / 8.3 | 50.1 1.7 / 33.5 / 14.9 |
| YOLO26n-cls | 分類 | 224 | 6.1 0.3 / 5.5 / 0.3 | 12.1 0.9 / 11.0 / 0.1 |
| YOLO26n-pose | 姿勢推定 | 640 | 35.2 1.5 / 31.9 / 1.8 | 38.2 3.5 / 29.3 / 5.4 |
| YOLO26n-obb | OBB | 640 | 32.7 1.5 / 29.3 / 1.9 | 38.8 3.8 / 29.6 / 5.4 |
ベンチマーク: bus.jpg 上で predict() をウォームアップ3回の後に15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。Tensor NPUにはLiteRTの行がありません。GoogleのEdgeTPUサービスは許可リストにないアプリを拒否し、その場合LiteRTはモデルをGPU上で実行します。
Samsung Galaxy S26#
ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Samsung Galaxy S26(SM-S942B)。2 nmプロセスの Exynos 2600 は、10コアのArmv9.3 CPU(最大3.8 GHzのC1-Ultraコア1基、最大3.26 GHzのPerformance C1-Proコア3基、最大2.76 GHzのEfficiency C1-Proコア6基)、Xclipse 960 GPU、Samsung NPUを備えています。
| モデル | タスク | サイズ (ピクセル) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT w8a32 AOT (ミリ秒) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 30.2 1.3 / 27.3 / 1.6 | 15.9 1.4 / 11.5 / 2.9 | 12.2 1.3 / 8.6 / 2.2 |
| YOLO26n-seg | Segment | 640 | 45.6 1.3 / 39.1 / 5.2 | 30.5 1.3 / 23.6 / 5.6 | 17.0 1.4 / 9.7 / 5.8 |
| YOLO26n-sem | セマンティック | 640 | 38.1 1.3 / 28.6 / 8.2 | 26.1 1.3 / 16.8 / 7.9 | 28.3 1.7 / 15.1 / 11.5 |
| YOLO26n-depth | 深度 | 640 | 63.5 1.4 / 53.6 / 8.4 | 37.3 1.4 / 24.6 / 11.3 | 28.4 2.1 / 12.9 / 13.4 |
| YOLO26n-cls | 分類 | 224 | 3.8 0.2 / 3.4 / 0.2 | 2.8 0.2 / 2.6 / 0.0 | 6.1 0.5 / 5.2 / 0.4 |
| YOLO26n-pose | 姿勢推定 | 640 | 31.1 1.3 / 28.4 / 1.4 | 18.4 1.6 / 13.0 / 3.8 | 13.5 1.8 / 9.5 / 2.2 |
| YOLO26n-obb | OBB | 640 | 27.9 1.3 / 25.7 / 0.9 | 15.3 1.9 / 11.4 / 2.1 | 11.4 1.7 / 8.3 / 1.4 |
ベンチマーク: bus.jpg 上で predict() をウォームアップ3回の後に15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。NPU列では、LiteRTのSamsungコンパイラープラグインを使用してExynos 2600(E9965)向けに事前コンパイルされた w8a32 アセットを使用しています。SamsungはLiteRT 2.3にオンデバイスコンパイラーを提供しておらず、GoogleもSamsung NPUランタイムをまだ公開していないため、これらの行ではLiteRT 2.3のソースから構築したディスパッチライブラリを使用しました。
Xiaomi 17T Pro#
ハードウェア: 12 GBのLPDDR5XメモリとAndroid 16 / API 36を搭載したXiaomi 17T Pro(2602EPTC0G)。3 nmのMediaTek Dimensity 9500(MT6993)は、8コアのArmv9.3 CPU(最大4.21 GHzのC1-Ultraコア1基、最大3.5 GHzのC1-Premiumコア3基、最大2.7 GHzのC1-Proコア4基)、Mali-G1 Ultra MC12 GPU、MediaTek NPU 990を搭載しています。
| モデル | タスク | サイズ (ピクセル) | CPU w8a32 LiteRT (ms) | GPU w8a32 LiteRT (ms) | NPU LiteRT FP32 (ミリ秒) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 31.4 1.5 / 28.0 / 1.9 | 25.6 1.4 / 22.2 / 2.0 | 11.0 1.3 / 7.8 / 1.8 |
| YOLO26n-seg | Segment | 640 | 77.8 2.6 / 65.3 / 9.9 | 47.4 2.6 / 33.6 / 11.3 | 36.5 2.6 / 23.4 / 10.4 |
| YOLO26n-sem | セマンティック | 640 | 81.3 2.6 / 62.2 / 16.5 | 79.3 2.6 / 59.5 / 17.1 | 87.6 2.6 / 68.3 / 16.7 |
| YOLO26n-depth | 深度 | 640 | 111.3 3.4 / 91.1 / 16.8 | 55.3 2.8 / 36.3 / 16.1 | — |
| YOLO26n-cls | 分類 | 224 | 6.3 0.5 / 5.4 / 0.4 | 8.1 0.5 / 7.5 / 0.1 | 3.2 0.5 / 2.2 / 0.5 |
| YOLO26n-pose | 姿勢推定 | 640 | 53.9 2.6 / 49.5 / 1.8 | 32.8 2.7 / 26.7 / 3.4 | 16.2 2.9 / 11.1 / 2.3 |
| YOLO26n-obb | OBB | 640 | 49.5 2.7 / 44.4 / 2.4 | 29.4 2.8 / 22.7 / 3.9 | — |
ベンチマーク: bus.jpg 上で、3回のウォームアップ後に predict() を15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しています。CPU/GPUの順序は、1回の連続した測定内でタスクごとに交互に切り替えています。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がグラフ全体をLiteRT OpenCL(LITERT_CL)に委譲したことを確認しました。 DepthとOBBにはNPUの結果がありません。MediaTek NPUコンパイラーが指数関数演算と三角関数演算を拒否し、LiteRTはこれらのグラフをGPUで実行するためです。
Android のデプロイワークフローと NPU の制限については、MediaTek Dimensity ガイドをご覧ください。
Intel Core Ultra X7 358H#
ハードウェア: Intel Core Ultra X7 358H (Panther Lake)およびIntel AI Boost NPU 5010、Fedora Linux、NPUドライバー1.38.0、ai-edge-litert 2.3.0。
| モデル | タスク | サイズ (ピクセル) | CPU w8a32 LiteRT (ms) | CPU w8a32 Intel (ms) | NPU w8a32 Intel (ms) |
|---|---|---|---|---|---|
| YOLO26n | Detect | 640 | 17.5 0.8 / 16.1 / 0.6 | 22.6 1.2 / 20.6 / 0.8 | 4.8 1.0 / 3.3 / 0.4 |
| YOLO26n-seg | Segment | 640 | 24.2 0.9 / 22.1 / 1.3 | 32.6 1.0 / 30.1 / 1.5 | 6.2 0.8 / 4.2 / 1.2 |
| YOLO26n-sem | セマンティック | 640 | 25.2 1.0 / 14.2 / 10.0 | 33.1 1.1 / 21.9 / 10.2 | 16.5 1.0 / 5.5 / 10.0 |
| YOLO26n-depth | 深度 | 640 | 31.7 0.9 / 30.2 / 0.5 | 76.6 0.9 / 75.2 / 0.5 | 9.1 1.0 / 7.5 / 0.5 |
| YOLO26n-cls | 分類 | 224 | 4.6 2.8 / 1.7 / 0.0 | 7.3 3.3 / 3.9 / 0.0 | 4.1 3.2 / 0.9 / 0.0 |
| YOLO26n-pose | 姿勢推定 | 640 | 20.3 0.8 / 19.0 / 0.5 | 28.6 1.1 / 26.8 / 0.8 | 6.3 0.8 / 4.9 / 0.5 |
| YOLO26n-obb | OBB | 640 | 17.2 0.8 / 16.1 / 0.3 | 22.1 1.2 / 20.5 / 0.4 | 4.6 0.9 / 3.4 / 0.3 |
ベンチマーク: bus.jpg上で3回ウォームアップした後に実行した、predict()の呼び出し15回の平均値です。ultralytics 8.4.174およびai-edge-litert 2.3.0を使用し、w8a32でエクスポートしています。各セルには合計時間が表示され、その下に前処理/推論/後処理の内訳が示されます。
LiteRTについて#
LiteRTはLite Runtimeの略称で、名称を新たにしてTensorFlow Liteを引き継ぎ、同じ.tfliteモデル形式を実行します。CPUではXNNPACKを使用し、GPUおよびNPUではハードウェアデリゲートを介してモデルを実行します。また、LiteRT.jsを使用すると、同じファイルをブラウザーおよびNode.jsで実行できます。詳細については、LiteRTドキュメントをご覧ください。
視聴: Ultralytics YOLO26をGoogle LiteRTにエクスポートする方法 | AndroidとiOSでビジョンAIをデプロイ | モバイルAI 📱🚀
よくある質問#
まずは
quantize="w8a32"をお試しください。キャリブレーションデータは不要で、ファイルサイズはFP32の3分の1未満になり、nms=Falseを使用したYOLO26のNMSフリーヘッドに対応します。また、CPUおよびGPU向けの公式Ultralyticsモバイルモデルで採用されている精度です。ターゲットで整数活性化が必要な場合は、quantize=8を使用してください。たとえば、NXP i.MX95へのエクスポートでは、キャリブレーション済みのINT8 LiteRTモデルをコンパイルします。'w8a16'は8より多くの活性化精度を維持します。どちらも代表的なキャリブレーションデータが必要で、NMSが必要な生の予測値を返します。方式ごとの対応状況はCPU、GPU、NPUデリゲートによって異なるため、選択する前にターゲットデバイスでレイテンシーと精度を測定してください。いいえ。エクスポートはLinux x86-64およびAppleシリコン搭載Macでのみ実行できます。これらのホストのいずれか、またはUltralytics Platformでモデルをエクスポートし、
.tfliteファイルをデバイスにコピーしてください。ボード上でモデルを実行する方法についてはRaspberry Piガイドをご覧ください。Coral Edge TPUを使用して推論を高速化できます。はい。LiteRT.jsは、エクスポート済みの
.tfliteファイルをWebGPUまたはWASMを使用してブラウザーまたはNode.jsで実行するため、ブラウザー専用のエクスポートは不要です。@ultralytics/yolo npmパッケージは、detect、segment、semantic、classify、pose、OBBタスク向けに、Webカメラおよび単一画像の推論機能を提供します。Ultralytics YOLO Flutterプラグインを使用すると、AndroidでLiteRTの
.tfliteエクスポートを読み込み、YOLO26の7つすべてのタスクを実行できます。公式モデルに合わせるには、imgsz=640でエクスポートしてください。分類の場合はimgsz=224を指定します。ネイティブアプリの場合は、LiteRT Androidガイドに従い、出力形式の説明に従ってモデルに入力してください。iPhoneでは、ネイティブ形式としてCore MLを使用します。
コメント
質問したり、結果を共有したり、ほかの人をサポートしたりできます。