はじめる

Google LiteRTエクスポート

LiteRTはGoogleのオンデバイスAI向けランタイムであり、TensorFlow Lite(TFLite)の新しい名称です。format="litert"を使用してUltralytics YOLO26モデルをエクスポートすると、AndroidおよびiOSのスマートフォン、組み込みLinuxボード、Webブラウザー向けの単一の.tfliteファイルが作成されます。形式はFP32、または3種類のINT8量子化方式のいずれかです。

概要#

プロパティ詳細
format 引数litert。以前のtfliteとtfjsの値も引き続き使用できます。非推奨の警告をログに記録し、同じLiteRTファイルをエクスポートします
出力yolo26n.tflite。クラス名、タスク、画像サイズがメタデータとしてファイル内に保存された単一ファイルです。量子化エクスポートの名前はyolo26n_w8a32.tflite、yolo26n_int8.tflite、yolo26n_w8a16.tfliteです
実行環境AndroidおよびiOSデバイス、組み込みLinuxボード、デスクトップCPU、LiteRT.jsを介したWebブラウザー、Intel GPUおよびNPU
ランタイムLiteRT:ai-edge-litert Pythonパッケージ(2.1.4以降)、AndroidおよびiOS向けLiteRTライブラリ、またはLiteRT.js
適合率FP32、w8a32、INT8、w8a16。YOLO26nはFP32で10.0 MB、w8a32では2.9 MB、INT8では3.1 MB、w8a16では3.0 MBです
エクスポートホストPython 3.10以降を搭載したLinux x86-64またはAppleシリコン搭載Mac。エクスポートはCPUで実行され、GPUは不要です
クラウドでエクスポート

Ultralytics Platformでは、トレーニング済みモデルをLiteRTにエクスポートできるため、ローカルにエクスポート環境を用意する必要はありません。

クイックスタート#

LiteRTエクスポート用の依存関係とともにUltralyticsパッケージをインストールします。

pip install "ultralytics[export-litert]"

これにより、litert-torch、ai-edge-litert、ai-edge-quantizerがインストールされます。通常のpip install ultralyticsを使用すると、最初のエクスポート時に不足しているパッケージがインストールされますが、PyTorchが置き換えられる場合はエラーで停止することがあります。エクスポートには次のバージョン要件があります。

パッケージ必須バージョン
Python3.10以降
litert-torch0.10.0以降
torchインストール済みのlitert-torchが受け入れる範囲:2.4.0以降、0.10.0の場合は2.15.0未満
ai-edge-litertエクスポートには2.3.0以降が必要です。エクスポート済みモデルの実行には、Python 3.10以降で2.1.4以降が必要です
ai-edge-quantizerquantize="w8a32"、quantize=8、"w8a16"には0.10.0以降が必要です

その他のインストール方法については、インストールガイドをご覧ください。次に、モデルをエクスポートし、エクスポートしたファイルを読み込んで推論を実行するか、精度を検証します。

エクスポート
from ultralytics import YOLO

# YOLO26モデルを読み込みます
model = YOLO("yolo26n.pt")

# モデルをLiteRT形式にエクスポートします
model.export(format="litert")  # 'yolo26n.tflite'を作成します

# キャリブレーションデータが不要な、INT8重みとFP32活性化を使用したエクスポート
model.export(format="litert", quantize="w8a32")  # 'yolo26n_w8a32.tflite'を生成します
推論
from ultralytics import YOLO

# エクスポートしたLiteRTモデルを読み込みます
model = YOLO("yolo26n.tflite")

# 推論を実行
results = model("https://ultralytics.com/images/bus.jpg")
検証
from ultralytics import YOLO

# エクスポートしたLiteRTモデルを読み込みます
model = YOLO("yolo26n.tflite")

# COCO8データセットで精度を検証します
metrics = model.val(data="coco8.yaml")

対応タスク#

LiteRTエクスポートは、YOLOv8、YOLO11、YOLO26モデルで、Ultralyticsの7つすべてのタスクに対応しています。検出、インスタンスセグメンテーション、セマンティックセグメンテーション、深度推定、分類、姿勢推定、OBBに対応します。セマンティックセグメンテーションと深度推定はYOLO26のみで利用できます。これらのヘッドを搭載しているのはYOLO26だけです。

エクスポート引数#

引数種類デフォルト説明
formatstr'litert'エクスポートしたモデルのターゲットフォーマットです。さまざまなデプロイ環境との互換性を定義します。
imgszintまたはtuple640モデル入力の画像サイズです。正方形の画像の場合は整数、またはタプル(height, width)を指定します。指定しない場合、チェックポイントのトレーニング時のサイズが使用されます。公式YOLO26チェックポイントでは、detect、segment、poseモデル、およびADE20Kで事前トレーニングされたsemanticモデルに640、OBBモデルおよびCityscapesで事前トレーニングされたsemanticモデルに1024、depthに768、classifyに224が使用されます。
quantizeintまたはstrNone量子化方式:'w8a32'(INT8重み、FP32活性化、キャリブレーションなし)、8(INT8重みと活性化、dataでキャリブレーション)、または'w8a16'(INT8重み、INT16活性化、dataでキャリブレーション)です。32または未設定の場合はFP32です。16を指定するとエラーになり、quantize=8でトレーニングしたチェックポイントはLiteRTにエクスポートできません。詳しくは制限事項とトラブルシューティングをご覧ください。非推奨のhalfおよびint8フラグに代わるものです。
datastrNonequantize=8および'w8a16'でキャリブレーションに使用するデータセットYAMLです。分類の場合は、データセットディレクトリまたは組み込みデータセット名を指定します。splitが設定されていない場合、キャリブレーションにはvalの分割が使用されます。省略すると、Ultralyticsはタスクに対応する小規模なデフォルトデータセットを使用します。たとえば、検出の場合はcoco8.yamlです。
fractionfloat、int、またはlist1.0キャリブレーション用サブセット: 比率、画像数(1を超える整数)、または[train, val, test]リストを指定します。リストの場合、キャリブレーション分割のエントリが使用されます。
nmsbool、省略可None生の出力(デフォルトのNone)またはNMSフリーヘッド(FP32および'w8a32'エクスポートのみのFalse)を選択します。LiteRTでは組み込みNMS(True)を使用できません。出力形式をご覧ください。
batchint1エクスポート済みモデルのバッチサイズです。入力形状に固定され、キャリブレーションにも使用されます。
devicestrNone指定された値にかかわらず、エクスポートは常にCPUで実行されます。

すべての形式に共通する引数については、エクスポートモードのドキュメントを参照してください。

公式のモバイルモデルおよびWebモデルの画像サイズ

公式のLiteRT、Core ML、QNNモバイルモデルはimgsz=640でエクスポートされ、分類の場合はimgsz=224でエクスポートされます。Cityscapesのセマンティック、深度、OBBチェックポイントは、デフォルトでより大きなサイズにエクスポートされるため、サイズを合わせるにはimgsz=640を指定してください。

量子化#

quantizeでは、3種類のINT8方式のいずれかを選択します。いずれも重みを8ビット整数で保存し、層間を流れる値である活性化の保存方法が異なります。

quantize重み活性化キャリブレーションデータYOLO26nファイルサイズ
未設定または32FP32FP32いいえyolo26n.tflite10.0 MB
'w8a32'INT8FP32いいえyolo26n_w8a32.tflite2.9 MB
8INT8INT8はいyolo26n_int8.tflite3.1 MB
'w8a16'INT8INT16はいyolo26n_w8a16.tflite3.0 MB
  • 入力と出力:4種類すべての精度で、入力と出力はfloat32のままです。そのため、FP32モデル用に記述した推論コードは、同じnmsレイアウトでエクスポートした量子化モデルでも変更せずに実行できます。
  • 'w8a32':ダイナミックレンジ量子化です。キャリブレーションデータは不要で、nms=Falseを使用したNMSフリーヘッドに対応します。また、実測性能のCPU列とGPU列に示す公式モバイルモデルで使用されている精度です。
  • 8および'w8a16':静的量子化です。エクスポート時に、dataのval分割、またはsplitで指定した分割について、完全なバッチごとにキャリブレーションします。画像数が300枚未満の場合は警告が表示されます。画像数を制限するにはfractionを使用します。
  • quantize=8でのヘッド出力: 検出、セグメンテーション、分類、ポーズ、OBBモデルでは、INT8によってクラススコアがクリップされ、ボックス座標の精度が粗くなるため、ヘッドの出力レイヤーと出力をデコードする処理は浮動小数点形式のまま維持されます。'w8a16'では、16ビットのアクティベーションを使用してこれらのレイヤーも量子化します。
  • NMSフリーヘッド:YOLO26またはYOLOv10モデルのquantize=8および'w8a16'エクスポートでは、one-to-manyヘッドが使用され、生の予測値が返されるためNMSが必要です。nms=Falseの場合も同様です。
  • FP16:FP16エクスポートには対応していません。LiteRT GPUデリゲートはデフォルトで、FP32モデルを半精度で実行するため、quantize=16は不要であり、指定するとエラーになります。
例
from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# COCOの検証画像の10%(500枚)でキャリブレーションします。coco.yamlを独自のデータセットに置き換えてください
model.export(format="litert", quantize=8, data="coco.yaml", fraction=0.1)  # 'yolo26n_int8.tflite'を生成します

# エクスポートしたINT8モデルを読み込み、推論を実行する
model = YOLO("yolo26n_int8.tflite")
results = model("https://ultralytics.com/images/bus.jpg")

量子化によって精度が変化します。その影響はモデル、タスク、キャリブレーション画像によって異なります。デプロイする前に、実際のデータで量子化モデルを検証してください。

出力形式#

エクスポートでは、単一の.tfliteファイルが作成されます。モデルは形状が(batch, 3, height, width)の入力を1つ受け取ります。入力はRGB、チャネル先行(NCHW)、float32で、値は0~1にスケーリングされます。これは、チャネル後置(NHWC)画像を受け取っていた以前のformat="tflite"エクスポートによるTFLiteファイルとは異なります。nms引数とタスクによって出力が決まります。以下の形状は、デフォルトのエクスポートサイズを使用した公式YOLO26nチェックポイントのものです。セマンティックセグメンテーションには、Cityscapesチェックポイントyolo26n-sem.ptを使用しています。

タスクデフォルトの imgsznms=None を使用した出力nms=False を使用した出力
Detect640(1, 84, 8400)(1, 300, 6)
Segment640(1, 116, 8400)と(1, 32, 160, 160)(1, 300, 38)と(1, 32, 160, 160)
セマンティック1024(1, 19, 1024, 1024)。各クラスおよび各ピクセルのスコアnms=Noneと同じ
深度768(1, 1, 768, 768)、深度マップnms=Noneと同じ
分類224(1, 1000)、クラス確率nms=Noneと同じ
姿勢推定640(1, 56, 8400)(1, 300, 57):ボックス値6個に続いて、キーポイント17個×3
OBB1024(1, 20, 21504)(1, 300, 7):ボックス値4個、スコア、クラス、角度
  • 生の出力(nms=None):形状は(batch, values, anchors)です。各アンカーには、ボックスの中心x、中心y、幅、高さ、続いてクラススコア、さらにタスクの値(マスク係数32個、キーポイント値17個×3、またはラジアン単位のOBB角度)が含まれます。ボックス値とキーポイントのxおよびyは0~1に正規化されているため、入力の幅と高さを掛けてください。NMSは独自に適用してください。
  • NMSフリー出力(nms=False):max_det行(デフォルトは300行)のx1, y1, x2, y2, score, classが入力画像のピクセル単位で返され、NMS処理はありません。OBBの行はcenter x, center y, width, height, score, class, angleで、角度はラジアン単位です。スコアで行をフィルタリングしてください。NMSフリーヘッドを備えたモデルのFP32および'w8a32'エクスポートで利用できます。
  • セグメンテーション:各アンカーまたは行の最後の32個の値がマスク係数で、2番目の出力にはマスクプロトタイプが含まれます。
  • セマンティックセグメンテーション:ONNXエクスポートのクラスマップではなく、クラススコアが出力されます。そのため、独自のコードでクラス軸に沿ってargmaxを計算してください。

YOLO("yolo26n.tflite")はファイルのメタデータからレイアウトを読み取り、座標をスケーリングするため、独自のコードでモデルを実行する場合にのみ、これらの詳細が必要です。メタデータはmetadata.jsonエントリーで、エクスポート時にZIPアーカイブとしてファイルに追加され、任意のZIPライブラリで読み取れます。キーにはnames、task、imgsz、stride、batch、end2end、argsが含まれます。poseモデルの場合はkpt_shapeも含まれます。

LiteRT Interpreterで実行する#

Ultralyticsパッケージの外部でモデルを実行するには、ai-edge-litertパッケージのInterpreterで読み込みます。テンソル名に依存せず、モデルから入力および出力の形状を読み取ってください。セグメンテーションモデルには2つの出力があります。3次元の出力には検出結果が、4次元の出力にはマスクプロトタイプが含まれます。

# まずエクスポートします:yolo export model=yolo26n.pt format=litert nms=False
import json
import zipfile

import numpy as np
from ai_edge_litert.interpreter import Interpreter

interpreter = Interpreter(model_path="yolo26n.tflite")
interpreter.allocate_tensors()

image = np.zeros((1, 3, 640, 640), dtype=np.float32)  # 前処理済み画像:RGB、NCHW、0~1
interpreter.set_tensor(interpreter.get_input_details()[0]["index"], image)
interpreter.invoke()
detections = interpreter.get_tensor(interpreter.get_output_details()[0]["index"])[0]  # shape (300, 6)
assert detections.shape == (300, 6), "export the model with nms=False"
detections = detections[detections[:, 4] > 0.25]  # 信頼度しきい値を超える行を保持

with zipfile.ZipFile("yolo26n.tflite") as z:
    names = json.loads(z.read("metadata.json"))["names"]  # {'0': 'person', '1': 'bicycle', ...}

デプロイする#

YOLO("yolo26n.tflite")は、CPU上でai-edge-litert Interpreterを使用して、最大8スレッドでモデルを実行します。0やmpsなど、その他のdevice値もCPUで実行されます。xpuとnpuはIntelハードウェアを選択します。推論デバイスの表では、形式ごとのこれらの名称を比較しています。

モデルは常に、エクスポート時のimgszおよびbatchで実行されます。これらの値はUltralyticsがファイルのメタデータから読み取ります。predictまたはvalに渡したimgszは無視されます。大きなバッチはエクスポート時のバッチサイズに合わせて分割され、小さなバッチはパディングされるため、任意の枚数の画像を処理できます。

Intel GPUおよびNPUでの推論#

エクスポートした.tfliteモデルは、LiteRT Intel OpenVINOプラグインを介してIntelハードウェアで実行できます。GPUにはdevice=xpu、NPUにはdevice=npuを指定します。初回使用時にUltralyticsがai-edge-litert>=2.3.0とai-edge-litert-sdk-intelをインストールします。このプラグインは独自のopenvinoバージョンを固定するため、異なるバージョンのOpenVINOモデルも実行する場合は、別の環境にしてください。NPUには、Intel NPUドライバーをインストールしたIntel Core Ultraプロセッサーが必要です。Core Ultra X7 358Hで実測したレイテンシーをご覧ください。要求されたIntelデバイスがないマシンでは、OpenVINOプラグインによるモデルのコンパイルが失敗し、LiteRTはOpenVINO経由ではなく、独自のCPUバックエンド(XNNPACK)で実行します。AMDサーバーCPUでは、YOLO26nの画像あたりの処理時間はdevice=xpuとdevice=npuで29~30 msでしたが、device=cpuでは18 msでした。この場合、Ultralyticsは警告をログに記録しないため、device=cpuでレイテンシーを比較し、デバイスが使用されていることを確認してください。

推論
from ultralytics import YOLO

model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="npu")  # または "xpu"

デプロイガイド#

  • Ultralytics YOLO Flutterプラグイン:LiteRTの.tfliteエクスポートをAndroidで実行し、リアルタイムのカメラ推論、単一画像の予測、GPUアクセラレーションに対応します。
  • @ultralytics/yolo npmパッケージ:LiteRTの.tfliteエクスポートを、WebGPUアクセラレーションとCPU(WASM)フォールバックを備えたLiteRT.jsを介してブラウザーで実行します。npm i @ultralytics/yolo @litertjs/coreでインストールします。
  • MediaTek Dimensity:NPUを含むMediaTek製スマートフォンでのAndroidデプロイに対応します。
  • Qualcomm QNNおよびCore ML:それぞれSnapdragon NPUおよびAppleデバイス向けの形式です。
  • NXP i.MX95およびCoral Edge TPU:これらのアクセラレーター向けの形式です。
  • Raspberry Pi:Raspberry PiボードでUltralyticsをセットアップします。
  • LiteRTドキュメント:AndroidおよびiOSアプリケーション、またはブラウザーにランタイムを統合します。

制限事項とトラブルシューティング#

  • エクスポートホスト:WindowsおよびRaspberry PiなどのLinux ARM64では、エクスポートがLiteRT export only supported on Linux x86 and macOSで失敗します。対応ホストでエクスポートし、.tfliteファイルをデバイスにコピーしてください。
  • 通常のインストール後の初回エクスポート:初回のエクスポート時に、インストール済みのPyTorchバージョンを受け入れないlitert-torchがインストールされると(0.10.0は2.4.0以上、2.15.0未満を受け入れます)、pipがPyTorchを置き換え、UltralyticsはRestart runtime or rerun command for updates to take effectをログに記録します。その結果、PyTorch 2.15.0でのエクスポートがRuntimeError: duplicate registrations for aten.miopen_batch_norm.defaultにより失敗することがあります。エクスポートを再実行してください。
  • FP16:quantize=16はquantize=16 (FP16) is not supported; format='litert' supports quantize=8 (INT8), 'w8a16' (INT8 weights + INT16 activations), 'w8a32' (dynamic INT8), 32 or None (FP32).で失敗します。FP32でエクスポートし、GPUデリゲートで半精度実行してください。
  • quantize=8でトレーニングされたチェックポイント:量子化を考慮したトレーニングでファインチューニングしたチェックポイントは、format='litert' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backendsでエクスポートすると失敗します。代わりに、ファインチューニングの開始元となったチェックポイントをquantize=8でエクスポートするか、ファインチューニング済みチェックポイントをONNXまたはTensorRTにエクスポートしてください。
  • quantize=8または'w8a16'を使用したNMSフリーヘッド:nms=Falseの場合、エクスポートはLiteRT INT8 export does not support end2end models, disabling end2end branch.をログに記録し、NMSが必要な生の予測値を書き出します。NMSフリーヘッドを維持するには、FP32または'w8a32'を使用してください。
  • 組み込みNMS: nms=Trueはformat=litert does not support embedded NMS; exporting native outputs for external NMS.を記録し、未加工の出力を書き込みます。
  • その他のモデルでのNMSフリーヘッド:nms=Falseには、YOLO26やYOLOv10など、NMSフリーヘッドを備えたモデルが必要です。YOLO11などのその他のモデルでは、エクスポート時にThis model has no one-to-one head; using one-to-many outputs.の警告が表示され、生の(1, 84, 8400)出力が書き出されます。
  • 入力形状は固定です: dynamic=Trueはargument 'dynamic' is not supported for format='litert'で失敗します。画像サイズまたはバッチサイズを変更するには、再度エクスポートしてください。
  • dataを指定しないキャリブレーション:quantize=8または'w8a16'のエクスポートでは、INT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.がログに記録され、タスク用の小規模なデフォルトデータセットでキャリブレーションされます。デプロイ環境を代表する画像を含むdataを指定してください。
  • キャリブレーションサイズ: キャリブレーション分割の画像が300枚未満の場合、エクスポート時に>300 images recommended for INT8 calibration, found 4 images.が記録されます。coco8.yamlの検証画像はわずか4枚で、エクスポートのテストには十分ですが、デプロイ用モデルのキャリブレーションには不十分です。
  • x86 CPUでの'w8a16':LiteRT CPU Interpreterでは、8スレッドのAMD EPYC 9655サーバーCPU上でYOLO26nの'w8a16'モデルを実行した場合、画像あたり約1秒かかりました。一方、FP32モデルでは約17 msでした。デプロイ先のデバイスとデリゲートで'w8a16'を測定してください。
  • ファイル名:同じチェックポイントを同じquantize値でエクスポートするたびに、同じファイルが作成されます。たとえば、FP32ではyolo26n.tfliteになります。imgsz、batch、nmsの値にかかわらず、後のエクスポートで前のファイルが置き換えられます。

その他のエラーについては、よくある問題のガイドを参照してください。

実測パフォーマンス#

以下の表は、各タスクのYOLO26nモデルについて、4種類のAndroidスマートフォンとIntel Core Ultraプロセッサーでの1画像あたりのレイテンシーを示しています。各セルにはミリ秒単位の合計時間と、その下に前処理/推論/後処理の内訳が示されます。モデルごとに最速の列は太字です。YOLO26モデルのページでは、PyTorchチェックポイントの精度を確認できます。

Xiaomi 17#

ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Xiaomi 17。3 nmプロセスの Snapdragon 8 Elite Gen 5(SM8850)は、8コアのQualcomm Oryon CPU(最大4.6 GHzのPrimeコア2基、最大3.62 GHzのPerformanceコア6基)、Adreno GPU、Hexagon NPUを備えています。

モデルタスクサイズ
(ピクセル)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT FP32
(ミリ秒)
YOLO26nDetect64036.9
1.9 / 32.6 / 2.3
10.6
1.8 / 6.2 / 2.6
10.1
3.5 / 4.0 / 2.5
YOLO26n-segSegment64050.5
1.9 / 42.9 / 5.8
18.0
1.9 / 9.5 / 6.6
19.2
3.6 / 5.9 / 9.7
YOLO26n-semセマンティック64045.7
1.9 / 35.7 / 8.2
30.6
1.9 / 20.5 / 8.3
25.8
3.6 / 11.0 / 11.3
YOLO26n-depth深度64066.8
2.2 / 55.0 / 9.7
21.9
2.1 / 10.1 / 9.8
24.8
4.3 / 6.0 / 14.5
YOLO26n-cls分類2243.6
0.3 / 3.3 / 0.0
2.0
0.4 / 1.4 / 0.2
1.5
0.6 / 0.7 / 0.3
YOLO26n-pose姿勢推定64039.9
2.0 / 36.5 / 1.4
10.0
1.8 / 6.7 / 1.4
11.5
3.5 / 4.2 / 3.8
YOLO26n-obbOBB64036.3
2.0 / 33.2 / 1.2
10.1
2.6 / 5.9 / 1.6
8.2
3.5 / 3.7 / 0.9
  • 速度の値は単一画像のバーストレイテンシです。bus.jpg 上でウォームアップ3回の後に15回実行した平均値を、Ultralytics Flutterプラグイン 0.7.1 と公式の v0.7.0 アセット(Ultralytics 8.4.188でエクスポート)を使用して測定しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。
  • LiteRTエクスポートではPyTorchモデルを直接トレースし、浮動小数点入力のNCHW .tfliteを生成します。GPUデリゲートはグラフ全体をコンパイルし(ここでは7つすべてのタスクがAdreno GPU上で実行されます)、w8a32ではキャリブレーションデータは不要です。従来のonnx2tf NHWCレイアウトやIdentityの出力名を前提とせず、テンソル形状とシグネチャ名を確認してください。RGBデータは平面CHW形式で直接パックするか、推論前に転置してください。セマンティックエクスポートはNCHWロジットを返すため、ホスト側でクラスのargmax処理が必要です。公式Androidアセットはyolo-flutter-app v0.7.0リリースで提供されており、詳細なベンチマーク記録はFlutterパフォーマンスドキュメントにあります。
  • NPU列はLiteRT独自のNPUパスです。FP32エクスポート(yolo export format=litert、quantize なし)を、litert-npu-runtime-qualcomm と -mediatek の2.3.0ランタイムでデバイス上でコンパイルし、FlutterプラグインのNPUプロトタイプビルド(未リリース)を使用して測定しました。初回ロードにはコンパイル時間が含まれます(n では約0.3秒、x では最大6秒)。w8a32 アセットは、これらのNPUでは完全にはコンパイルできません。LiteRTはグラフをGPU上でサイレントに実行する場合でもNPUコンパイルを報告するため、NPUの各行をGPUの実行時間と照合しました。フォールバックした行は — で示しています。
  • 公式QNNアセットを使用したSnapdragon Hexagon NPUの対応する数値は、Qualcomm QNN統合に掲載されています。
  • Apple CPU/アクセラレーターの結果は、CoreML統合で比較できます。

以下のデバイス別スイープでは、同じ公式 v0.7.0 アセットを使用しています。

Google Pixel 10#

ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Google Pixel 10。3 nmプロセスの Google Tensor G5 は、8コアCPU(最大3.78 GHzのPrimeコア1基、最大3.05 GHzのPerformanceコア5基、最大2.25 GHzのEfficiencyコア2基)、PowerVR D-Series GPU、Google TPUを備えています。Googleはリンク先の仕様でコアクロックとGPUドライバー名を公開していないため、ベンチマーク対象デバイスから読み取りました。

モデルタスクサイズ
(ピクセル)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
YOLO26nDetect64036.6
1.5 / 33.5 / 1.6
36.5
3.5 / 28.4 / 4.6
YOLO26n-segSegment64053.1
1.5 / 45.8 / 5.7
51.5
1.6 / 40.1 / 9.9
YOLO26n-semセマンティック64057.2
1.5 / 47.7 / 8.0
75.9
1.8 / 63.4 / 10.8
YOLO26n-depth深度64075.0
1.6 / 65.1 / 8.3
50.1
1.7 / 33.5 / 14.9
YOLO26n-cls分類2246.1
0.3 / 5.5 / 0.3
12.1
0.9 / 11.0 / 0.1
YOLO26n-pose姿勢推定64035.2
1.5 / 31.9 / 1.8
38.2
3.5 / 29.3 / 5.4
YOLO26n-obbOBB64032.7
1.5 / 29.3 / 1.9
38.8
3.8 / 29.6 / 5.4

ベンチマーク: bus.jpg 上で predict() をウォームアップ3回の後に15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。Tensor NPUにはLiteRTの行がありません。GoogleのEdgeTPUサービスは許可リストにないアプリを拒否し、その場合LiteRTはモデルをGPU上で実行します。

Samsung Galaxy S26#

ハードウェア: メモリ12 GB、Android 17 / API 37搭載の Samsung Galaxy S26(SM-S942B)。2 nmプロセスの Exynos 2600 は、10コアのArmv9.3 CPU(最大3.8 GHzのC1-Ultraコア1基、最大3.26 GHzのPerformance C1-Proコア3基、最大2.76 GHzのEfficiency C1-Proコア6基)、Xclipse 960 GPU、Samsung NPUを備えています。

モデルタスクサイズ
(ピクセル)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT w8a32 AOT
(ミリ秒)
YOLO26nDetect64030.2
1.3 / 27.3 / 1.6
15.9
1.4 / 11.5 / 2.9
12.2
1.3 / 8.6 / 2.2
YOLO26n-segSegment64045.6
1.3 / 39.1 / 5.2
30.5
1.3 / 23.6 / 5.6
17.0
1.4 / 9.7 / 5.8
YOLO26n-semセマンティック64038.1
1.3 / 28.6 / 8.2
26.1
1.3 / 16.8 / 7.9
28.3
1.7 / 15.1 / 11.5
YOLO26n-depth深度64063.5
1.4 / 53.6 / 8.4
37.3
1.4 / 24.6 / 11.3
28.4
2.1 / 12.9 / 13.4
YOLO26n-cls分類2243.8
0.2 / 3.4 / 0.2
2.8
0.2 / 2.6 / 0.0
6.1
0.5 / 5.2 / 0.4
YOLO26n-pose姿勢推定64031.1
1.3 / 28.4 / 1.4
18.4
1.6 / 13.0 / 3.8
13.5
1.8 / 9.5 / 2.2
YOLO26n-obbOBB64027.9
1.3 / 25.7 / 0.9
15.3
1.9 / 11.4 / 2.1
11.4
1.7 / 8.3 / 1.4

ベンチマーク: bus.jpg 上で predict() をウォームアップ3回の後に15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しました。1回の逐次スイープ内で、タスクごとにCPU/GPUの実行順を交互にしました。ネイティブログにより、CPUの各行でLiteRT CPU/XNNPACKが使用され、GPUの各行ではグラフ全体がLiteRT OpenCL(LITERT_CL)に委譲されたことを確認しました。NPU列では、LiteRTのSamsungコンパイラープラグインを使用してExynos 2600(E9965)向けに事前コンパイルされた w8a32 アセットを使用しています。SamsungはLiteRT 2.3にオンデバイスコンパイラーを提供しておらず、GoogleもSamsung NPUランタイムをまだ公開していないため、これらの行ではLiteRT 2.3のソースから構築したディスパッチライブラリを使用しました。

Xiaomi 17T Pro#

ハードウェア: 12 GBのLPDDR5XメモリとAndroid 16 / API 36を搭載したXiaomi 17T Pro(2602EPTC0G)。3 nmのMediaTek Dimensity 9500(MT6993)は、8コアのArmv9.3 CPU(最大4.21 GHzのC1-Ultraコア1基、最大3.5 GHzのC1-Premiumコア3基、最大2.7 GHzのC1-Proコア4基)、Mali-G1 Ultra MC12 GPU、MediaTek NPU 990を搭載しています。

モデルタスクサイズ
(ピクセル)
CPU
w8a32 LiteRT
(ms)
GPU
w8a32 LiteRT
(ms)
NPU
LiteRT FP32
(ミリ秒)
YOLO26nDetect64031.4
1.5 / 28.0 / 1.9
25.6
1.4 / 22.2 / 2.0
11.0
1.3 / 7.8 / 1.8
YOLO26n-segSegment64077.8
2.6 / 65.3 / 9.9
47.4
2.6 / 33.6 / 11.3
36.5
2.6 / 23.4 / 10.4
YOLO26n-semセマンティック64081.3
2.6 / 62.2 / 16.5
79.3
2.6 / 59.5 / 17.1
87.6
2.6 / 68.3 / 16.7
YOLO26n-depth深度640111.3
3.4 / 91.1 / 16.8
55.3
2.8 / 36.3 / 16.1
—
YOLO26n-cls分類2246.3
0.5 / 5.4 / 0.4
8.1
0.5 / 7.5 / 0.1
3.2
0.5 / 2.2 / 0.5
YOLO26n-pose姿勢推定64053.9
2.6 / 49.5 / 1.8
32.8
2.7 / 26.7 / 3.4
16.2
2.9 / 11.1 / 2.3
YOLO26n-obbOBB64049.5
2.7 / 44.4 / 2.4
29.4
2.8 / 22.7 / 3.9
—

ベンチマーク: bus.jpg 上で、3回のウォームアップ後に predict() を15回実行した平均値です。ultralytics_yolo 0.7.1 と公式の v0.7.0 アセットを使用しています。CPU/GPUの順序は、1回の連続した測定内でタスクごとに交互に切り替えています。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がグラフ全体をLiteRT OpenCL(LITERT_CL)に委譲したことを確認しました。 DepthとOBBにはNPUの結果がありません。MediaTek NPUコンパイラーが指数関数演算と三角関数演算を拒否し、LiteRTはこれらのグラフをGPUで実行するためです。

Android のデプロイワークフローと NPU の制限については、MediaTek Dimensity ガイドをご覧ください。

Intel Core Ultra X7 358H#

ハードウェア: Intel Core Ultra X7 358H (Panther Lake)およびIntel AI Boost NPU 5010、Fedora Linux、NPUドライバー1.38.0、ai-edge-litert 2.3.0。

モデルタスクサイズ
(ピクセル)
CPU
w8a32 LiteRT
(ms)
CPU
w8a32 Intel
(ms)
NPU
w8a32 Intel
(ms)
YOLO26nDetect64017.5
0.8 / 16.1 / 0.6
22.6
1.2 / 20.6 / 0.8
4.8
1.0 / 3.3 / 0.4
YOLO26n-segSegment64024.2
0.9 / 22.1 / 1.3
32.6
1.0 / 30.1 / 1.5
6.2
0.8 / 4.2 / 1.2
YOLO26n-semセマンティック64025.2
1.0 / 14.2 / 10.0
33.1
1.1 / 21.9 / 10.2
16.5
1.0 / 5.5 / 10.0
YOLO26n-depth深度64031.7
0.9 / 30.2 / 0.5
76.6
0.9 / 75.2 / 0.5
9.1
1.0 / 7.5 / 0.5
YOLO26n-cls分類2244.6
2.8 / 1.7 / 0.0
7.3
3.3 / 3.9 / 0.0
4.1
3.2 / 0.9 / 0.0
YOLO26n-pose姿勢推定64020.3
0.8 / 19.0 / 0.5
28.6
1.1 / 26.8 / 0.8
6.3
0.8 / 4.9 / 0.5
YOLO26n-obbOBB64017.2
0.8 / 16.1 / 0.3
22.1
1.2 / 20.5 / 0.4
4.6
0.9 / 3.4 / 0.3

ベンチマーク: bus.jpg上で3回ウォームアップした後に実行した、predict()の呼び出し15回の平均値です。ultralytics 8.4.174およびai-edge-litert 2.3.0を使用し、w8a32でエクスポートしています。各セルには合計時間が表示され、その下に前処理/推論/後処理の内訳が示されます。

LiteRTについて#

LiteRTはLite Runtimeの略称で、名称を新たにしてTensorFlow Liteを引き継ぎ、同じ.tfliteモデル形式を実行します。CPUではXNNPACKを使用し、GPUおよびNPUではハードウェアデリゲートを介してモデルを実行します。また、LiteRT.jsを使用すると、同じファイルをブラウザーおよびNode.jsで実行できます。詳細については、LiteRTドキュメントをご覧ください。

LiteRT edge deployment framework



視聴: Ultralytics YOLO26をGoogle LiteRTにエクスポートする方法 | AndroidとiOSでビジョンAIをデプロイ | モバイルAI 📱🚀

よくある質問#

  • LiteRTはTensorFlow Liteの新しい名称で、同じ.tfliteモデル形式を使用します。Ultralyticsでは、format="litert"が従来の2つのエクスポート形式に代わります。tfliteはモバイル、組み込み、エッジデバイス向けで、tfjsはブラウザーおよびNode.js向けです。後者ではLiteRT.jsが同じ.tfliteファイルを実行するようになりました。いずれの以前の値でも、非推奨の警告とともにLiteRTファイルがエクスポートされます。TFLiteおよびTF.jsのページでは、以前の形式について説明しています。

  • まずはquantize="w8a32"をお試しください。キャリブレーションデータは不要で、ファイルサイズはFP32の3分の1未満になり、nms=Falseを使用したYOLO26のNMSフリーヘッドに対応します。また、CPUおよびGPU向けの公式Ultralyticsモバイルモデルで採用されている精度です。ターゲットで整数活性化が必要な場合は、quantize=8を使用してください。たとえば、NXP i.MX95へのエクスポートでは、キャリブレーション済みのINT8 LiteRTモデルをコンパイルします。'w8a16'は8より多くの活性化精度を維持します。どちらも代表的なキャリブレーションデータが必要で、NMSが必要な生の予測値を返します。方式ごとの対応状況はCPU、GPU、NPUデリゲートによって異なるため、選択する前にターゲットデバイスでレイテンシーと精度を測定してください。

  • いいえ。エクスポートはLinux x86-64およびAppleシリコン搭載Macでのみ実行できます。これらのホストのいずれか、またはUltralytics Platformでモデルをエクスポートし、.tfliteファイルをデバイスにコピーしてください。ボード上でモデルを実行する方法についてはRaspberry Piガイドをご覧ください。Coral Edge TPUを使用して推論を高速化できます。

  • はい。LiteRT.jsは、エクスポート済みの.tfliteファイルをWebGPUまたはWASMを使用してブラウザーまたはNode.jsで実行するため、ブラウザー専用のエクスポートは不要です。@ultralytics/yolo npmパッケージは、detect、segment、semantic、classify、pose、OBBタスク向けに、Webカメラおよび単一画像の推論機能を提供します。

  • Ultralytics YOLO Flutterプラグインを使用すると、AndroidでLiteRTの.tfliteエクスポートを読み込み、YOLO26の7つすべてのタスクを実行できます。公式モデルに合わせるには、imgsz=640でエクスポートしてください。分類の場合はimgsz=224を指定します。ネイティブアプリの場合は、LiteRT Androidガイドに従い、出力形式の説明に従ってモデルに入力してください。iPhoneでは、ネイティブ形式としてCore MLを使用します。

コメント

質問したり、結果を共有したり、ほかの人をサポートしたりできます。