YOLOモデルをLiteRTにエクスポートしてエッジおよびWebにデプロイする#

LiteRT（Lite Runtimeの略）は、オンデバイスAI向けのGoogleの高性能ランタイムです。TensorFlow Lite（TFLite）の次世代版かつ新しい名称であり、同じ.tfliteモデル形式を実行します。LiteRTを使用すると、1つのエクスポート済みUltralytics YOLOモデルをモバイル、組み込み、エッジ、ブラウザーにまたがってデプロイできます。従来のtfliteおよびtfjsエクスポート形式が個別に対応していたすべての環境を、1つの形式でカバーします。

LiteRTエクスポート形式は、物体検出、セグメンテーション、姿勢推定、分類などのタスク向けにモデルを最適化し、幅広いデバイス上で高速かつオフラインで実行できるようにします。

npm i @ultralytics/yolo @litertjs/core

LiteRTにエクスポートする理由#

LiteRTは、エッジコンピューティングとも呼ばれるオンデバイス推論向けのオープンソースフレームワークです。トレーニング済みモデルをモバイル、組み込み、IoTデバイス、従来型コンピューター上で実行するためのツールを開発者に提供します。また、LiteRT.jsを通じて、WebブラウザーやNode.js上で直接実行できます。

1つのモデル形式で、あらゆるターゲットに対応:

• モバイルと組み込み: Android、iOS、組み込みLinux、マイクロコントローラー（MCU）。
• エッジアクセラレーター: さらなる高速化のために、Coral Edge TPUと互換性があります。
• ブラウザーとNode.js: LiteRT.jsは、WebGPU/WASMアクセラレーションを使用してWeb上で同じ.tfliteモデルを実行するため、個別のTensorFlow.jsエクスポートは不要です。

LiteRTモデルの主な機能#

• オンデバイス最適化: データをローカルで処理してレイテンシを削減し、個人データを送信しないことでプライバシーを強化し、モデルサイズを縮小してストレージ容量を節約します。
• 複数プラットフォームのサポート: Android、iOS、組み込みLinux、マイクロコントローラー、最新のWebブラウザーで実行できます。
• ハードウェアアクセラレーション: CPUではXNNPACKを活用し、OpenCL、Metal、WebGPUを介してGPUアクセラレーションを利用します。GPUデリゲートは、さらなる高速化のためデフォルトでFP16を使用します。
• 量子化: FP32、静的INT8（quantize=8、int8重み + int8アクティベーション）、静的INT16アクティベーション（quantize="w8a16"、int8重み + int16アクティベーションで高精度）、動的INT8（quantize="w8a32"、int8重み + FP32アクティベーションでキャリブレーションデータ不要）をサポートし、モデルを圧縮して推論を高速化します。精度の低下は最小限に抑えられます。
• 多様な言語のサポート: Java/Kotlin、Swift、Objective-C、C++、Python、JavaScriptと互換性があります。

実測パフォーマンス#

ハードウェア: 12 GB LPDDR5XメモリとAndroid 16 / API 36を搭載したXiaomi 17。3 nmのSnapdragon 8 Elite Gen 5 （SM8850）は、8コアのQualcomm Oryon CPU（最大4.6 GHzのPrimeコア2個、最大3.62 GHzのPerformanceコア6個）、 Adreno GPU、Hexagon NPUを搭載しています。

• 速度の値は単一画像バーストレイテンシです。bus.jpg上で3回のウォームアップ後に15回実行した平均値であり、Ultralytics Flutterプラグインの0.6.10と標準化されたv0.6.6アセットを使用して測定しています。1回の逐次スイープ内で、タスク間のCPU/GPUの順序を交互に変更しました。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がLiteRT OpenCL（LITERT_CL）に完全なグラフを委譲していることを確認しました。
• LiteRTエクスポートはPyTorchモデルを直接トレースし、float入力を持つNCHW .tfliteを生成します。GPUデリゲートはグラフ全体をコンパイルし（ここでは7つすべてのタスクがAdreno GPU上で実行されます）、w8a32にはキャリブレーションデータが不要です。利用側では、従来のonnx2tf NHWCレイアウトやIdentityの出力名を前提とせず、テンソル形状とシグネチャ名を読み取ってください。RGBデータは平面CHWとして直接パックするか、推論前に転置してください。SemanticエクスポートはNCHW logitsを返すため、ホスト側でクラスargmaxが必要です。公式Androidアセットはyolo-flutter-appのv0.6.6リリースでホストされており、詳細なベンチマーク記録はFlutterパフォーマンスドキュメントにあります。
• 対応するSnapdragon Hexagon NPUおよびLiteRT CPU/GPUの数値は、Qualcomm QNN統合に記載されています。
• AppleのCPU/アクセラレーターの結果は、CoreML統合で比較できます。

以下のデバイススイープでは、同じ標準化されたv0.6.6アセットを使用しています。

Google Pixel 10#

ハードウェア: 12 GBメモリとAndroid 16 / API 36を搭載したGoogle Pixel 10。3 nmのGoogle Tensor G5は、 8コアCPU（最大3.78 GHzのPrimeコア1個、最大3.05 GHzのPerformanceコア5個、最大 2.25 GHzのEfficiencyコア2個）、PowerVR D-Series GPU、Google TPUを搭載しています。コアクロックとGPUドライバー名は、リンク先の仕様でGoogleが公開していないため、ベンチマーク対象デバイスから読み取りました。

ベンチマーク: bus.jpg上で3回のウォームアップ後にpredict()を15回呼び出した平均値です。ultralytics_yolo、0.6.10、公式のv0.6.6アセットを使用しています。1回の逐次スイープ内で、タスク間のCPU/GPUの順序を交互に変更しました。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がLiteRT OpenCL（LITERT_CL）に完全なグラフを委譲していることを確認しました。

Samsung Galaxy S26#

ハードウェア: 12 GBメモリとAndroid 16 / API 36を搭載したSamsung Galaxy S26（SM-S942B）。2 nmのExynos 2600は、10コアのArmv9.3 CPU（最大3.8 GHzのC1-Ultraコア1個、最大3.26 GHzのPerformance C1-Proコア3個、最大2.76 GHzのEfficiency C1-Proコア6個）、Xclipse 960 GPU、Samsung NPUを搭載しています。

ベンチマーク: bus.jpg上で3回のウォームアップ後にpredict()を15回呼び出した平均値です。ultralytics_yolo、0.6.10、公式のv0.6.6アセットを使用しています。1回の逐次スイープ内で、タスク間のCPU/GPUの順序を交互に変更しました。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がLiteRT OpenCL（LITERT_CL）に完全なグラフを委譲していることを確認しました。

Xiaomi 17T Pro#

ハードウェア: 12 GB LPDDR5XメモリとAndroid 16 / API 36を搭載したXiaomi 17T Pro（2602EPTC0G）。3 nmのMediaTek Dimensity 9500（MT6993）は、8コアのArmv9.3 CPU（最大4.21 GHzのC1-Ultraコア1個、最大3.5 GHzのC1-Premiumコア3個、最大2.7 GHzのC1-Proコア4個）、Mali-G1 Ultra MC12 GPU、MediaTek NPU 990を搭載しています。

ベンチマーク: bus.jpg上で3回のウォームアップ後にpredict()を15回呼び出した平均値です。ultralytics_yolo、0.6.10、公式のv0.6.6アセットを使用しています。1回の逐次スイープ内で、タスク間のCPU/GPUの順序を交互に変更しました。ネイティブログにより、すべてのCPU行がLiteRT CPU/XNNPACKを使用し、すべてのGPU行がLiteRT OpenCL（LITERT_CL）に完全なグラフを委譲していることを確認しました。

サポートされるタスク#

LiteRTエクスポートは、Ultralyticsの7つすべてのタスクをサポートします。Semantic segmentationとdepth estimationはYOLO26でのみ利用できます。これらのヘッドを提供する唯一のファミリーです。

LiteRTへのエクスポート: YOLOモデルの変換#

モデルをLiteRT形式に変換することで、オンデバイス実行の効率を高め、デプロイの選択肢を広げることができます。

インストール#

必要なパッケージをインストールするには、次を実行します。

# Install the required package for YOLO
pip install ultralytics

詳細な手順とベストプラクティスについては、Ultralyticsインストールガイドを確認してください。問題が発生した場合は、一般的な問題のガイドを参照してください。

使用方法#

すべてのUltralytics YOLOモデルは、すぐにエクスポートを利用できます。LiteRT形式はExport、Predict、Validateモードをサポートしているため、モデルをエクスポートしてから読み込み、推論の実行や精度のローカル検証を行えます。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

エクスポート引数#

エクスポートプロセスの詳細については、エクスポートに関するUltralyticsドキュメントページをご覧ください。

エクスポート済みYOLO LiteRTモデルのデプロイ#

Ultralytics YOLOモデルをLiteRTにエクスポートした後、さまざまなプラットフォームにデプロイできます。ローカルで最も簡単に動作を確認する方法は、上記のYOLO("yolo26n.tflite")メソッドです。他の環境にデプロイする場合は、以下のリソースを参照してください。

モバイルおよび組み込み#

• Android：LiteRTをAndroidアプリケーションに統合するためのクイックスタートガイドです。
• iOS：LiteRTモデルをiOSアプリケーションに統合してデプロイするためのガイドです。
• 組み込みLinuxおよびRaspberry Pi：シングルボードコンピューターでLiteRTモデルを実行します。Coral Edge TPUによるアクセラレーションも利用できます。
• マイクロコントローラー：数キロバイトのメモリしかないMCUにデプロイできます。コアランタイムはArm Cortex-M3上で約16 KBに収まります。

ブラウザーおよびNode.js（LiteRT.js）#

• LiteRT.jsの概要：WebGPU/WASMアクセラレーションを使用して、同じ.tfliteモデルをブラウザーで直接実行できます。これによりサーバー側の計算が不要になり、データをユーザーのデバイス上に保持できます。
• エンドツーエンドの例：モバイル、エッジ、WebにわたるLiteRTの実装に役立つ実践的な例とチュートリアルです。

まとめ#

このガイドでは、Ultralytics YOLOモデルをLiteRT形式にエクスポートする方法を説明しました。モバイル/エッジ（旧TFLite）とブラウザー（旧TF.js）のデプロイを単一の.tfliteモデルに統合することで、LiteRTはYOLOモデルを高速化、小型化し、ほぼすべてのオンデバイスターゲットに移植できるようにします。

詳しくは、LiteRT公式ドキュメントを参照してください。

また、その他のUltralytics YOLO統合に関心がある場合は、役立つリソースを多数掲載した統合ガイドページをご覧ください。

FAQ#