将 YOLO 模型导出为 LiteRT 格式，用于边缘设备和 Web 部署#

LiteRT（Lite Runtime 的简称）是 Google 面向设备端 AI 的高性能运行时。它是 TensorFlow Lite (TFLite) 的新一代版本和新名称，并运行相同的 .tflite 模型格式。借助 LiteRT，只需导出一个 Ultralytics YOLO 模型，即可部署到移动设备、嵌入式设备、边缘设备和浏览器——旧版 tflite 和 tfjs 导出格式分别处理的所有场景，如今都由 LiteRT 统一支持。

观看： 如何将 Ultralytics YOLO26 导出为 Google LiteRT | 在 Android 和 iOS 上部署视觉 AI | 移动端 AI 📱🚀

LiteRT 导出格式可针对目标检测、分割、姿态估计和分类等任务优化模型，使模型能够在各种设备上快速离线运行。

npm i @ultralytics/yolo @litertjs/core

为什么要导出为 LiteRT？#

LiteRT 是一款开源框架，专为设备端推理设计，也称为边缘计算。它为开发者提供工具，可在移动设备、嵌入式设备和 IoT 设备、传统计算机上运行训练好的模型，也可通过 LiteRT.js直接在 Web 浏览器和 Node.js 中运行模型。

一种模型格式，适用于所有目标平台：

• 移动设备和嵌入式设备：Android、iOS、嵌入式 Linux 和微控制器 (MCU)。
• 边缘加速器：兼容 Coral Edge TPU，可进一步加速。
• 浏览器和 Node.js：LiteRT.js 可在 Web 上运行相同的 .tflite 模型，并通过 WebGPU/WASM 加速——无需单独导出 TensorFlow.js 格式。

LiteRT 模型的主要功能#

• 端侧优化：通过本地处理数据降低延迟，不传输个人数据以增强隐私保护，并缩小模型体积以节省空间。
• 多平台支持：可在 Android、iOS、嵌入式 Linux、微控制器和现代 Web 浏览器上运行。
• 硬件加速：利用 CPU 上的 XNNPACK，并通过 OpenCL、Metal 和 WebGPU 实现 GPU 加速。GPU delegate 默认以 FP16 运行，以进一步提升速度。
• 量化：支持 FP32、静态 INT8（quantize=8，int8 权重 + int8 激活）、静态 INT16 激活（quantize="w8a16"，int8 权重 + int16 激活，精度更高）和动态 INT8（quantize="w8a32"，int8 权重 + FP32 激活，无需校准数据），以压缩模型并加快推理，同时将 精度损失降至最低。
• 多种语言支持：兼容 Java/Kotlin、Swift、Objective-C、C++、Python 和 JavaScript。

实测性能#

硬件：配备 12 GB LPDDR5X 内存、运行 Android 17 / API 37 的 Xiaomi 17。其 3 nm Snapdragon 8 Elite Gen 5（SM8850）配备 8 核 Qualcomm Oryon CPU（2 个最高 4.6 GHz 的 Prime 核心和 6 个最高 3.62 GHz 的性能核心）、Adreno GPU 和 Hexagon NPU。

• 速度数据为单图突发延迟——在 bus.jpg 上预热 3 次后运行 15 次的平均值，使用Ultralytics Flutter 插件 0.7.1 和官方 v0.7.0 资源（Ultralytics 8.4.188 导出）测得。各任务在一次顺序扫描中交替测试 CPU/GPU。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图交由 LiteRT OpenCL（LITERT_CL）执行。
• LiteRT 导出会直接跟踪 PyTorch 模型，生成浮点输入的 NCHW .tflite——GPU delegate 会编译整个计算图（此处七项任务均在 Adreno GPU 上运行），且 w8a32 无需校准数据。使用者应读取张量形状和签名名称，而不是假设使用传统的 onnx2tf NHWC 布局或 Identity 输出名称；应将 RGB 数据直接打包为平面 CHW 格式，或在推理前进行转置。语义分割导出会返回 NCHW logits，需要在主机端执行类别 argmax。官方 Android 资源托管在 yolo-flutter-app v0.7.0 版本中，详细基准测试记录见Flutter 性能文档。
• NPU列采用 LiteRT 自身的 NPU 路径：FP32 导出（yolo export format=litert，不含 quantize）由 litert-npu-runtime-qualcomm 和 -mediatek 2.3.0 运行时在设备上编译，并使用 Flutter 插件的原型 NPU 构建版本测量（尚未发布）。首次加载包含编译过程（n 约需 0.3 秒，x 最长需 6 秒）。w8a32 资源无法在这些 NPU 上完成编译。即使 LiteRT 悄然将计算图交由 GPU 执行，也会报告 NPU 编译，因此每个 NPU 行都与 GPU 耗时进行了核对；回退到 GPU 的行显示为 —。
• 官方 QNN 资源在 Snapdragon Hexagon NPU 上的对应数据见 Qualcomm QNN 集成。
• 请在 CoreML 集成中对比 Apple CPU/加速器的结果。

以下设备测试使用相同的官方 v0.7.0 资源。

Google Pixel 10#

硬件：配备 12 GB 内存、运行 Android 17 / API 37 的 Google Pixel 10。其 3 nm Google Tensor G5 配备 8 核 CPU（1 个最高 3.78 GHz 的 Prime 核心、5 个最高 3.05 GHz 的性能核心，以及 2 个最高 2.25 GHz 的能效核心）、PowerVR D 系列 GPU 和 Google TPU。由于 Google 未在链接的规格中公布核心频率和 GPU 驱动名称，这些数据是从基准测试设备上读取的。

基准测试：在 bus.jpg 上预热 3 次后，使用 ultralytics_yolo 0.7.1 和官方 v0.7.0 资源，计算 15 次 predict() 调用的平均值。各任务在一次顺序扫描中交替测试 CPU/GPU。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图交由 LiteRT OpenCL（LITERT_CL）执行。Tensor NPU 没有 LiteRT 数据：Google 的 EdgeTPU 服务会拒绝不在许可名单中的应用，随后 LiteRT 会在 GPU 上运行模型。

Samsung Galaxy S26#

硬件：配备 12 GB 内存、运行 Android 17 / API 37 的 Samsung Galaxy S26（SM-S942B）。其 2 nm Exynos 2600 配备 10 核 Armv9.3 CPU（1 个最高 3.8 GHz 的 C1-Ultra 核心、3 个最高 3.26 GHz 的性能型 C1-Pro 核心，以及 6 个最高 2.76 GHz 的能效型 C1-Pro 核心）、Xclipse 960 GPU 和 Samsung NPU。

基准测试：在 bus.jpg 上预热 3 次后，使用 ultralytics_yolo 0.7.1 和官方 v0.7.0 资源，计算 15 次 predict() 调用的平均值。各任务在一次顺序扫描中交替测试 CPU/GPU。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图交由 LiteRT OpenCL（LITERT_CL）执行。NPU 列使用 w8a32 资源，这些资源通过 LiteRT 的 Samsung 编译器插件为 Exynos 2600（E9965）预先编译。LiteRT 2.3 没有 Samsung 设备端编译器，Google 也尚未发布 Samsung NPU 运行时，因此这些测试行使用了基于 LiteRT 2.3 源码构建的调度库。

Xiaomi 17T Pro#

硬件：Xiaomi 17T Pro (2602EPTC0G)，配备 12 GB LPDDR5X 内存，运行 Android 16 / API 36。其 3 nm MediaTek Dimensity 9500 (MT6993) 配备 8 核 Armv9.3 CPU（1 个 C1-Ultra 核心，最高 4.21 GHz；3 个 C1-Premium 核心，最高 3.5 GHz；4 个 C1-Pro 核心，最高 2.7 GHz）、Mali-G1 Ultra MC12 GPU 和 MediaTek NPU 990。

基准测试：在 bus.jpg 上预热 3 次后，对 predict() 调用进行 15 次测量并取平均值，使用 ultralytics_yolo 0.7.1 和官方 v0.7.0 资源。CPU/GPU 顺序在一次连续测试中交替排列。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图交给 LiteRT OpenCL（LITERT_CL）。 深度和 OBB 没有 NPU 结果：MediaTek NPU 编译器不支持它们的指数和三角函数运算，而 LiteRT 会在 GPU 上运行这些计算图。

支持的任务#

LiteRT 导出支持 Ultralytics 的全部七项任务。语义分割和深度估计仅适用于 YOLO26，因为只有 YOLO26 系列包含这些检测头。

导出为 LiteRT：转换你的 YOLO 模型#

将模型转换为 LiteRT 格式，可以提高端侧执行效率并扩展部署选项。

安装#

要安装所需软件包，请运行：

# Install the required package for YOLO
pip install ultralytics

如需详细说明和最佳实践，请查看我们的 Ultralytics 安装指南。如果遇到任何问题，请参阅我们的常见问题指南。

用法#

所有 Ultralytics YOLO 模型均开箱即支持导出。LiteRT 格式支持导出、预测和验证模式，因此你可以导出模型，然后加载模型以在本地运行推理或验证精度。

from ultralytics import YOLO

# 加载 YOLO26 模型
model = YOLO("yolo26n.pt")

# 将模型导出为 LiteRT 格式
model.export(format="litert", imgsz=640)  # 会生成 'yolo26n.tflite'；分类任务使用 imgsz=224

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# 动态 INT8：int8 权重，FP32 激活——无需校准数据
model.export(format="litert", quantize="w8a32", imgsz=640)  # 会生成 'yolo26n_w8a32.tflite'

# 静态 INT8：int8 权重 + int8 激活——需要校准数据
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # 会生成 'yolo26n_int8.tflite'

# 静态 w8a16：int8 权重 + int16 激活（精度更高）——需要校准数据
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # 会生成 'yolo26n_w8a16.tflite'

from ultralytics import YOLO

# 加载导出的 LiteRT 模型
model = YOLO("yolo26n.tflite")

# 运行推理
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# 加载导出的 LiteRT 模型
model = YOLO("yolo26n.tflite")

# 在 COCO8 数据集上验证准确率
metrics = model.val(data="coco8.yaml")

导出参数#

有关导出流程的更多详情，请访问 Ultralytics 导出文档页面。

Intel CPU 和 NPU 推理#

导出的 .tflite 模型可通过 LiteRT Intel OpenVINO 插件在 Intel 硬件上运行。传入 device=intel:cpu 或 device=intel:npu，Ultralytics 会在首次使用时安装 ai-edge-litert>=2.3.0 和 ai-edge-litert-sdk-intel。NPU 需要搭载 Intel Core Ultra 处理器，并安装 Intel NPU 驱动。

from ultralytics import YOLO

model = YOLO("yolo26n.tflite")
results = model("https://ultralytics.com/images/bus.jpg", device="intel:npu")  # 或 "intel:cpu"

硬件： Intel Core Ultra X7 358H (Panther Lake) 和 Intel AI Boost NPU 5010、Fedora Linux、NPU 驱动 1.38.0、ai-edge-litert 2.3.0。

基准测试：在 bus.jpg 上预热 3 次后，对 predict() 调用 15 次并取平均值；使用 ultralytics 8.4.174 和 ai-edge-litert 2.3.0，并通过 w8a32 导出。每个单元格显示总耗时，其下方列出预处理 / 推理 / 后处理的耗时拆分。

部署导出的 YOLO LiteRT 模型#

将 Ultralytics YOLO 模型导出为 LiteRT 后，你可以在多个平台上部署模型。要在本地快速验证，最简便的方法是使用上文所示的 YOLO("yolo26n.tflite") 方法。要在其他环境中部署，请参阅以下资源：

移动设备与嵌入式设备#

• Android：将 LiteRT 集成到 Android 应用中的快速入门指南。
• iOS：在 iOS 应用中集成和部署 LiteRT 模型的指南。
• 嵌入式 Linux 与 Raspberry Pi：在单板计算机上运行 LiteRT 模型，也可选择使用 Coral Edge TPU 加速。
• 微控制器：在内存仅有几 KB 的 MCU 上部署——核心运行时在 Arm Cortex-M3 上约占 16 KB。

浏览器与 Node.js (LiteRT.js)#

• LiteRT.js 概览：使用 WebGPU/WASM 加速，在浏览器中直接运行相同的 .tflite 模型，无需服务器端计算，并让数据保留在用户设备上。
• 端到端示例：提供在移动设备、边缘设备和 Web 平台上实现 LiteRT 的实用示例和教程。

总结#

本指南介绍了如何将 Ultralytics YOLO 模型导出为 LiteRT 格式。LiteRT 将移动端/边缘端（以前使用 TFLite）和浏览器（以前使用 TF.js）的部署整合到单一的 .tflite 模型中，让你的 YOLO 模型速度更快、体积更小，并能在几乎所有设备端目标上移植运行。

如需了解更多详情，请访问 LiteRT 官方文档。

另外，如果你想了解其他 Ultralytics YOLO 集成方案，可以查看我们的集成指南页面，其中包含许多实用资源。

常见问题#