将 YOLO 模型导出为 LiteRT 格式，用于边缘设备和 Web 部署#

LiteRT（Lite Runtime 的简称）是 Google 面向设备端 AI 的高性能运行时。它是 TensorFlow Lite (TFLite) 的新一代版本和新名称，并运行相同的 .tflite 模型格式。借助 LiteRT，只需导出一个 Ultralytics YOLO 模型，即可部署到移动设备、嵌入式设备、边缘设备和浏览器——旧版 tflite 和 tfjs 导出格式分别处理的所有场景，如今都由 LiteRT 统一支持。

LiteRT 导出格式可针对目标检测、分割、姿态估计和分类等任务优化模型，使模型能够在各种设备上快速离线运行。

npm i @ultralytics/yolo @litertjs/core

为什么要导出为 LiteRT？#

LiteRT 是一款开源框架，专为设备端推理设计，也称为边缘计算。它为开发者提供工具，可在移动设备、嵌入式设备和 IoT 设备、传统计算机上运行训练好的模型，也可通过 LiteRT.js直接在 Web 浏览器和 Node.js 中运行模型。

一种模型格式，适用于所有目标平台：

• 移动设备和嵌入式设备：Android、iOS、嵌入式 Linux 和微控制器 (MCU)。
• 边缘加速器：兼容 Coral Edge TPU，可进一步加速。
• 浏览器和 Node.js：LiteRT.js 可在 Web 上运行相同的 .tflite 模型，并通过 WebGPU/WASM 加速——无需单独导出 TensorFlow.js 格式。

LiteRT 模型的主要功能#

• 端侧优化：通过本地处理数据降低延迟，不传输个人数据以增强隐私保护，并缩小模型体积以节省空间。
• 多平台支持：可在 Android、iOS、嵌入式 Linux、微控制器和现代 Web 浏览器上运行。
• 硬件加速：利用 CPU 上的 XNNPACK，并通过 OpenCL、Metal 和 WebGPU 实现 GPU 加速。GPU delegate 默认以 FP16 运行，以进一步提升速度。
• 量化：支持 FP32、静态 INT8（quantize=8，int8 权重 + int8 激活）、静态 INT16 激活（quantize="w8a16"，int8 权重 + int16 激活，精度更高）和动态 INT8（quantize="w8a32"，int8 权重 + FP32 激活，无需校准数据），以压缩模型并加快推理，同时将 精度损失降至最低。
• 多种语言支持：兼容 Java/Kotlin、Swift、Objective-C、C++、Python 和 JavaScript。

实测性能#

硬件：Xiaomi 17，配备 12 GB LPDDR5X 内存，运行 Android 16 / API 36。其 3 nm Snapdragon 8 Elite Gen 5 (SM8850) 配备 8 核 Qualcomm Oryon CPU（2 个 Prime 核心，最高 4.6 GHz；6 个 Performance 核心，最高 3.62 GHz）、Adreno GPU 和 Hexagon NPU。

• 速度数值为单张图像突发延迟——在 bus.jpg 上预热运行 3 次后测量 15 次运行的平均值，测量时使用 Ultralytics Flutter 插件 0.6.10 和标准化的 v0.6.6 资源。CPU/GPU 的执行顺序在单次顺序测试中按任务交替。原生日志确认，每一行 CPU 数据都使用 LiteRT CPU/XNNPACK，而每一行 GPU 数据都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。
• LiteRT 导出会直接跟踪 PyTorch 模型，生成浮点输入的 NCHW .tflite——GPU delegate 会编译整个计算图（此处七项任务均在 Adreno GPU 上运行），且 w8a32 无需校准数据。使用者应读取张量形状和签名名称，而不是假设使用传统的 onnx2tf NHWC 布局或 Identity 输出名称；应将 RGB 数据直接打包为平面 CHW 格式，或在推理前进行转置。语义分割导出会返回 NCHW logits，需要在主机端执行类别 argmax。官方 Android 资源托管在 yolo-flutter-app v0.6.6 版本中，详细基准测试记录见Flutter 性能文档。
• 匹配的 Snapdragon Hexagon NPU 和 LiteRT CPU/GPU 数据见 Qualcomm QNN 集成。
• 请在 CoreML 集成中对比 Apple CPU/加速器的结果。

以下设备测试使用相同的标准化 v0.6.6 资源。

Google Pixel 10#

硬件：Google Pixel 10，配备 12 GB 内存，运行 Android 16 / API 36。其 3 nm Google Tensor G5 配备 8 核 CPU（1 个 Prime 核心，最高 3.78 GHz；5 个 Performance 核心，最高 3.05 GHz；2 个 Efficiency 核心，最高 2.25 GHz）、PowerVR D-Series GPU 和 Google TPU。由于 Google 未在链接的规格中公布核心时钟频率和 GPU 驱动名称，因此这些信息是从基准测试设备上读取的。

基准测试：在 bus.jpg 上预热运行 3 次后，计算 predict() 调用 15 次的平均值；使用 ultralytics_yolo 0.6.10 和官方 v0.6.6 资源。CPU/GPU 的执行顺序在单次顺序测试中按任务交替。原生日志确认，每一行 CPU 数据都使用 LiteRT CPU/XNNPACK，而每一行 GPU 数据都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

Samsung Galaxy S26#

硬件：Samsung Galaxy S26 (SM-S942B)，配备 12 GB 内存，运行 Android 16 / API 36。其 2 nm Exynos 2600 配备 10 核 Armv9.3 CPU（1 个 C1-Ultra 核心，最高 3.8 GHz；3 个性能型 C1-Pro 核心，最高 3.26 GHz；6 个能效型 C1-Pro 核心，最高 2.76 GHz）、Xclipse 960 GPU 和 Samsung NPU。

基准测试：在 bus.jpg 上预热运行 3 次后，计算 predict() 调用 15 次的平均值；使用 ultralytics_yolo 0.6.10 和官方 v0.6.6 资源。CPU/GPU 的执行顺序在单次顺序测试中按任务交替。原生日志确认，每一行 CPU 数据都使用 LiteRT CPU/XNNPACK，而每一行 GPU 数据都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

Xiaomi 17T Pro#

硬件：Xiaomi 17T Pro (2602EPTC0G)，配备 12 GB LPDDR5X 内存，运行 Android 16 / API 36。其 3 nm MediaTek Dimensity 9500 (MT6993) 配备 8 核 Armv9.3 CPU（1 个 C1-Ultra 核心，最高 4.21 GHz；3 个 C1-Premium 核心，最高 3.5 GHz；4 个 C1-Pro 核心，最高 2.7 GHz）、Mali-G1 Ultra MC12 GPU 和 MediaTek NPU 990。

基准测试：在 bus.jpg 上预热运行 3 次后，计算 predict() 调用 15 次的平均值；使用 ultralytics_yolo 0.6.10 和官方 v0.6.6 资源。CPU/GPU 的执行顺序在单次顺序测试中按任务交替。原生日志确认，每一行 CPU 数据都使用 LiteRT CPU/XNNPACK，而每一行 GPU 数据都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

支持的任务#

LiteRT 导出支持 Ultralytics 的全部七项任务。语义分割和深度估计仅适用于 YOLO26，因为只有 YOLO26 系列包含这些检测头。

导出为 LiteRT：转换你的 YOLO 模型#

将模型转换为 LiteRT 格式，可以提高端侧执行效率并扩展部署选项。

安装#

要安装所需软件包，请运行：

# Install the required package for YOLO
pip install ultralytics

如需详细说明和最佳实践，请查看我们的 Ultralytics 安装指南。如果遇到任何问题，请参阅我们的常见问题指南。

用法#

所有 Ultralytics YOLO 模型均开箱即支持导出。LiteRT 格式支持导出、预测和验证模式，因此你可以导出模型，然后加载模型以在本地运行推理或验证精度。

from ultralytics import YOLO

# 加载 YOLO26 模型
model = YOLO("yolo26n.pt")

# 将模型导出为 LiteRT 格式
model.export(format="litert", imgsz=640)  # 会生成 'yolo26n.tflite'；分类任务使用 imgsz=224

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# 动态 INT8：int8 权重，FP32 激活——无需校准数据
model.export(format="litert", quantize="w8a32", imgsz=640)  # 会生成 'yolo26n_w8a32.tflite'

# 静态 INT8：int8 权重 + int8 激活——需要校准数据
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # 会生成 'yolo26n_int8.tflite'

# 静态 w8a16：int8 权重 + int16 激活（精度更高）——需要校准数据
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # 会生成 'yolo26n_w8a16.tflite'

from ultralytics import YOLO

# 加载导出的 LiteRT 模型
model = YOLO("yolo26n.tflite")

# 运行推理
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# 加载导出的 LiteRT 模型
model = YOLO("yolo26n.tflite")

# 在 COCO8 数据集上验证准确率
metrics = model.val(data="coco8.yaml")

导出参数#

有关导出流程的更多详情，请访问 Ultralytics 导出文档页面。

部署导出的 YOLO LiteRT 模型#

将 Ultralytics YOLO 模型导出为 LiteRT 后，你可以在多个平台上部署模型。要在本地快速验证，最简便的方法是使用上文所示的 YOLO("yolo26n.tflite") 方法。要在其他环境中部署，请参阅以下资源：

移动设备与嵌入式设备#

• Android：将 LiteRT 集成到 Android 应用中的快速入门指南。
• iOS：在 iOS 应用中集成和部署 LiteRT 模型的指南。
• 嵌入式 Linux 与 Raspberry Pi：在单板计算机上运行 LiteRT 模型，也可选择使用 Coral Edge TPU 加速。
• 微控制器：在内存仅有几 KB 的 MCU 上部署——核心运行时在 Arm Cortex-M3 上约占 16 KB。

浏览器与 Node.js (LiteRT.js)#

• LiteRT.js 概览：使用 WebGPU/WASM 加速，在浏览器中直接运行相同的 .tflite 模型，无需服务器端计算，并让数据保留在用户设备上。
• 端到端示例：提供在移动设备、边缘设备和 Web 平台上实现 LiteRT 的实用示例和教程。

总结#

本指南介绍了如何将 Ultralytics YOLO 模型导出为 LiteRT 格式。LiteRT 将移动端/边缘端（以前使用 TFLite）和浏览器（以前使用 TF.js）的部署整合到单一的 .tflite 模型中，让你的 YOLO 模型速度更快、体积更小，并能在几乎所有设备端目标上移植运行。

如需了解更多详情，请访问 LiteRT 官方文档。

另外，如果你想了解其他 Ultralytics YOLO 集成方案，可以查看我们的集成指南页面，其中包含许多实用资源。

常见问题#