将 YOLO 模型导出为 LiteRT，以便在边缘设备和 Web 上部署#

LiteRT（Lite Runtime 的简称）是 Google 面向设备端 AI 的高性能运行时。它是 TensorFlow Lite (TFLite) 的下一代版本和新名称，并运行相同的 .tflite 模型格式。借助 LiteRT，只需导出一个 Ultralytics YOLO 模型，就能部署到移动设备、嵌入式设备、边缘设备和浏览器上——涵盖旧版 tflite 和 tfjs 导出格式分别处理的所有场景，现已统一到一个框架下。

LiteRT 导出格式会针对目标检测、分割、姿态估计和分类等任务优化你的模型，使其能够在各种设备上快速离线运行。

npm i @ultralytics/yolo @litertjs/core

为什么应该导出为 LiteRT？#

LiteRT 是一个专为设备端推理设计的开源框架，也称为边缘计算。它为开发者提供了在移动设备、嵌入式设备和 IoT 设备、传统计算机上执行训练模型的工具，并可通过 LiteRT.js 直接在 Web 浏览器和 Node.js 中运行。

一种模型格式，覆盖所有目标平台：

• 移动端和嵌入式设备：Android、iOS、嵌入式 Linux 和微控制器 (MCU)。
• 边缘加速器：兼容 Coral Edge TPU，可进一步加速。
• 浏览器和 Node.js：LiteRT.js 通过 WebGPU/WASM 加速在 Web 上运行相同的 .tflite 模型——无需单独导出 TensorFlow.js。

LiteRT 模型的主要特性#

• 设备端优化：通过在本地处理数据来降低延迟，不传输个人数据以增强隐私，并减小模型大小以节省空间。
• 多平台支持：可运行于 Android、iOS、嵌入式 Linux、微控制器和现代 Web 浏览器。
• 硬件加速：在 CPU 上利用 XNNPACK，并通过 OpenCL、Metal 和 WebGPU 实现 GPU 加速。GPU delegate 默认以 FP16 运行，进一步提升速度。
• 量化：支持 FP32、静态 INT8（quantize=8，int8 权重 + int8 激活值）、静态 INT16-activation（quantize="w8a16"，int8 权重 + int16 激活值，以获得更高精度）和动态 INT8（quantize="w8a32"，int8 权重 + FP32 激活值，无需校准数据），从而压缩模型并加快推理，同时将精度损失降至最低。
• 多语言支持：兼容 Java/Kotlin、Swift、Objective-C、C++、Python 和 JavaScript。

实测性能#

**硬件：**配备 12 GB LPDDR5X 内存和 Android 16 / API 36 的 Xiaomi 17。其 3 nm Snapdragon 8 Elite Gen 5 （SM8850）搭载 8 核 Qualcomm Oryon CPU（2 个最高 4.6 GHz 的 Prime 核心和 6 个最高 3.62 GHz 的 Performance 核心）、 Adreno GPU 和 Hexagon NPU。

• 速度值为单图像突发延迟——在 bus.jpg 上经过 3 次预热运行后，取 15 次运行的平均值，并使用 Ultralytics Flutter 插件 0.6.10 和标准化的 v0.6.6 资源进行测量。CPU/GPU 顺序在一次顺序扫描中于不同任务之间交替。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。
• LiteRT 导出会直接追踪 PyTorch 模型，生成带浮点输入的 NCHW .tflite——GPU delegate 会编译整个计算图（这里的全部七项任务都在 Adreno GPU 上运行），并且 w8a32 无需校准数据。使用者应读取张量形状和签名名称，而不是假设采用旧版 onnx2tf NHWC 布局或 Identity 输出名称；应直接将 RGB 数据按平面 CHW 打包，或在推理前进行转置。语义分割导出会返回 NCHW logits，并需要在主机端执行类别 argmax。官方 Android 资源托管在 yolo-flutter-app v0.6.6 release 中，详细基准测试记录请参阅 Flutter 性能文档。
• 匹配的 Snapdragon Hexagon NPU 以及 LiteRT CPU/GPU 数值位于 Qualcomm QNN 集成中。
• 在 CoreML 集成中比较 Apple CPU/加速器结果。

以下设备扫描使用相同的标准化 v0.6.6 资源。

Google Pixel 10#

硬件：Google Pixel 10 配备 12 GB 内存和 Android 16 / API 36。其 3 nm Google Tensor G5 搭载 8 核 CPU（1 个最高 3.78 GHz 的 Prime 核心、5 个最高 3.05 GHz 的 Performance 核心，以及 2 个最高 2.25 GHz 的 Efficiency 核心）、PowerVR D-Series GPU 和 Google TPU。由于 Google 未在链接的规格中公布核心时钟频率和 GPU 驱动名称，因此这些信息读取自基准测试设备。

**基准测试：**在 bus.jpg 上预热 3 次后，执行 15 次 predict() 调用并取平均值，使用 ultralytics_yolo、0.6.10 和官方 v0.6.6 资源。CPU/GPU 顺序在一次顺序扫描中于不同任务之间交替。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

Samsung Galaxy S26#

硬件：Samsung Galaxy S26（SM-S942B）配备 12 GB 内存 和 Android 16 / API 36。其 2 nm Exynos 2600 搭载 10 核 Armv9.3 CPU（1 个最高 3.8 GHz 的 C1-Ultra 核心、3 个最高 3.26 GHz 的 C1-Pro 性能核心，以及 6 个最高 2.76 GHz 的效率 C1-Pro 核心）、Xclipse 960 GPU 和 Samsung NPU。

**基准测试：**在 bus.jpg 上预热 3 次后，执行 15 次 predict() 调用并取平均值，使用 ultralytics_yolo、0.6.10 和官方 v0.6.6 资源。CPU/GPU 顺序在一次顺序扫描中于不同任务之间交替。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

Xiaomi 17T Pro#

硬件：Xiaomi 17T Pro（2602EPTC0G）配备 12 GB LPDDR5X 内存和 Android 16 / API 36。其 3 nm MediaTek Dimensity 9500（MT6993）搭载 8 核 Armv9.3 CPU（1 个最高 4.21 GHz 的 C1-Ultra 核心、3 个最高 3.5 GHz 的 C1-Premium 核心，以及 4 个最高 2.7 GHz 的 C1-Pro 核心）、Mali-G1 Ultra MC12 GPU 和 MediaTek NPU 990。

**基准测试：**在 bus.jpg 上预热 3 次后，执行 15 次 predict() 调用并取平均值，使用 ultralytics_yolo、0.6.10 和官方 v0.6.6 资源。CPU/GPU 顺序在一次顺序扫描中于不同任务之间交替。原生日志确认，每个 CPU 行都使用 LiteRT CPU/XNNPACK，每个 GPU 行都将完整计算图委托给 LiteRT OpenCL（LITERT_CL）。

支持的任务#

LiteRT 导出支持 Ultralytics 的全部七项任务。语义分割和深度估计仅适用于 YOLO26，因为它是唯一提供这些检测头的系列。

导出为 LiteRT：转换你的 YOLO 模型#

将模型转换为 LiteRT 格式，可以提高设备端执行效率并拓展部署选项。

安装#

要安装所需的软件包，请运行：

# Install the required package for YOLO
pip install ultralytics

如需详细说明和最佳实践，请参阅我们的 Ultralytics 安装指南。如果遇到任何困难，请查阅我们的常见问题指南。

使用方法#

所有 Ultralytics YOLO 模型均开箱即用地支持导出。LiteRT 格式支持 Export、Predict 和 Validate 模式，因此你可以导出模型，然后加载它以在本地运行推理或验证其精度。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to LiteRT format
model.export(format="litert", imgsz=640)  # use imgsz=224 for classification

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# Dynamic INT8: int8 weights, FP32 activations - no calibration data needed
model.export(format="litert", quantize="w8a32", imgsz=640)  # use imgsz=224 for classification

# Static INT8: int8 weights + int8 activations - needs calibration data
model.export(format="litert", quantize=8, data="coco8.yaml", imgsz=640)  # use 224 for classification

# Static w8a16: int8 weights + int16 activations (higher accuracy) - needs calibration data
model.export(format="litert", quantize="w8a16", data="coco8.yaml", imgsz=640)  # use 224 for classification

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported LiteRT model
model = YOLO("yolo26n.tflite")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

导出参数#

如需详细了解导出流程，请访问 Ultralytics 导出文档页面。

部署导出的 YOLO LiteRT 模型#

将 Ultralytics YOLO 模型导出为 LiteRT 后，你可以跨平台部署它。要在本地快速验证模型，最简单的方法是使用上文所示的 YOLO("yolo26n.tflite") 方法。要在其他环境中部署，请参阅以下资源：

移动端与嵌入式设备#

• Android：将 LiteRT 集成到 Android 应用中的快速入门指南。
• iOS：在 iOS 应用中集成和部署 LiteRT 模型的指南。
• 嵌入式 Linux 与 Raspberry Pi：在单板计算机上运行 LiteRT 模型，也可以选择使用 Coral Edge TPU 加速。
• 微控制器：在仅有几 KB 内存的 MCU 上进行部署——核心运行时在 Arm Cortex-M3 上约占 16 KB。

浏览器与 Node.js（LiteRT.js）#

• LiteRT.js 概览：借助 WebGPU/WASM 加速，直接在浏览器中运行同一个 .tflite 模型，无需服务器端计算，并让数据保留在用户设备上。
• 端到端示例：在移动端、边缘设备和 Web 环境中实现 LiteRT 的实用示例与教程。

总结#

在本指南中，我们介绍了如何将 Ultralytics YOLO 模型导出为 LiteRT 格式。LiteRT 将移动端/边缘设备（以前称为 TFLite）和浏览器（以前称为 TF.js）的部署整合到单个 .tflite 模型中，使你的 YOLO 模型更快、更小，并可移植到几乎所有端侧目标平台。

如需更多详情，请访问 LiteRT 官方文档。

此外，如果你想了解其他 Ultralytics YOLO 集成，请查看我们的集成指南页面，其中有大量实用资源。

常见问题#