跳转至内容

将YOLO11 模型导出到TFLite 进行部署的指南

TFLite 徽标

在边缘设备或嵌入式设备上部署计算机视觉模型需要一种能够确保无缝性能的格式。

通过TensorFlow Lite 或TFLite 导出格式，您可以优化您的 Ultralytics YOLO11模型进行优化，以便在基于边缘设备的应用中执行物体检测和图像分类等任务。在本指南中，我们将介绍将模型转换为TFLite 格式的步骤，使您的模型更容易在各种边缘设备上良好运行。

为什么要向TFLite 出口？

作为TensorFlow 框架的一部分，TensorFlow Lite（简称TFLite ）是Google 于 2017 年 5 月推出的开源深度学习框架，专为设备推理（也称为边缘计算）而设计。它为开发人员提供了在移动、嵌入式和物联网设备以及传统计算机上执行训练好的模型的必要工具。

TensorFlow Lite 兼容多种平台，包括嵌入式 Linux、Android、iOS 和微控制器 (MCU)。将模型导出到TFLite 可使您的应用程序更快、更可靠，并能离线运行。

TFLite 型号的主要特点

TFLite 模型具有多种关键功能，可帮助开发人员在移动、嵌入式和边缘设备上运行模型，从而实现设备上的机器学习：

  • 设备上优化：TFLite 对设备上的 ML 进行了优化，通过本地处理数据来减少延迟，通过不传输个人数据来提高私密性，并尽量缩小模型尺寸以节省空间。

  • 多平台支持：TFLite 提供广泛的平台兼容性，支持Android、iOS、嵌入式 Linux 和微控制器。

  • 支持多种语言：TFLite 兼容多种编程语言，包括 Java、Swift、Objective-C、C++ 和Python。

  • 高性能: 通过硬件加速和模型优化实现卓越性能。

TFLite中的部署选项

在了解将YOLO11 模型导出为TFLite 格式的代码之前，我们先来了解一下TFLite 模型通常是如何使用的。

TFLite 为机器学习模型提供各种设备上部署选项，包括

  • 使用Android 和iOS进行部署：使用TFLite 的Android 和iOS 应用程序都可以分析基于边缘的摄像头馈送和传感器，以detect 和识别物体。TFLite 还提供用Swift和Objective-C 编写的本地iOS 库。下面的架构图显示了使用TensorFlow Lite 将训练好的模型部署到Android 和iOS 平台的过程。

架构

  • 使用嵌入式 Linux 实现：如果在Raspberry Pi上使用《Ultralytics 指南》运行推理不能满足使用案例的速度要求，可以使用导出的TFLite 模型来加快推理时间。此外，还可以利用Coral EdgeTPU 设备进一步提高性能。

  • 使用微控制器部署：TFLite 模型也可以部署在内存只有几千字节的微控制器和其他设备上。在 Arm Cortex M3 上，核心运行时只有 16 KB，可以运行许多基本模型。它不需要操作系统支持、任何标准 C 或 C++ 库或动态内存分配。

导出到TFLite：转换您的YOLO11 模型

您可以通过将模型转换为TFLite 格式来提高设备上的模型执行效率并优化性能。

安装

要安装所需的软件包，请运行：

安装

# Install the required package for YOLO11
pip install ultralytics

有关安装过程的详细说明和最佳实践，请查看我们的 Ultralytics 安装指南。如果在为 YOLO11 安装所需软件包时遇到任何困难，请查阅我们的 常见问题指南以获取解决方案和提示。

用法

所有Ultralytics YOLO11 模型都设计为支持开箱即用的导出，从而可以轻松地将其集成到您首选的部署工作流程中。您可以查看支持的导出格式和配置选项的完整列表，以选择最适合您应用程序的设置。

用法

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TFLite format
model.export(format="tflite")  # creates 'yolo11n_float32.tflite'

# Load the exported TFLite model
tflite_model = YOLO("yolo11n_float32.tflite")

# Run inference
results = tflite_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TFLite format
yolo export model=yolo11n.pt format=tflite # creates 'yolo11n_float32.tflite'

# Run inference with the exported model
yolo predict model='yolo11n_float32.tflite' source='https://ultralytics.com/images/bus.jpg'

导出参数

参数类型默认值描述
formatstr'tflite'导出模型的目标格式，定义与各种部署环境的兼容性。
imgszint 或 tuple640模型输入的所需图像大小。 可以是正方形图像的整数或元组 (height, width) 用于指定特定维度。
halfboolFalse启用 FP16（半精度）量化，从而减小模型大小并可能加快受支持硬件上的推理速度。
int8boolFalse激活 INT8 量化，进一步压缩模型并以最小的精度损失加快推理速度，主要用于边缘设备。
nmsboolFalse增加了非最大值抑制NMS)，这对精确高效的检测后处理至关重要。
batchint1指定导出模型批处理推理大小或导出模型将并发处理的最大图像数量，在 predict 模式下。
datastr'coco8.yaml'路径指向 数据集 配置文件（默认： coco8.yaml)，这对于量化至关重要。
fractionfloat1.0指定用于 INT8 量化校准的数据集比例。允许在完整数据集的子集上进行校准，这对于实验或资源有限时非常有用。如果未在使用 INT8 启用时指定，则将使用完整数据集。
devicestrNone指定导出设备：CPU（device=cpu），适用于 Apple 芯片的 MPS（device=mps）。

有关导出过程的更多详细信息，请访问Ultralytics 文档页面上的导出。

部署导出的YOLO11 TFLite 模型

成功将Ultralytics YOLO11 模型导出为TFLite 格式后，您就可以部署这些模型了。运行TFLite 模型的第一步是使用 YOLO("model.tflite") 方法，如前面的使用代码片段所述。不过，有关在其他各种设置中部署TFLite 模型的深入说明，请参阅以下资源：

  • Android: 将 TensorFlow Lite 集成到 Android 应用程序的快速入门指南，提供易于遵循的步骤来设置和运行 机器学习 模型。

  • iOS：查看此针对开发人员的详细指南，了解如何在 iOS 应用程序中集成和部署 TensorFlow Lite 模型，提供分步说明和资源。

  • 端到端示例: 此页面概述了各种TensorFlow Lite示例，展示了旨在帮助开发人员在移动和边缘设备的机器学习项目中实施TensorFlow Lite的实际应用和教程。

总结

在本指南中，我们将重点介绍如何导出为TFLite 格式。通过将Ultralytics YOLO11 模型转换为TFLite 模型格式，您可以提高YOLO11 模型的效率和速度，使其更有效、更适合边缘计算环境。

有关使用的详细信息，请访问TFLite 官方文档。

此外，如果您对其他 Ultralytics YOLO11 集成感到好奇，请务必查看我们的集成指南页面。您将在那里找到大量有用的信息和见解。

常见问题

如何将YOLO11 模型导出为TFLite 格式？

要将YOLO11 模型导出为TFLite 格式，可以使用Ultralytics 库。首先，使用

pip install ultralytics

然后，使用以下代码片段导出您的模型：

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TFLite format
model.export(format="tflite")  # creates 'yolo11n_float32.tflite'

对于 CLI 用户，您可以使用以下命令实现：

yolo export model=yolo11n.pt format=tflite # creates 'yolo11n_float32.tflite'

更多详情，请访问Ultralytics 导出指南。

使用 TensorFlow Lite 进行 YOLO11 模型部署有哪些好处？

TensorFlow TFLite) 是一个开源深度学习框架，专为设备推理而设计，非常适合在移动、嵌入式和物联网设备上部署YOLO11 模型。主要优势包括

  • 设备端优化: 通过在本地处理数据，最大限度地减少延迟并增强隐私。
  • 平台兼容性：支持 Android、iOS、嵌入式 Linux 和 MCU。
  • 性能: 利用硬件加速来优化模型速度和效率。

要了解更多信息，请查看TFLite 指南。

有可能在 Raspberry Pi 上运行YOLO11 TFLite 模型吗？

是的，您可以在 Raspberry Pi 上运行YOLO11 TFLite 模型，以提高推理速度。首先，如上所述将模型导出为TFLite 格式。然后，使用TensorFlow Lite Interpreter 等工具在 Raspberry Pi 上执行模型。

为了进一步优化，您可以考虑使用 Coral Edge TPU。有关详细步骤，请参阅我们的 Raspberry Pi 部署指南 和 Edge TPU 集成指南。

我可以在微控制器上使用TFLite 模型进行YOLO11 预测吗？

是的，TFLite 支持在资源有限的微控制器上部署。在 Arm Cortex M3 上，TFLite 的核心运行时只需 16 KB 内存，即可运行基本的YOLO11 模型。因此，它适合部署在计算能力和内存都极小的设备上。

要开始使用，请访问TFLite Micro for Microcontrollers 指南。

哪些平台兼容TFLite 导出的YOLO11 模型？

TensorFlow Lite 提供了广泛的平台兼容性，允许您在各种设备上部署 YOLO11 模型，包括：

  • Android 和 iOS：通过 TFLite Android 和 iOS 库提供原生支持。
  • 嵌入式 Linux: 适用于 Raspberry Pi 等单板计算机。
  • 微控制器: 适用于资源受限的 MCU。

有关部署选项的更多信息，请参阅我们详细的 部署指南。

在将YOLO11 模型导出到TFLite 的过程中，如何排除常见问题？

如果在将YOLO11 模型导出到TFLite 时遇到错误，常见的解决方案包括

  • 检查包兼容性: 确保您使用的是兼容版本的 Ultralytics 和 TensorFlow。请参考我们的安装指南。
  • 型号支持：通过查看Ultralytics 导出文档页面，验证特定YOLO11 型号是否支持TFLite 导出。
  • 量化问题: 当使用 INT8 量化时，请确保在 中正确指定了数据集路径 data 参数。

有关其他故障排除提示，请访问我们的 常见问题解答指南。



📅 1 年前创建 ✏️ 25 天前更新
glenn-jocherlakshanthadambitious-octopusUltralyticsAssistantMatthewNoyceRizwanMunawarabirami-vina

评论