在 GitHub 上编辑页面 (EN)

YOLO26 模型导出至 TorchScript 以实现快速部署

在包括嵌入式系统、Web 浏览器或 Python 支持受限的平台等不同环境中部署 computer vision 模型，需要一种灵活且可移植的解决方案。TorchScript 专注于可移植性以及在无法使用完整 Python 框架的环境中运行模型的能力。这使其非常适合你需要跨多种设备或平台部署计算机视觉功能的场景。

导出至 TorchScript，将你的 Ultralytics YOLO26 模型序列化，以实现跨平台兼容性和精简的部署流程。在本指南中，我们将向你展示如何将 YOLO26 模型导出为 TorchScript 格式，让你能更轻松地在更广泛的应用中使用它们。

为什么要导出为 TorchScript？

TorchScript 模型序列化和部署工作流程概述

TorchScript 由 PyTorch 的创建者开发，是用于在各种平台上优化和部署 PyTorch 模型的强大工具。将 YOLO26 模型导出为 TorchScript 对于从研究转向实际应用至关重要。作为 PyTorch 框架的一部分，TorchScript 通过允许 PyTorch 模型在不支持 Python 的环境中使用，从而帮助使这一过渡更加顺畅。

该过程涉及两种技术：跟踪 (tracing) 和脚本 (scripting)。跟踪在模型执行期间记录操作，而脚本允许使用 Python 的子集来定义模型。这些技术确保了像 YOLO26 这样的模型即使在其常用的 Python 环境之外也能发挥作用。

TorchScript 脚本与跟踪对比

TorchScript 模型还可以通过算子融合 (operator fusion) 和内存使用优化等技术进行改进，从而确保高效的执行。导出到 TorchScript 的另一个优势是它有可能加速模型在各种硬件平台上的执行。它创建了 PyTorch 模型的独立、生产就绪的表示形式，可以集成到 C++ 环境、嵌入式系统中，或部署在 Web 或移动应用程序中。

TorchScript 模型的主要特性

作为 PyTorch 生态系统的关键部分，TorchScript 为优化和部署 deep learning 模型提供了强大的功能。

TorchScript 主要特性概述

以下是使 TorchScript 成为开发者宝贵工具的主要特性：

  • 静态图执行：TorchScript 使用模型计算的静态图表示，这与 PyTorch 的动态图执行不同。在静态图执行中，计算图在实际执行前被定义并编译一次，从而提高了推理过程中的性能。

  • 模型序列化：TorchScript 允许你将 PyTorch 模型序列化为平台无关的格式。序列化后的模型无需原始 Python 代码即可加载，从而可以在不同的运行时环境中进行部署。

  • JIT 编译：TorchScript 使用即时 (JIT) 编译将 PyTorch 模型转换为优化的中间表示。JIT 会编译模型的计算图，从而在目标设备上实现高效执行。

  • 跨语言集成：使用 TorchScript，你可以将 PyTorch 模型导出到 C++、Java 和 JavaScript 等其他语言。这使得将 PyTorch 模型集成到使用不同语言编写的现有软件系统中变得更加容易。

  • 逐步转换：TorchScript 提供了逐步转换的方法，允许你将 PyTorch 模型的部分内容增量转换为 TorchScript。这种灵活性在处理复杂模型或希望优化代码特定部分时特别有用。

TorchScript 中的部署选项

在查看导出 YOLO26 模型至 TorchScript 格式的代码之前，让我们了解一下 TorchScript 模型通常用于何处。

TorchScript 为 machine learning 模型提供了多种部署选项，例如：

  • C++ API：TorchScript 最常见的用例是其 C++ API，它允许你在 C++ 应用程序中直接加载和执行优化的 TorchScript 模型。这非常适合 Python 不适用或不可用的生产环境。C++ API 提供低开销且高效的 TorchScript 模型执行，最大限度地提升了性能潜力。

  • 移动端部署：TorchScript 提供了将模型转换为可轻松部署在移动设备上格式的工具。PyTorch Mobile 提供了一个运行时，用于在 iOS 和 Android 应用程序中执行这些模型。这实现了低延迟的离线推理功能，增强了用户体验和 data privacy。

  • 云端部署：TorchScript 模型可以使用诸如 TorchServe 之类的解决方案部署到云服务器。它提供了模型版本控制、批处理和指标监控等功能，可在生产环境中进行可扩展部署。通过 TorchScript 进行云端部署，可以使你的模型通过 API 或其他 Web 服务进行访问。

导出至 TorchScript：转换你的 YOLO26 模型

将 YOLO26 模型导出为 TorchScript 可以更轻松地在不同地点使用它们，并帮助它们运行得更快、更高效。对于任何希望在实际应用中更有效地使用深度学习模型的人来说，这都是极好的选择。

安装

要安装所需的包，请运行：

安装
# Install the required package for YOLO26
pip install ultralytics

有关安装过程的详细说明和最佳实践，请查看我们的 Ultralytics 安装指南。如果在安装 YOLO26 所需的软件包时遇到任何困难，请查阅我们的 常见问题指南 获取解决方案和建议。

使用方法

所有 Ultralytics YOLO26 模型 均设计为支持直接开箱导出，使你能够轻松将其集成到你首选的部署工作流中。你可以查看支持的导出格式和配置选项的完整列表，为你的应用选择最佳设置。

使用方法
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo26n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO("yolo26n.torchscript")

# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")

导出参数

参数类型默认值描述
formatstr'torchscript'导出模型的目标格式，定义与各种部署环境的兼容性。
imgszint 或 tuple640模型输入的所需图像尺寸。可以是正方形图像的整数，也可以是特定维度的元组 (height, width)。
dynamicboolFalse允许动态输入大小，提高了处理不同图像尺寸的灵活性。
halfboolFalse启用 FP16（半精度）量化，减小模型大小并可能在受支持的硬件上加快推理速度。
optimizeboolFalse应用针对移动设备的优化，从而可能减小模型大小并提升性能。
nmsboolFalse添加非极大值抑制（NMS），这对于准确且高效的检测后处理至关重要。
batchint1指定导出模型的批量推理大小，或者导出模型在 predict 模式下将同时处理的最大图像数量。
devicestrNone指定导出的设备：GPU (device=0)、CPU (device=cpu)、适用于 Apple 芯片的 MPS (device=mps)。

有关导出过程的更多详细信息，请访问 Ultralytics 导出文档页面。

部署已导出的 YOLO26 TorchScript 模型

在成功将你的 Ultralytics YOLO26 模型导出为 TorchScript 格式后，你现在可以部署它们了。运行 TorchScript 模型首选且建议的第一步是使用 YOLO("model.torchscript") 方法，正如之前的用法代码片段中所概述的那样。有关在其他设置中部署 TorchScript 模型的深入说明，请参考以下资源：

  • 探索移动端部署：PyTorch 移动端文档提供了在移动设备上部署模型的全面指南，确保你的应用程序高效且响应迅速。

  • 掌握服务器端部署：学习如何使用 TorchServe 在服务器端部署模型，其中提供了关于可扩展、高效模型服务的逐步教程。

  • 实现 C++ 部署：深入阅读关于在 C++ 中加载 TorchScript 模型的教程，助力将你的 TorchScript 模型集成到 C++ 应用程序中，以获得更高的性能和多功能性。

总结

在本指南中，我们探讨了将 Ultralytics YOLO26 模型导出至 TorchScript 格式的过程。通过遵循所提供的说明，你可以优化 YOLO26 模型以提升性能，并获得跨多种平台和环境部署它们的灵活性。

有关用法的更多详情，请访问 TorchScript 的官方文档。

此外，如果你想了解有关其他 Ultralytics YOLO26 集成的更多信息，请访问我们的 集成指南页面。你会在那里找到大量有用的资源和见解。

常见问题 (FAQ)

什么是 Ultralytics YOLO26 模型导出至 TorchScript？

将 Ultralytics YOLO26 模型导出至 TorchScript 可实现灵活的跨平台部署。作为 PyTorch 生态系统的一部分，TorchScript 促进了模型的序列化，之后可以在缺乏 Python 支持的环境中执行。这使其成为在嵌入式系统、C++ 环境、移动应用程序甚至 Web 浏览器中部署模型的理想选择。导出至 TorchScript 可提升 YOLO26 模型的执行效率，并增强其在不同平台上的适用性。

如何使用 Ultralytics 将我的 YOLO26 模型导出为 TorchScript？

要将 YOLO26 模型导出为 TorchScript，你可以使用以下示例代码：

使用方法
from ultralytics import YOLO

# Load the YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo26n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO("yolo26n.torchscript")

# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")

有关导出过程的更多详情，请参阅 Ultralytics 关于导出的文档。

为什么我应该使用 TorchScript 来部署 YOLO26 模型？

使用 TorchScript 部署 YOLO26 模型具有以下几项优势：

  • 可移植性：导出的模型无需 Python 即可运行，例如在 C++ 应用程序、嵌入式系统或移动设备中。
  • 优化：TorchScript 支持静态图执行和即时 (JIT) 编译，这可以优化模型性能。
  • 跨语言集成：TorchScript 模型可以集成到其他编程语言中，从而增强灵活性和可扩展性。
  • 序列化：模型可以被序列化，从而允许进行平台无关的加载和推理。

要了解更多关于部署的见解，请访问 PyTorch 移动端文档、TorchServe 文档 以及 C++ 部署指南。

导出 YOLO26 模型至 TorchScript 的安装步骤是什么？

要安装用于导出 YOLO26 模型所需的包，请使用以下命令：

安装
# Install the required package for YOLO26
pip install ultralytics

有关详细说明，请访问 Ultralytics 安装指南。如果安装过程中出现任何问题，请查阅 常见问题指南。

我该如何部署已导出的 TorchScript YOLO26 模型？

将 YOLO26 模型导出为 TorchScript 格式后，你可以将它们部署在多种平台上：

  • C++ API：非常适合低开销、高效率的生产环境。
  • 移动端部署：对 iOS 和 Android 应用程序使用 PyTorch Mobile。
  • 云端部署：利用 TorchServe 等服务进行可扩展的服务器端部署。

探索在这些设置中部署模型的全面指南，以充分利用 TorchScript 的功能。

Contributors
在 GitHub 上编辑页面 (EN)
GLglenn-jocher14LAlakshanthad4ABabirami-vina2RAraimbekovm1PDpderrenger1MAMatthewNoyce1RIRizwanMunawar1

评论