跳至内容

YOLO11 将模型导出至TorchScript 以实现快速部署

在不同的环境（包括嵌入式系统、网络浏览器或支持有限的Python 的平台）中部署计算机视觉模型，需要一个灵活、可移植的解决方案。TorchScript 注重可移植性以及在无法使用整个Python 框架的环境中运行模型的能力。因此，它非常适合需要在各种设备或平台上部署计算机视觉功能的场景。

导出到Torchscript 以序列化您的 Ultralytics YOLO11模型，以实现跨平台兼容性和简化部署。在本指南中，我们将向您展示如何将YOLO11 模型导出为TorchScript 格式，使您可以更轻松地在更广泛的应用程序中使用这些模型。

为什么要导出到TorchScript ？

Torchscript 概述

TorchScript 由PyTorch 的创建者开发，是在各种平台上优化和部署PyTorch 模型的强大工具。将YOLO11 模型导出到 TorchScript是将研究成果转化为实际应用的关键。TorchScript作为PyTorch 框架的一部分，它允许在不支持Python 的环境中使用PyTorch 模型，从而使这一过渡更加顺利。

这一过程涉及两种技术：跟踪和脚本。跟踪记录模型执行过程中的操作，而脚本则允许使用Python 的子集来定义模型。这些技术确保YOLO11 等模型即使在其通常的Python 环境之外也能发挥其魔力。

TorchScript 脚本和跟踪

TorchScript 此外，还可以通过运算符融合和改进内存使用等技术对模型进行优化，确保高效执行。导出到TorchScript 的另一个优势是可以加速模型在各种硬件平台上的执行。它为PyTorch 模型创建了一个独立的、生产就绪的表示形式，可集成到 C++ 环境、嵌入式系统中，或部署到网络或移动应用程序中。

TorchScript 机型的主要特点

TorchScript是PyTorch 生态系统的重要组成部分，为优化和部署深度学习模型提供了强大的功能。

TorchScript 特点

以下是TorchScript 成为开发人员宝贵工具的主要功能：

  • 静态图执行：TorchScript 使用模型计算的静态图表示，这与PyTorch 的动态图执行不同。在静态图执行中，计算图在实际执行前定义和编译一次，从而提高了推理过程中的性能。

  • 模型序列化：TorchScript 允许您将PyTorch 模型序列化为与平台无关的格式。序列化后的模型无需原始Python 代码即可加载，从而可在不同的运行环境中运行。

  • JIT 编译：TorchScript 使用即时 (JIT) 编译将PyTorch 模型转换为优化的中间表示。JIT 可编译模型的计算图，从而在目标设备上高效执行。

  • 跨语言集成：通过TorchScript ，您可以将PyTorch 模型导出为其他语言，如 C++、Java 和 JavaScript。这使PyTorch 模型更容易集成到用不同语言编写的现有软件系统中。

  • 逐步转换：TorchScript 提供了一种逐步转换方法，允许您逐步将PyTorch 模型的部分内容转换为TorchScript 。这种灵活性在处理复杂模型或优化特定部分代码时特别有用。

中的部署选项TorchScript

在了解将YOLO11 模型导出为TorchScript 格式的代码之前，我们先来了解一下TorchScript 模型通常用在什么地方。

TorchScript 为机器学习模型提供各种部署选项，例如

  • C++ API：TorchScript 最常见的用例是其 C++ API，它允许您在 C++ 应用程序中直接加载和执行经过优化的TorchScript 模型。这非常适合于Python 可能不适合或不可用的生产环境。C++ API 可以低开销、高效地执行TorchScript 模型，最大限度地发挥性能潜力。

  • 移动部署：TorchScript 提供将模型转换为可在移动设备上部署的格式的工具。PyTorch 移动设备提供了一个运行时，可在iOS 和Android 应用程序中执行这些模型。这实现了低延迟、离线推理功能，增强了用户体验和数据隐私。

  • 云部署：可以使用 TorchServe 等解决方案将TorchScript 模型部署到基于云的服务器上。它提供了模型版本化、批处理和指标监控等功能，可在生产环境中进行可扩展的部署。通过TorchScript 进行云部署，可以通过 API 或其他网络服务访问您的模型。

导出到TorchScript ：转换您的YOLO11 模型

将YOLO11 模型导出到TorchScript 可以更方便地在不同地方使用它们，并帮助它们更快、更高效地运行。这对任何希望在实际应用中更有效地使用深度学习模型的人来说都是一件好事。

安装

要安装所需的软件包，请运行

安装

# Install the required package for YOLO11
pip install ultralytics

有关安装过程的详细说明和最佳实践，请查阅我们的Ultralytics 安装指南。在安装YOLO11 所需的软件包时，如果遇到任何困难，请查阅我们的常见问题指南，了解解决方案和技巧。

使用方法

在了解使用说明之前，需要注意的是，虽然Ultralytics YOLO11 的所有 型号都可以导出，但您可以在此确保您选择的型号支持导出功能。

使用方法

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo11n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO("yolo11n.torchscript")

# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TorchScript format
yolo export model=yolo11n.pt format=torchscript  # creates 'yolo11n.torchscript'

# Run inference with the exported model
yolo predict model=yolo11n.torchscript source='https://ultralytics.com/images/bus.jpg'

有关导出过程的更多详情，请访问Ultralytics 有关导出的文档页面。

部署导出的YOLO11 TorchScript 模型

成功将Ultralytics YOLO11 模型导出为TorchScript 格式后，现在就可以部署它们了。运行TorchScript 模型的主要和推荐的第一步是使用YOLO("model.torchscript") 方法，如前面的使用代码片段所述。不过，有关在其他各种设置中部署TorchScript 模型的深入说明，请参阅以下资源：

  • 探索移动部署:移动部署 PyTorch移动文档为在移动设备上部署模型提供了全面的指导，确保您的应用程序高效且反应灵敏。

  • 主服务器端部署:了解如何使用 TorchServe 在服务器端部署模型，为可扩展的高效模型服务提供分步教程。

  • 实施 C++ 部署:深入学习在 C++ 中加载TorchScript 模型的教程，便于将TorchScript 模型集成到 C++ 应用程序中，从而提高性能和通用性。

摘要

在本指南中，我们探讨了将Ultralytics YOLO11 模型导出为TorchScript 格式的过程。按照提供的说明，您可以优化YOLO11 模型的性能，并获得在各种平台和环境中部署这些模型的灵活性。

有关使用的详细信息，请访问TorchScript 的官方文档。

此外，如果您想了解有关Ultralytics YOLO11 集成的更多信息，请访问我们的集成指南页面。您将在那里找到大量有用的资源和见解。

常见问题

什么是Ultralytics YOLO11 模型导出到TorchScript?

将Ultralytics YOLO11 模型导出到TorchScript 可实现灵活的跨平台部署。TorchScript作为PyTorch 生态系统的一部分，.NET.COM 为模型的序列化提供了便利，这样就可以在缺乏Python 支持的环境中执行模型。因此，它非常适合在嵌入式系统、C++ 环境、移动应用程序甚至网络浏览器上部署模型。导出到TorchScript 可使您的YOLO11 模型在不同平台上实现高效性能和更广泛的适用性。

如何使用Ultralytics 将YOLO11 模型导出到TorchScript ？

要将YOLO11 模型导出到TorchScript ，可以使用以下示例代码：

使用方法

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TorchScript format
model.export(format="torchscript")  # creates 'yolo11n.torchscript'

# Load the exported TorchScript model
torchscript_model = YOLO("yolo11n.torchscript")

# Run inference
results = torchscript_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TorchScript format
yolo export model=yolo11n.pt format=torchscript  # creates 'yolo11n.torchscript'

# Run inference with the exported model
yolo predict model=yolo11n.torchscript source='https://ultralytics.com/images/bus.jpg'

有关导出过程的更多详情，请参阅Ultralytics 有关导出的文档。

为什么要使用TorchScript 部署YOLO11 模型？

使用TorchScript 部署YOLO11 模型有几个优势：

  • 可移植性：导出的模型可以在不需要Python 的环境中运行，如 C++ 应用程序、嵌入式系统或移动设备。
  • 优化：TorchScript 支持静态图执行和即时编译（JIT），可优化模型性能。
  • 跨语言集成：TorchScript 模型可集成到其他编程语言中，增强了灵活性和可扩展性。
  • 序列化：模型可以序列化，从而实现与平台无关的加载和推理。

有关部署的更多信息，请访问PyTorch Mobile Documentation、TorchServe Documentation 和C++ Deployment Guide。

将YOLO11 模型导出到TorchScript 的安装步骤是什么？

要安装导出YOLO11 模型所需的软件包，请使用以下命令：

安装

# Install the required package for YOLO11
pip install ultralytics

有关详细说明，请访问Ultralytics 安装指南。如果在安装过程中出现任何问题，请查阅常见问题指南。

如何部署导出的TorchScript YOLO11 模型？

将YOLO11 模型导出为TorchScript 格式后，您就可以将其部署到各种平台上：

  • C++ 应用程序接口：是低成本、高效率生产环境的理想选择。
  • 移动部署：将PyTorch Mobile用于iOS 和Android 应用程序。
  • 云部署：利用TorchServe等服务进行可扩展的服务器端部署。

探索在这些环境中部署模型的综合指南，以充分利用TorchScript 的功能。

📅创建于 9 个月前 ✏️已更新 2 个月前
超解助手 翔宇 马修-诺伊斯 里兹万-穆纳瓦 阿比拉米-维纳

评论