YOLO26 模型的 TensorRT 导出#

在高性能环境中部署计算机视觉模型时，可能需要一种能够最大限度提升速度和效率的格式。当你在 NVIDIA GPU 上部署模型时，尤其如此。

使用 TensorRT 导出格式，你可以优化Ultralytics YOLO26模型，从而在 NVIDIA 硬件上实现快速高效的推理。本指南将为你提供易于遵循的转换步骤，帮助你在深度学习项目中充分利用 NVIDIA 的先进技术。

TensorRT#

由 NVIDIA 开发的 TensorRT 是一种面向高速深度学习推理的高级软件开发套件（SDK）。它非常适合目标检测等实时应用。

此工具包可针对 NVIDIA GPU 优化深度学习模型，从而实现更快速、更高效的运行。TensorRT 模型会经过 TensorRT 优化，其中包括层融合、精度校准（INT8 和 FP16）、动态张量内存管理以及内核自动调优等技术。将深度学习模型转换为 TensorRT 格式后，开发者可以充分发挥 NVIDIA GPU 的潜力。

TensorRT 以兼容多种模型格式而闻名，包括 TensorFlow、PyTorch 和 ONNX，为开发者提供了一个灵活的解决方案，用于集成和优化来自不同框架的模型。这种灵活性支持在各种硬件和软件环境中高效地进行模型部署。

TensorRT 模型的主要特性#

TensorRT 模型具备一系列有助于实现高速深度学习推理效率和效果的主要特性：

• 精度校准：TensorRT 支持精度校准，使模型能够针对特定的精度要求进行微调。这包括对 INT8 和 FP16 等低精度格式的支持，可以在保持可接受精度水平的同时进一步提升推理速度。

• 层融合：TensorRT 优化过程包括层融合，即将神经网络的多个层合并为单个操作。这样可以减少计算开销，并通过最大限度地减少内存访问和计算来提升推理速度。

• 动态张量内存管理：TensorRT 会在推理期间高效管理张量内存使用，减少内存开销并优化内存分配，从而更高效地利用 GPU 内存。

• 自动内核调优：TensorRT 会应用自动内核调优，为模型的每一层选择经过最佳优化的 GPU 内核。这种自适应方法可确保模型充分利用 GPU 的计算能力。

TensorRT 中的部署选项#

在查看将 YOLO26 模型导出为 TensorRT 格式的代码之前，我们先了解 TensorRT 模型通常用于哪些场景。

TensorRT 提供多种部署选项，每种选项在集成难易度、性能优化和灵活性之间采用了不同的平衡：

• 在 TensorFlow 中部署：此方法将 TensorRT 集成到 TensorFlow 中，使优化后的模型能够在熟悉的 TensorFlow 环境中运行。对于包含受支持层和不受支持层的混合模型，这种方法非常有用，因为 TF-TRT 可以高效地处理这些层。

• 独立 TensorRT 运行时 API：提供细粒度控制，非常适合对性能要求较高的应用。虽然更加复杂，但它支持对不受支持的算子进行自定义实现。

• NVIDIA Triton Inference Server：支持来自各种框架的模型。它尤其适合云端或边缘推理，并提供并发模型执行和模型分析等功能。

支持的任务#

TensorRT 导出支持全部七种 Ultralytics 任务。语义分割和深度估计仅适用于 YOLO26，因为 YOLO26 是唯一提供这些检测头的系列。

将 YOLO26 模型导出为 TensorRT#

将 YOLO26 模型转换为 TensorRT 格式，可以提升执行效率并优化性能。

安装#

要安装所需的软件包，请运行：

# Install the required package for YOLO26
pip install ultralytics

有关安装过程的详细说明和最佳实践，请参阅我们的 YOLO26 安装指南。安装 YOLO26 所需的软件包时，如果遇到任何困难，请参阅我们的 常见问题指南 获取解决方案和建议。

使用方法#

在开始阅读使用说明之前，请务必查看 Ultralytics 提供的 YOLO26 模型。这将帮助你根据项目需求选择最合适的模型。

TensorRT 格式支持导出、预测和验证模式。推理和验证需要 NVIDIA GPU。导出模型后，加载导出的模型即可运行推理或验证其精度。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

导出参数#

如需详细了解导出流程，请访问 Ultralytics 导出文档页面。

使用 INT8 量化导出 TensorRT#

使用带有 INT8 精度的 TensorRT 导出 Ultralytics YOLO 模型会执行训练后量化 (PTQ)。TensorRT 对 PTQ 使用校准，当 YOLO 模型在代表性输入数据上处理推理时，校准会测量每个激活张量内部的激活分布，然后使用该分布来估计每个张量的缩放值。每个作为量化候选的激活张量都有一个通过校准过程推导出的关联缩放。通过量化感知训练微调的带有 quantize=8 的检查点已经携带了其 INT8 范围，因此其导出操作会直接使用这些范围并跳过校准。

处理经过隐式量化的网络时，TensorRT 会择机使用 INT8 来优化层的执行时间。如果某一层使用 INT8 运行更快，并且其数据输入和输出已分配量化缩放值，则会为该层分配 INT8 精度内核；否则，TensorRT 会根据 FP32 或 FP16 哪种精度能使该层执行更快，为内核选择相应精度。

配置 INT8 导出#

使用 export 导出 Ultralytics YOLO 模型时提供的参数，会对导出模型的性能产生巨大影响。你还需要根据可用的设备资源选择这些参数，不过默认参数应该适用于大多数 Ampere（或更新架构）NVIDIA 独立 GPU。GPU 导出使用的校准算法为 "MINMAX_CALIBRATION"，而 NVIDIA Jetson 上的 DLA 导出使用 "ENTROPY_CALIBRATION_2"。你可以在《TensorRT 开发者指南》中阅读有关可用选项的更多详细信息。Ultralytics 测试发现 "MINMAX_CALIBRATION" 是 GPU 导出的最佳选择，并会根据导出设备自动选择该算法。

• workspace：控制转换模型权重时设备内存分配的大小（以 GiB 为单位）。

  • 根据校准需求和资源可用性调整 workspace 的值。较大的 workspace 可能会增加校准时间，但能让 TensorRT 探索更广泛的优化策略，从而可能提升模型性能和精度。相反，较小的 workspace 可以缩短校准时间，但可能限制优化策略，影响量化模型的质量。

  • 默认值为 workspace=None，这将允许 TensorRT 自动分配内存；手动配置时，如果校准崩溃（无警告退出），可能需要增大此值。

  • 如果 workspace 的值大于设备可用内存，TensorRT 会在导出期间报告 UNSUPPORTED_STATE，这意味着应降低 workspace 的值，或将其设置为 None。

  • 如果将 workspace 设置为最大值后校准失败或崩溃，可以考虑使用 None 进行自动分配，或者减小 imgsz 和 batch 的值，以降低内存需求。

  • 请记住，INT8 校准针对每台设备分别进行；借用“高端”GPU 进行校准，可能会导致模型在另一台设备上运行推理时性能不佳。

• batch：推理时使用的最大 batch 大小。推理期间可以使用更小的 batch，但推理不接受大于指定大小的 batch。

NVIDIA 的实验表明，他们建议在进行 INT8 量化校准时，使用至少 500 张能够代表你的模型数据的校准图像。这只是一个指导原则，并非硬性要求，你需要通过实验来确定在你的数据集上表现良好所需的内容。由于使用 TensorRT 进行 INT8 校准需要校准数据，因此在导出未在 quantize=8 处使用 quantize=8（训练后量化）进行 TensorRT 训练的检查点时，请务必使用 data 参数，并使用 data="my_dataset.yaml"，它将使用来自验证的图像进行校准。使用 quantize=8 训练的检查点会跳过校准，因此请为其省略 data。当导出到带有 INT8 量化的 TensorRT 且未传递 data 的值时，默认将使用基于模型任务的“小型”示例数据集之一，而不是抛出错误。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

将 YOLO 与 TensorRT INT8 结合使用的优势#

• **模型大小减小：**从 FP32 量化为 INT8 可以将模型大小缩小 4 倍（在磁盘或内存中），从而加快下载速度、降低存储需求，并在部署模型时减少内存占用。

• **功耗更低：**与 FP32 模型相比，INT8 导出 YOLO 模型的低精度运算耗电量更少，尤其适用于电池供电设备。

• **推理速度提升：**TensorRT 会针对目标硬件优化模型，从而可能提升 GPU、嵌入式设备和加速器上的推理速度。

将 YOLO 与 TensorRT INT8 结合使用的缺点#

• **评估指标下降：**使用较低精度意味着，mAP、Precision、Recall 或任何用于评估模型性能的其他指标都可能有所下降。Sigmoid 层会保持较高精度以保留分数校准，但 INT8 仍可能改变置信度值，因此应根据 INT8 模型自身的 F1 曲线选择运行阈值。请参阅性能结果部分，比较在各种设备的小型样本上使用 INT8 导出时 mAP50 和 mAP50-95 的差异。

• **开发时间增加：**为数据集和设备找到 INT8 校准的“最佳”设置，可能需要进行大量测试。

• **硬件依赖：**校准和性能增益可能高度依赖硬件，并且模型权重的可迁移性较低。

Ultralytics YOLO TensorRT 导出性能#

NVIDIA A100#

消费级 GPU#

嵌入式设备#

评估方法#

展开下面的部分，了解这些模型的导出和测试方式。

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

部署导出的 YOLO26 TensorRT 模型#

成功将你的 Ultralytics YOLO26 模型导出为 TensorRT 格式后，你现在已经可以进行部署了。如需了解在各种环境中部署 TensorRT 模型的详细说明，请参阅以下资源：

• 使用 Triton Server 部署 Ultralytics：本指南专门介绍如何将 NVIDIA 的 Triton Inference（前身为 TensorRT Inference）Server 与 Ultralytics YOLO 模型结合使用。

• 使用 NVIDIA TensorRT 部署深度神经网络：本文介绍如何使用 NVIDIA TensorRT，在基于 GPU 的部署平台上高效部署深度神经网络。

• 面向 NVIDIA PC 的端到端 AI：NVIDIA TensorRT 部署：本文介绍如何使用 NVIDIA TensorRT，在基于 NVIDIA 的 PC 上优化和部署 AI 模型。

• GitHub 仓库用于 NVIDIA TensorRT：这是包含 NVIDIA TensorRT 源代码与文档的官方 GitHub 仓库。

总结#

在本指南中，我们重点介绍了如何将 Ultralytics YOLO26 模型转换为 NVIDIA 的 TensorRT 模型格式。这一转换步骤对于提高 YOLO26 模型的效率和速度至关重要，可使其在各种部署环境中更加高效且适用。

如需了解更多使用详情，请参阅 TensorRT 官方文档。

如果你想了解其他 Ultralytics YOLO26 集成方式，我们的集成指南页面提供了丰富的信息资源和实用见解。

常见问题#