TensorRT Export for YOLO11 Models

在高性能环境中部署计算机视觉模型需要一种能最大限度提高速度和效率的格式。在NVIDIA GPU 上部署模型时尤其如此。

By using the TensorRT export format, you can enhance your Ultralytics YOLO11 models for swift and efficient inference on NVIDIA hardware. This guide will give you easy-to-follow steps for the conversion process and help you make the most of NVIDIA's advanced technology in your deep learning projects.

TensorRT

TensorRT由NVIDIA 开发，是一款先进的软件开发工具包（SDK），专为高速深度学习推理而设计。它非常适合对象检测等实时应用。

该工具包可针对NVIDIA GPU 优化深度学习模型，从而实现更快、更高效的操作。TensorRT 模型经过TensorRT 优化，其中包括层融合、精度校准（INT8 和 FP16）、动态tensor 内存管理和内核自动调整等技术。将深度学习模型转换为TensorRT 格式，可以让开发人员充分发挥NVIDIA GPU 的潜力。

TensorRT 以兼容各种模型格式而著称，包括TensorFlow 、 PyTorch和ONNX ，为开发人员整合和优化不同框架的模型提供了灵活的解决方案。这种多功能性使模型能够在不同的硬件和软件环境中高效部署。

TensorRT 机型的主要特点

TensorRT 模型具有一系列关键特性，有助于提高其在高速深度学习推理中的效率和有效性：

• 精度校准：TensorRT 支持精度校准，允许针对特定精度要求对模型进行微调。这包括对 INT8 和 FP16 等降低精度格式的支持，这可以进一步提高推理速度，同时保持可接受的精度水平。

• 层融合：TensorRT 优化过程包括层融合，即将神经网络的多个层合并为一个操作。这可以减少计算开销，并通过最大限度地减少内存访问和计算来提高推理速度。

• 动态Tensor 内存管理：TensorRT 在推理过程中有效管理tensor 内存使用情况，减少内存开销并优化内存分配。这使得GPU 的内存使用效率更高。

• Automatic Kernel Tuning: TensorRT applies automatic kernel tuning to select the most optimized GPU kernel for each layer of the model. This adaptive approach ensures that the model takes full advantage of the GPUs computational power.

中的部署选项TensorRT

Before we look at the code for exporting YOLO11 models to the TensorRT format, let's understand where TensorRT models are normally used.

TensorRT 提供多种部署选项，每种选项都在易于集成、性能优化和灵活性之间取得了不同的平衡：

• 在TensorFlow 中部署：此方法将TensorRT 集成到TensorFlow 中，使优化后的模型在熟悉的TensorFlow 环境中运行。它对包含支持层和不支持层的模型非常有用，因为TF-TRT 可以有效地处理这些层。

• 独立的TensorRT RuntimeAPI：提供细粒度控制，是性能关键型应用的理想选择。它比较复杂，但允许自定义执行不支持的操作符。

• NVIDIA Triton 推理服务器：支持各种框架模型的选项。它特别适用于云推理或边缘推理，提供并发模型执行和模型分析等功能。

Exporting YOLO11 Models to TensorRT

You can improve execution efficiency and optimize performance by converting YOLO11 models to TensorRT format.

安装

要安装所需的软件包，请运行

# Install the required package for YOLO11
pip install ultralytics

有关安装过程的详细说明和最佳实践，请查阅我们的YOLO11 安装指南。在安装YOLO11 所需的软件包时，如果遇到任何困难，请查阅我们的常见问题指南，了解解决方案和技巧。

使用方法

在了解使用说明之前，请务必查看 Ultralytics 提供的一系列YOLO11 型号。这将有助于您根据项目要求选择最合适的型号。

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO("yolo11n.engine")

# Run inference
results = tensorrt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine  # creates 'yolo11n.engine''

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

有关导出过程的更多详情，请访问Ultralytics 有关导出的文档页面。

使用 INT8 量化输出TensorRT

使用具有 INT8精度的 TensorRT 导出Ultralytics YOLO 模型时，会执行训练后量化（PTQ）。TensorRT 使用校准进行 PTQ，在YOLO 模型对代表性输入数据进行推理时，校准会测量每个激活tensor 内激活的分布，然后使用该分布估计每个tensor 的标度值。作为量化候选对象的每个激活tensor 都有一个通过校准过程推导出的相关标度。

在处理隐式量化网络时，TensorRT 会择机使用 INT8 来优化层的执行时间。如果某层在 INT8 下运行速度更快，且其数据输入和输出已指定量化比例，则会为该层指定一个具有 INT8 精度的内核，否则TensorRT 会为内核选择 FP32 或 FP16 精度，以加快该层的执行时间。

配置 INT8 输出

使用 出口 Ultralytics YOLO 模型将 大为 会影响导出模型的性能。这些参数也需要根据可用的设备资源进行选择，但默认参数为 应 对大多数 安培（或更新）NVIDIA 独立图形处理器.使用的校准算法是 "ENTROPY_CALIBRATION_2" 您还可以阅读有关可用选项的更多详细信息 TensorRT 开发人员指南Ultralytics 测试发现 "ENTROPY_CALIBRATION_2" 是最好的选择，因此出口固定使用这种算法。

• workspace :在转换模型权重时，控制设备内存分配的大小（单位 GiB）。

  • 调整 workspace 请根据校准需求和可用资源情况选择合适的值。虽然较大的 workspace 可能会增加校准时间，但它允许TensorRT 探索范围更广的优化策略，从而可能提高模型性能和 精确度.反之，较小的 workspace 可以缩短校准时间，但可能会限制优化策略，影响量化模型的质量。

  • 默认为 workspace=None，这将允许TensorRT 自动分配内存，手动配置时，如果校准崩溃（无警告退出），可能需要增加该值。

  • TensorRT 将报告 UNSUPPORTED_STATE 如果 workspace 的值大于设备的可用内存，这意味着 workspace 应降低或设置为 None.

  • 如果 workspace 设置为最大值，并且校准失败/崩溃，可考虑使用 None 进行自动分配，或通过降低 imgsz 和 batch 以减少内存需求。

  • 请记住，INT8 的校准是针对每个设备的，借用 "高端 "GPU 进行校准，可能会导致在其他设备上运行推理时性能不佳。

• batch :用于推理的最大批次大小。在推理过程中，可以使用较小的批次，但推理不会接受比指定批次更大的批次。

NVIDIA 的实验结果表明，他们建议至少使用 500 张校准图像，这些图像应能代表您模型的数据，并使用 INT8 量化校准。这只是一个指南，而不是 艰苦 要求，以及 您需要根据自己的数据集来尝试如何实现良好的性能。 由于 INT8 校准时需要校准数据TensorRT ，因此一定要使用 data 当 int8=True 用于TensorRT 和使用 data="my_dataset.yaml"的图像。 核实 进行校准。如果没有为 data 导出到TensorRT 并进行 INT8 量化时，默认情况下将使用 基于模型任务的 "小型 "示例数据集 而不是出错。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    int8=True,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolov8n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with INT8 quantization
yolo export model=yolo11n.pt format=engine batch=8 workspace=4 int8=True data=coco.yaml  # creates 'yolov8n.engine''

# Run inference with the exported TensorRT quantized model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

使用YOLO 和TensorRT INT8 的优势

• 减少模型大小：从 FP32 到 INT8 的量化可将模型大小减少 4 倍（在磁盘或内存中），从而加快下载速度，降低存储要求，并在部署模型时减少内存占用。

• 功耗更低：与 FP32 模型相比，INT8 导出的YOLO 模型降低了精度操作，因此功耗更低，尤其适用于电池供电的设备。

• 提高推理速度： TensorRT 可针对目标硬件优化模型，从而提高 GPU、嵌入式设备和加速器的推理速度。

使用YOLO 和TensorRT INT8 的缺点

• 评估指标减少： 使用较低的精度意味着 mAP, Precision, Recall 或任何 用于评估模型性能的其他指标 可能会更糟一些。参见 性能结果部分 以比较 mAP50 和 mAP50-95 在各种设备的小样本上使用 INT8 导出时。

• 增加开发时间：为数据集和设备找到 INT8 校准的 "最佳 "设置需要大量的测试。

• 硬件依赖性：校准和性能提升可能高度依赖硬件，模型权重的可转移性较低。

Ultralytics YOLO TensorRT 出口业绩

NVIDIA A100

消费级 GPU

嵌入式设备

评估方法

有关如何导出和测试这些模型的信息，请展开以下章节。

from ultralytics import YOLO

model = YOLO("yolov8n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, half=True)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, int8=True, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolov8n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

Deploying Exported YOLO11 TensorRT Models

Having successfully exported your Ultralytics YOLO11 models to TensorRT format, you're now ready to deploy them. For in-depth instructions on deploying your TensorRT models in various settings, take a look at the following resources:

• 使用Triton 服务器部署Ultralytics :我们的指南介绍了如何使用NVIDIA 的Triton Inference（前身为TensorRT Inference）服务器，专门用于Ultralytics YOLO 模型。

• 利用深度神经网络部署NVIDIA TensorRT:本文介绍了如何使用NVIDIA TensorRT 在基于GPU 的部署平台上高效部署深度神经网络。

• NVIDIA 基于 PC 的端到端人工智能：NVIDIA TensorRT 部署:这篇博文介绍了如何使用NVIDIA TensorRT 在基于NVIDIA 的 PC 上优化和部署人工智能模型。

• NVIDIA TensorRT 的 GitHub 资源库：:这是 GitHub 的官方资源库，其中包含NVIDIA TensorRT 的源代码和文档。

摘要

In this guide, we focused on converting Ultralytics YOLO11 models to NVIDIA's TensorRT model format. This conversion step is crucial for improving the efficiency and speed of YOLO11 models, making them more effective and suitable for diverse deployment environments.

有关使用细节的更多信息，请参阅TensorRT 官方文档。

If you're curious about additional Ultralytics YOLO11 integrations, our integration guide page provides an extensive selection of informative resources and insights.

常见问题

How do I convert YOLO11 models to TensorRT format?

To convert your Ultralytics YOLO11 models to TensorRT format for optimized NVIDIA GPU inference, follow these steps:

1. 安装所需的软件包：

   pip install ultralytics
   

2. Export your YOLO11 model:

   from ultralytics import YOLO
   
   model = YOLO("yolo11n.pt")
   model.export(format="engine")  # creates 'yolov8n.engine'
   
   # Run inference
   model = YOLO("yolo11n.engine")
   results = model("https://ultralytics.com/images/bus.jpg")
   

For more details, visit the YOLO11 Installation guide and the export documentation.

What are the benefits of using TensorRT for YOLO11 models?

Using TensorRT to optimize YOLO11 models offers several benefits:

• 更快的推理速度：TensorRT 优化了模型层，并使用精确校准（INT8 和 FP16）来加快推理速度，而不会明显影响精度。
• 内存效率：TensorRT 动态管理tensor 内存，减少开销，提高GPU 内存利用率。
• 层融合：将多个层合并为单一操作，降低计算复杂度。
• 内核自动调整：自动为每个模型层选择优化的GPU 内核，确保性能最大化。

如需了解更多信息，请点击此处查看 TensorRT 的详细功能，并阅读我们的TensorRT 概述部分。

Can I use INT8 quantization with TensorRT for YOLO11 models?

Yes, you can export YOLO11 models using TensorRT with INT8 quantization. This process involves post-training quantization (PTQ) and calibration:

1. 使用 INT8 输出：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.pt")
   model.export(format="engine", batch=8, workspace=4, int8=True, data="coco.yaml")
   

2. 运行推理：

   from ultralytics import YOLO
   
   model = YOLO("yolov8n.engine", task="detect")
   result = model.predict("https://ultralytics.com/images/bus.jpg")
   

更多详情，请参阅使用 INT8 量化导出TensorRT 部分。

How do I deploy YOLO11 TensorRT models on an NVIDIA Triton Inference Server?

Deploying YOLO11 TensorRT models on an NVIDIA Triton Inference Server can be done using the following resources:

• 使用Triton 服务器部署Ultralytics YOLOv8 :设置和使用Triton Inference Server 的分步指南。
• NVIDIA Triton 推理服务器文档:NVIDIA 官方文档，提供详细的部署选项和配置。

这些指南将帮助您在各种部署环境中有效集成YOLOv8 模型。

YOLOv8 模型导出到TensorRT 后，性能提高了多少？

TensorRT 的性能提升会因使用的硬件而异。下面是一些典型的基准测试：

• NVIDIA A100:

  • FP32推断：~0.52 毫秒/图像
  • FP16推断：~0.34 毫秒/图像
  • INT8推断：~0.28 毫秒/图像
  • 使用 INT8 精度时，mAP 略有减少，但速度显著提高。

• 消费级 GPU（如 RTX 3080）：

  • FP32推断：~1.06 毫秒/图像
  • FP16推断：~0.62 毫秒/图像
  • INT8推断：~0.52 毫秒/图像

不同硬件配置的详细性能基准见性能部分。

如需更全面地了解TensorRT 性能，请参阅Ultralytics 文档和我们的性能分析报告。

📅创建于 11 个月前 ✏️已更新 10 天前

评论