使用 DeepStream SDK 和 TensorRT 在 NVIDIA Jetson 上运行 Ultralytics YOLO26#

本综合指南将详细介绍如何使用 DeepStream SDK 和 TensorRT 在 NVIDIA Jetson 设备上部署 Ultralytics YOLO26。在这里，我们使用 TensorRT 最大限度地提升 Jetson 平台上的推理性能。

本指南将介绍 YOLO26 的 DeepStream 配置、INT8 校准、多流设置和基准测试结果。

什么是 NVIDIA DeepStream？#

NVIDIA 的 DeepStream SDK 是一套基于 GStreamer 的完整流式分析工具包，用于基于 AI 的多传感器处理，以及视频、音频和图像理解。它非常适合构建 IVA（智能视频分析）应用和服务的视觉 AI 开发者、软件合作伙伴、初创公司和 OEM。现在，你可以创建包含神经网络以及跟踪、视频编码/解码和视频渲染等复杂处理任务的流处理管道。这些管道支持对视频、图像和传感器数据进行实时分析。DeepStream 的多平台支持让你能够更快速、更轻松地在本地、边缘和云端开发视觉 AI 应用和服务。

前置条件#

开始阅读本指南前：

• 访问我们的文档 快速入门指南：使用 Ultralytics YOLO26 配置 NVIDIA Jetson，以设置你的 NVIDIA Jetson 设备和 Ultralytics YOLO26
• 根据 JetPack 版本安装 DeepStream SDK
  • 对于 JetPack 4.6.4，安装 DeepStream 6.0.1
  • 对于 JetPack 5.1.3，安装 DeepStream 6.3
  • 对于 JetPack 6.1，安装 DeepStream 7.1
  • 对于 JetPack 7.1，安装 DeepStream 9.0

YOLO26 的 DeepStream 配置#

这里我们使用 marcoslucianops/DeepStream-Yolo GitHub 仓库，该仓库包含对 YOLO 模型的 NVIDIA DeepStream SDK 支持。感谢 marcoslucianops 的贡献！

1. 安装 Ultralytics 及必要的依赖项

   pip install ultralytics onnx onnxslim

2. 克隆 DeepStream-Yolo 仓库

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. 从 YOLO26 项目下载你选择的 Ultralytics YOLO26 检测模型（.pt）。这里我们使用 yolo26s.pt。

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. 将模型转换为ONNX并写入DeepStream从中读取类名的 labels.txt 文件

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. 将生成的 .onnx 模型文件和 labels.txt 文件复制到 DeepStream-Yolo 文件夹

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. 根据已安装的 JetPack 版本设置 CUDA 版本

   对于 JetPack 4.6.4：

   export CUDA_VER=10.2

   对于 JetPack 5.1.3：

   export CUDA_VER=11.4

   对于 JetPack 6.1：

   export CUDA_VER=12.6

   对于 JetPack 7.1：

   export CUDA_VER=13.0

7. 编译库

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. 根据你的模型编辑 config_infer_primary_yolo26.txt 文件（对于包含 80 个类别的 YOLO26s）

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. 编辑 deepstream_app_config 文件

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. 你也可以在 deepstream_app_config 文件中更改视频源。这里会加载一个默认视频文件

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

运行推理#

deepstream-app -c deepstream_app_config.txt

INT8 校准#

如果你想使用 INT8 精度进行推理，需要按照以下步骤操作：

1. 设置 OPENCV 环境变量

   export OPENCV=1

2. 编译库

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. 对于 COCO 数据集，下载 val2017，解压后移动到 DeepStream-Yolo 文件夹

4. 新建用于存放校准图像的目录

   mkdir calibration

5. 运行以下命令，从 COCO 数据集中随机选择 1000 张图像进行校准

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 创建包含所有选定图像的 calibration.txt 文件

   realpath calibration/*jpg > calibration.txt

7. 设置环境变量

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. 更新 config_infer_primary_yolo26.txt 文件

   从

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   到

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

运行 INT8 推理#

运行相同的命令以构建 INT8 引擎并开始推理：

deepstream-app -c deepstream_app_config.txt

多流设置#

要在单个 DeepStream 应用中设置多个流，请对 deepstream_app_config.txt 文件进行以下更改：

1. 根据所需的流数量更改行数和列数，以构建网格显示。例如，对于 4 个流，可以添加 2 行和 2 列。

   [tiled-display]
   rows=2
   columns=2

2. 为每个流添加单独的 [sourceN] 组，每个组都有自己的 uri 和 num-sources=1。

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

运行多流推理#

运行相同的命令，在平铺显示中启动所有流：

deepstream-app -c deepstream_app_config.txt

基准测试结果#

以下基准测试总结了 YOLO11 模型在 NVIDIA Jetson Orin NX 16GB 上、输入尺寸为 640x640 时，在不同 TensorRT 精度级别下的表现。YOLO26 使用上述介绍的相同 DeepStream 导出和推理工作流。

对比图#

详细对比表#

致谢#

本指南最初由我们的朋友 Seeed Studio 的 Lakshantha 和 Elaine 创建。

常见问题#