使用 DeepStream SDK 和 TensorRT 在 NVIDIA Jetson 上运行 Ultralytics YOLO26#

本指南全面详细地介绍了如何使用 DeepStream SDK 和 TensorRT 在 NVIDIA Jetson 设备上部署 Ultralytics YOLO26。我们在这里使用 TensorRT，以最大限度地提升 Jetson 平台上的推理性能。

本指南将带你了解 YOLO26 的 DeepStream 配置、INT8 校准、多流设置和基准测试结果。

什么是 NVIDIA DeepStream？#

NVIDIA 的 DeepStream SDK 是一套基于 GStreamer 的完整流式分析工具包，适用于基于 AI 的多传感器处理、视频、音频和图像理解。它非常适合开发视觉 AI 应用和服务的开发者、软件合作伙伴、初创公司和 OEM 厂商。现在，你可以创建流处理管道，将神经网络与跟踪、视频编码/解码和视频渲染等复杂处理任务结合起来。这些管道能够对视频、图像和传感器数据进行实时分析。DeepStream 的多平台支持让你能够更快速、更轻松地在本地、边缘端和云端开发视觉 AI 应用和服务。

前置条件#

开始阅读本指南之前：

• 请访问我们的文档 快速入门指南：使用 Ultralytics YOLO26 的 NVIDIA Jetson，为你的 NVIDIA Jetson 设备配置 Ultralytics YOLO26
• 根据 JetPack 版本安装 DeepStream SDK
  • 对于 JetPack 4.6.4，请安装 DeepStream 6.0.1
  • 对于 JetPack 5.1.3，请安装 DeepStream 6.3
  • 对于 JetPack 6.1，请安装 DeepStream 7.1
  • 对于 JetPack 7.1，请安装 DeepStream 9.0

YOLO26 的 DeepStream 配置#

这里我们使用 marcoslucianops/DeepStream-Yolo GitHub 仓库，该仓库提供 NVIDIA DeepStream SDK 对 YOLO 模型的支持。感谢 marcoslucianops 的贡献！

1. 安装 Ultralytics 及必要的依赖项

   pip install ultralytics onnx onnxslim

2. 克隆 DeepStream-Yolo 仓库

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. 从 YOLO26 项目下载你选择的 Ultralytics YOLO26 检测模型（.pt）。这里我们使用 yolo26s.pt。

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. 将模型转换为 ONNX，并写入 labels.txt 文件，DeepStream 会从中读取类别名称

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # 创建了 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. 将生成的 .onnx 模型文件和 labels.txt 文件复制到 DeepStream-Yolo 文件夹

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. 根据已安装的 JetPack 版本设置 CUDA 版本

   对于 JetPack 4.6.4：

   export CUDA_VER=10.2

   对于 JetPack 5.1.3：

   export CUDA_VER=11.4

   对于 JetPack 6.1：

   export CUDA_VER=12.6

   对于 JetPack 7.1：

   export CUDA_VER=13.0

7. 编译库

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. 根据你的模型编辑 config_infer_primary_yolo26.txt 文件（适用于包含 80 个类别的 YOLO26s）

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. 编辑 deepstream_app_config 文件

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. 你也可以在 deepstream_app_config 文件中更改视频源。这里加载的是默认视频文件

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

运行推理#

deepstream-app -c deepstream_app_config.txt

INT8 校准#

如果要使用 INT8 精度进行推理，请按以下步骤操作：

1. 设置 OPENCV 环境变量

   export OPENCV=1

2. 编译库

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. 对于 COCO 数据集，请下载 val2017，解压后移动到 DeepStream-Yolo 文件夹

4. 新建一个目录，用于存放校准图像

   mkdir calibration

5. 运行以下命令，从 COCO 数据集中随机选取 1000 张图像用于校准

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. 创建 calibration.txt 文件，并将所有选中的图像列入其中

   realpath calibration/*jpg > calibration.txt

7. 设置环境变量

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. 更新 config_infer_primary_yolo26.txt 文件

   从

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   到

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

运行 INT8 推理#

运行相同的命令来构建 INT8 引擎并开始推理：

deepstream-app -c deepstream_app_config.txt

多流设置#

要在单个 DeepStream 应用程序中设置多个流，请对 deepstream_app_config.txt 文件进行以下更改：

1. 根据要使用的流数量，更改行数和列数以构建网格显示。例如，对于 4 个流，可以添加 2 行和 2 列。

   [tiled-display]
   rows=2
   columns=2

2. 为每个流添加单独的 [sourceN] 组，每组都要有自己的 uri 和 num-sources=1。

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

运行多流推理#

运行相同的命令，在平铺显示中启动所有流：

deepstream-app -c deepstream_app_config.txt

基准测试结果#

以下基准测试总结了 YOLO11 模型在 NVIDIA Jetson Orin NX 16GB 上使用不同 TensorRT 精度级别、输入尺寸为 640x640 时的性能。YOLO26 使用上文介绍的相同 DeepStream 导出和推理工作流。

对比图表#

详细对比表#

致谢#

本指南最初由 Seeed Studio 的朋友 Lakshantha 和 Elaine 编写。

常见问题#