快速入门指南：Ultralytics YOLO11 与 NVIDIA Jetson

本综合指南详细介绍了在 NVIDIA Jetson 设备上部署 Ultralytics YOLO11 的步骤。此外，它还展示了性能基准，以展示 YOLO11 在这些小型且功能强大的设备上的性能。

观看： 如何在 NVIDIA JETSON 设备上使用 Ultralytics YOLO11

什么是 NVIDIA Jetson？

NVIDIA Jetson 是一系列嵌入式计算板，旨在将加速 AI（人工智能）计算引入边缘设备。这些紧凑而强大的设备围绕 NVIDIA 的 GPU 架构构建，能够直接在设备上运行复杂的 AI 算法和深度学习模型，而无需依赖云计算资源。Jetson 板通常用于机器人技术、自动驾驶汽车、工业自动化和其他需要在本地执行 AI 推理且具有低延迟和高效率的应用。此外，这些板基于 ARM64 架构，与传统的 GPU 计算设备相比，功耗更低。

NVIDIA Jetson 系列对比

Jetson Orin 是 NVIDIA Jetson 系列的最新版本，基于 NVIDIA Ampere 架构，与前几代产品相比，AI 性能得到了显着提升。下表比较了生态系统中的一些 Jetson 设备。

有关更详细的比较表，请访问NVIDIA官方Jetson页面的技术规格部分。

什么是 NVIDIA JetPack？

为 Jetson 模块提供支持的 NVIDIA JetPack SDK 是最全面的解决方案，它提供了完整的开发环境，用于构建端到端加速 AI 应用程序并缩短上市时间。JetPack 包括带有引导加载程序的 Jetson Linux、Linux 内核、Ubuntu 桌面环境以及一整套用于加速 GPU 计算、多媒体、图形和计算机视觉的库。它还包括主机和开发工具包的示例、文档和开发人员工具，并支持更高级别的 SDK，例如用于流视频分析的 DeepStream、用于机器人的 Isaac 和用于会话 AI 的 Riva。

将 JetPack 刷写到 NVIDIA Jetson

获得NVIDIA Jetson设备后的第一步是将NVIDIA JetPack刷入设备。刷写NVIDIA Jetson设备有几种不同的方法。

1. 如果您拥有官方的NVIDIA开发套件，例如Jetson Orin Nano开发者套件，您可以下载镜像并准备一张带有JetPack的SD卡来启动设备。
2. 如果您拥有任何其他 NVIDIA 开发套件，您可以使用 SDK 管理器将 JetPack 刷入设备。
3. 如果您拥有 Seeed Studio reComputer J4012 设备，您可以将 JetPack 刷入自带的 SSD；如果您拥有 Seeed Studio reComputer J1020 v2 设备，您可以将 JetPack 刷入 eMMC/SSD。
4. 如果您拥有任何其他由 NVIDIA Jetson 模块驱动的第三方设备，建议按照命令行刷机的方式进行操作。

基于 Jetson 设备的 JetPack 支持

下表重点列出了不同 NVIDIA Jetson 设备支持的 NVIDIA JetPack 版本。

Docker 快速入门

在 NVIDIA Jetson 上开始使用 Ultralytics YOLO11 最快的方法是运行 Jetson 的预构建 Docker 镜像。请参考上表，根据您拥有的 Jetson 设备选择 JetPack 版本。

t=ultralytics/ultralytics:latest-jetson-jetpack4
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack5
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

t=ultralytics/ultralytics:latest-jetson-jetpack6
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

完成此操作后，跳至 在 NVIDIA Jetson 上使用 TensorRT 部分。

本地安装入门

对于没有 Docker 的原生安装，请参考以下步骤。

在 JetPack 6.1 上运行

安装 Ultralytics 软件包

这里我们将在 Jetson 上安装 Ultralytics 包及其可选依赖项，以便我们可以将 PyTorch 模型导出为其他不同的格式。我们将主要关注 NVIDIA TensorRT 导出，因为 TensorRT 将确保我们能够充分发挥 Jetson 设备的性能。

1. 更新软件包列表，安装 pip 并升级到最新版本

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 安装 ultralytics 带有可选依赖项的 pip 软件包

   pip install ultralytics[export]
   

3. 重新启动设备

   sudo reboot
   

安装 PyTorch 和 Torchvision

上述 ultralytics 安装将安装 Torch 和 Torchvision。但是，通过 pip 安装的这两个包与基于 ARM64 架构的 Jetson 平台不兼容。因此，我们需要手动安装预构建的 PyTorch pip wheel 并从源代码编译/安装 Torchvision。

安装 torch 2.5.0 和 torchvision 0.20 根据JP6.1

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.5.0a0+872d972e41.nv24.08-cp310-cp310-linux_aarch64.whl
pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.20.0a0+afc54f7-cp310-cp310-linux_aarch64.whl

安装 cuSPARSELt 修复与以下相关的依赖问题 torch 2.5.0

wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2204/arm64/cuda-keyring_1.1-1_all.deb
sudo dpkg -i cuda-keyring_1.1-1_all.deb
sudo apt-get update
sudo apt-get -y install libcusparselt0 libcusparselt-dev

安装 onnxruntime-gpu

字段 onnxruntime-gpu PyPI 中托管的软件包没有 aarch64 Jetson 的二进制文件。因此，我们需要手动安装此软件包。某些导出需要此软件包。

您可以找到所有可用的 onnxruntime-gpu 软件包，按 JetPack 版本、python 版本和其他兼容性详细信息进行组织，位于 Jetson Zoo ONNX Runtime 兼容性矩阵。在这里，我们将下载并安装 onnxruntime-gpu 1.20.0 使用 Python3.10 支持。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.20.0-cp310-cp310-linux_aarch64.whl

在 JetPack 5.1.2 上运行

安装 Ultralytics 软件包

在这里，我们将在 Jetson 上安装 Ultralytics 包以及可选的依赖项，以便我们可以将 PyTorch 模型导出为其他不同的格式。我们将主要关注 NVIDIA TensorRT 导出，因为 TensorRT 将确保我们能够从 Jetson 设备中获得最佳性能。

1. 更新软件包列表，安装 pip 并升级到最新版本

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 安装 ultralytics 带有可选依赖项的 pip 软件包

   pip install ultralytics[export]
   

3. 重新启动设备

   sudo reboot
   

安装 PyTorch 和 Torchvision

上述 ultralytics 安装将安装 Torch 和 Torchvision。但是，通过 pip 安装的这两个包与基于 ARM64 架构的 Jetson 平台不兼容。因此，我们需要手动安装预构建的 PyTorch pip wheel 并从源代码编译/安装 Torchvision。

1. 卸载当前安装的 PyTorch 和 Torchvision

   pip uninstall torch torchvision
   

2. 安装 torch 2.2.0 和 torchvision 0.17.2 根据JP5.1.2

   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torch-2.2.0-cp38-cp38-linux_aarch64.whl
   pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/torchvision-0.17.2+c1d70fe-cp38-cp38-linux_aarch64.whl
   

安装 onnxruntime-gpu

字段 onnxruntime-gpu PyPI 中托管的软件包没有 aarch64 Jetson 的二进制文件。因此，我们需要手动安装此软件包。某些导出需要此软件包。

您可以找到所有可用的 onnxruntime-gpu 软件包，按 JetPack 版本、python 版本和其他兼容性详细信息进行组织，位于 Jetson Zoo ONNX Runtime 兼容性矩阵。在这里，我们将下载并安装 onnxruntime-gpu 1.17.0 使用 Python3.8 支持。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

在 NVIDIA Jetson 上使用 TensorRT

在 Ultralytics 支持的所有模型导出格式中，TensorRT 在 NVIDIA Jetson 设备上提供最高的推理性能，使其成为我们对 Jetson 部署的首要推荐。有关设置说明和高级用法，请参阅我们专门的 TensorRT 集成指南。

将模型转换为 TensorRT 并运行推理

PyTorch 格式的 YOLO11n 模型被转换为 TensorRT，以使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo11n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format
yolo export model=yolo11n.pt format=engine # creates 'yolo11n.engine'

# Run inference with the exported model
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

使用 NVIDIA 深度学习加速器 (DLA)

NVIDIA 深度学习加速器 (DLA) 是一种内置于 NVIDIA Jetson 设备中的专用硬件组件，可优化深度学习推理，从而提高能效和性能。通过将任务从 GPU 卸载（从而释放 GPU 以进行更密集的处理），DLA 使模型能够以更低的功耗运行，同时保持高吞吐量，这非常适合嵌入式系统和实时 AI 应用。

以下 Jetson 设备配备了 DLA 硬件：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model to TensorRT with DLA enabled (only works with FP16 or INT8)
model.export(format="engine", device="dla:0", half=True)  # dla:0 or dla:1 corresponds to the DLA cores

# Load the exported TensorRT model
trt_model = YOLO("yolo11n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO11n PyTorch model to TensorRT format with DLA enabled (only works with FP16 or INT8)
# Once DLA core number is specified at export, it will use the same core at inference
yolo export model=yolo11n.pt format=engine device="dla:0" half=True # dla:0 or dla:1 corresponds to the DLA cores

# Run inference with the exported model on the DLA
yolo predict model=yolo11n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA Jetson Orin YOLO11 基准测试

Ultralytics 团队在 10 种不同的模型格式上运行了 YOLO11 基准测试，测量了速度和 准确性：PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN。基准测试在 NVIDIA Jetson AGX Orin Developer Kit (64GB)、NVIDIA Jetson Orin Nano Super Developer Kit 和 Seeed Studio reComputer J4012（由 Jetson Orin NX 16GB 设备驱动）上以 FP32 精度运行，默认输入图像大小为 640。

对比图表

即使所有模型导出都可以在 NVIDIA Jetson 上运行，但我们仅在下面的比较图表中包含了 PyTorch、TorchScript、TensorRT，因为它们利用了 Jetson 上的 GPU，并且保证能够产生最佳结果。所有其他导出仅利用 CPU，并且性能不如以上三种。您可以在此图表后面的部分中找到所有导出的基准。

NVIDIA Jetson AGX Orin 开发者套件 (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

详细的对比表格

下表显示了五种不同模型（YOLO11n、YOLO11s、YOLO11m、YOLO11l、YOLO11x）在十种不同格式（PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN）中的基准测试结果，从而为我们提供了每种组合的状态、大小、mAP50-95(B) 指标和推理时间。

NVIDIA Jetson AGX Orin 开发者套件 (64GB)

NVIDIA Jetson Orin Nano Super Developer Kit

NVIDIA Jetson Orin NX 16GB

浏览 Seeed Studio 在不同版本的 NVIDIA Jetson 硬件上运行的更多基准测试。

复现我们的结果

要在所有导出格式上重现上述 Ultralytics 基准测试，请运行以下代码：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml imgsz=640

使用 NVIDIA Jetson 时的最佳实践

使用 NVIDIA Jetson 时，应遵循一些最佳实践，以在运行 YOLO11 的 NVIDIA Jetson 上实现最佳性能。

1. 启用 MAX 功率模式

   在 Jetson 上启用 MAX 功率模式将确保所有 CPU、GPU 核心都已打开。

   sudo nvpmodel -m 0
   

2. 启用 Jetson 时钟

   启用 Jetson 时钟将确保所有 CPU、GPU 核心都以其最大频率进行时钟频率。

   sudo jetson_clocks
   

3. 安装 Jetson Stats 应用程序

   我们可以使用 jetson stats 应用程序来监控系统组件的温度，并检查其他系统详细信息，例如查看 CPU、GPU、RAM 使用率，更改电源模式，设置为最大时钟，检查 JetPack 信息。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

下一步

恭喜您在 NVIDIA Jetson 上成功设置 YOLO11！如需更多学习和支持，请访问 Ultralytics YOLO11 文档 中的更多指南！

常见问题

如何在 NVIDIA Jetson 设备上部署 Ultralytics YOLO11？

在 NVIDIA Jetson 设备上部署 Ultralytics YOLO11 是一个简单的过程。首先，使用 NVIDIA JetPack SDK 刷写您的 Jetson 设备。然后，可以使用预构建的 Docker 镜像进行快速设置，或者手动安装所需的软件包。有关每种方法的详细步骤，请参见Docker 快速入门和原生安装入门部分。

在 NVIDIA Jetson 设备上，YOLO11 模型的性能基准测试结果如何？

YOLO11 模型已在各种 NVIDIA Jetson 设备上进行了基准测试，显示出显著的性能提升。例如，TensorRT 格式提供了最佳的推理性能。 详细对比表格 部分中的表格提供了关于不同模型格式的 mAP50-95 和推理时间等性能指标的全面视图。

为什么应该使用 TensorRT 在 NVIDIA Jetson 上部署 YOLO11？

强烈建议使用 TensorRT 在 NVIDIA Jetson 上部署 YOLO11 模型，因为它具有最佳性能。它通过利用 Jetson 的 GPU 功能来加速推理，从而确保最高的效率和速度。在在 NVIDIA Jetson 上使用 TensorRT部分中了解更多关于如何转换为 TensorRT 并运行推理的信息。

如何在 NVIDIA Jetson 上安装 PyTorch 和 Torchvision？

要在 NVIDIA Jetson 上安装 PyTorch 和 Torchvision，首先卸载任何可能通过 pip 安装的现有版本。然后，手动为 Jetson 的 ARM64 架构安装兼容的 PyTorch 和 Torchvision 版本。有关此过程的详细说明，请参见安装 PyTorch 和 Torchvision部分。

在使用 YOLO11 时，在 NVIDIA Jetson 上实现最佳性能的最佳实践是什么？

为了在使用 YOLO11 的 NVIDIA Jetson 上实现最佳性能，请遵循以下最佳实践：

1. 启用 MAX Power Mode 以利用所有 CPU 和 GPU 核心。
2. 启用 Jetson Clocks 以在最大频率下运行所有核心。
3. 安装 Jetson Stats 应用程序以监控系统指标。

有关命令和其他详细信息，请参阅使用 NVIDIA Jetson 时的最佳实践部分。

📅 创建于 1 年前 ✏️ 更新于 2 个月前

评论