快速入门指南：英伟达™ Jetson®处理器Ultralytics YOLOv8

本综合指南提供了在英伟达 Jetson设备上部署Ultralytics YOLOv8 的详细攻略。此外，它还展示了性能基准，以证明YOLOv8 在这些小巧而功能强大的设备上的性能。

什么是 NVIDIA Jetson？

英伟达™（NVIDIA®）Jetson 是一系列嵌入式计算板卡，旨在为边缘设备带来加速的 AI（人工智能）计算。这些小巧而功能强大的设备围绕英伟达™（NVIDIA®）的GPU架构打造，能够直接在设备上运行复杂的人工智能算法和深度学习模型，而无需依赖云计算资源。Jetson 板卡通常用于机器人、自动驾驶汽车、工业自动化和其他需要在本地以低延迟和高效率执行人工智能推理的应用中。此外，这些板卡基于 ARM64 架构，与传统 GPU 计算设备相比运行功耗更低。

英伟达 Jetson 系列对比

Jetson Orin是英伟达 Jetson 系列的最新迭代产品，基于英伟达安培架构，与前几代产品相比，人工智能性能大幅提升。下表比较了生态系统中的几款 Jetson 设备。

如需更详细的比较表，请访问NVIDIA Jetson 官方网页的技术规格部分。

什么是 NVIDIA JetPack？

英伟达™（NVIDIA®）JetPack SDK为Jetson模块提供动力，是最全面的解决方案，为构建端到端加速人工智能应用提供了完整的开发环境，缩短了产品上市时间。JetPack 包括带有引导加载器的 Jetson Linux、Linux 内核、Ubuntu 桌面环境以及一整套用于加速 GPU 计算、多媒体、图形和计算机视觉的库。它还包括用于主机和开发者工具包的示例、文档和开发者工具，并支持更高级别的 SDK，如用于流媒体视频分析的 DeepStream、用于机器人技术的 Isaac 和用于对话式人工智能的 Riva。

将 Flash JetPack 插入英伟达™ Jetson

拿到 NVIDIA Jetson 设备后，第一步就是将 NVIDIA JetPack 闪存到设备上。闪存英伟达™ Jetson 设备有几种不同的方法。

1. 如果你拥有官方的英伟达开发套件（如 Jetson Orin Nano 开发套件），可以访问此链接下载映像，并准备一张装有 JetPack 的 SD 卡以启动设备。
2. 如果您拥有其他英伟达™（NVIDIA®）开发套件，可以访问此链接，使用SDK 管理器将 JetPack 闪存到设备。
3. 如果你拥有 Seeed Studio reComputer J4012 设备，可以访问此链接将 JetPack 闪存到附带的固态硬盘中。
4. 如果您拥有任何其他由英伟达™（NVIDIA®）Jetson 模块驱动的第三方设备，建议访问此链接进行命令行闪存。

设置Ultralytics

在英伟达™（NVIDIA®）Jetson 上设置Ultralytics 软件包以构建下一个计算机视觉项目有两种方法。您可以任选其一。

• 从 Docker 开始
• 不使用 Docker 启动

从 Docker 开始

在英伟达™（NVIDIA®）Jetson 上开始使用Ultralytics YOLOv8 的最快方法是使用为 Jetson 预制的 docker 镜像。

执行下面的命令调出 Docker 容器并在 Jetson 上运行。这是基于l4t-pytorch的 docker 映像，其中包含 Python3 环境中的PyTorch 和 Torchvision。

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

完成上述操作后，跳转至在 NVIDIA Jetson 上使用TensorRT 部分。

不使用 Docker 启动

安装Ultralytics 软件包

在这里，我们将在 Jetson 上安装 ultralyics 软件包和可选依赖项，以便将PyTorch 模型导出为其他不同格式。我们将主要关注英伟达TensorRT 导出，因为 TensoRT 将确保我们能从 Jetson 设备中获得最高性能。

1. 更新软件包列表，安装 pip 并升级到最新版本

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 安装 ultralytics pip 软件包与可选依赖项

   pip install ultralytics[export]
   

3. 重启设备

   sudo reboot
   

安装PyTorch 和 Torchvision

上述ultralytics 安装程序将安装Torch 和 Torchvision。但是，通过 pip 安装的这两个软件包无法在基于 ARM64 架构的 Jetson 平台上兼容运行。因此，我们需要手动安装预编译的PyTorch pip wheel，并从源代码编译/安装 Torchvision。

1. 卸载当前安装的PyTorch 和 Torchvision

   pip uninstall torch torchvision
   

2. 根据 JP5.1.3 安装PyTorch 2.1.0

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. 根据PyTorch v2.1.0 安装 Torchvision v0.16.2

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

请访问PyTorch for Jetson 页面，访问针对不同 JetPack 版本的所有不同版本的PyTorch 。有关PyTorch和 Torchvision 兼容性的更详细列表，请访问PyTorch 和 Torchvision 兼容性页面。

安装 onnxruntime-gpu

"(《世界人权宣言》) onnxruntime-gpu 在 PyPI 中托管的软件包没有 aarch64 二进制文件。因此，我们需要手动安装这个软件包。某些输出需要这个软件包。

所有不同 onnxruntime-gpu 列出了不同 JetPack 和Python 版本对应的软件包 这里.不过，在这里我们将下载并安装 onnxruntime-gpu 1.17.0 与 Python3.8 支持我们在本指南中使用的 JetPack。

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

在 NVIDIA Jetson 上使用TensorRT

在Ultralytics 支持的所有模型导出格式中，TensorRT 在使用英伟达 Jetson 设备时推理性能最佳，我们建议在使用 Jetson 时使用TensorRT 。我们还在此处提供了有关TensorRT 的详细文档。

将模型转换为TensorRT 并运行推理

PyTorch 格式的YOLOv8n 模型转换为TensorRT 格式，以便使用导出的模型进行推理。

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

英伟达 Jetson OrinYOLOv8 基准测试

YOLOv8 Ultralytics 团队在 10 种不同的模型格式上运行了基准测试，测量速度和精度： , , , , , , , Lite, , 。基准测试在搭载 Jetson Orin NX 16GB 设备的 Seeed Studio reComputer J4012 上运行，精度为 FP32，默认输入图像大小为 640。PyTorch TorchScript ONNX OpenVINO TensorRT TF SavedModel TF Graphdef TF PaddlePaddle NCNN

对比图表

尽管所有输出模型都使用英伟达™（NVIDIA®）Jetson® 处理器，但我们只将PyTorch, TorchScript, TensorRT 列入下面的比较图表中，因为它们使用了 Jetson® 处理器上的 GPU，并保证能产生最佳效果。其他所有输出都只使用 CPU，性能不如上述三种。您可以在本图表后的部分找到所有输出的基准测试。

详细对照表

下表列出了 10 种不同格式（PyTorch,TorchScript,ONNX,OpenVINO,TensorRT,TF SavedModel ,TF Graphdef ,TF Lite,PaddlePaddle,NCNN ）的 5 种不同模型（YOLOv8n,YOLOv8s,YOLOv8m,YOLOv8l,YOLOv8x ）的基准结果，并给出了每种组合的状态、大小、mAP50-95(B) 指标和推理时间。

请访问此链接，查看 Seeed Studio 在不同版本的英伟达™（NVIDIA®）Jetson 硬件上运行的更多基准测试结果。

复制我们的结果

要在所有导出格式上重现上述Ultralytics 基准，请运行此代码：

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

使用英伟达™ Jetson 时的最佳实践

在使用英伟达™（NVIDIA®）Jetson 时，需要遵循一些最佳实践，以便在运行YOLOv8 的英伟达™（NVIDIA®）Jetson 上实现最高性能。

1. 启用 MAX 功率模式

   在 Jetson 上启用 MAX Power 模式将确保所有 CPU 和 GPU 内核都处于开启状态。

   sudo nvpmodel -m 0
   

2. 启用 Jetson 时钟

   启用 Jetson Clocks 可确保所有 CPU 和 GPU 内核都以最高频率运行。

   sudo jetson_clocks
   

3. 安装 Jetson Stats 应用程序

   我们可以使用 jetson stats 应用程序监控系统组件的温度，检查其他系统细节，如查看 CPU、GPU、RAM 利用率，更改电源模式，设置为最大时钟，检查 JetPack 信息等。

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

下一步工作

恭喜您在 NVIDIA Jetson 上成功设置YOLOv8 ！如需进一步学习和支持，请访问Ultralytics YOLOv8 Docs 获取更多指南！

评论