快速入门指南：在 NVIDIA DGX Spark 上使用 Ultralytics YOLO26#

本综合指南提供了在 NVIDIA 的紧凑型桌面 AI 超级计算机 NVIDIA DGX Spark 上部署 Ultralytics YOLO26 的详细步骤。此外，它还展示了性能基准测试，以证明 YOLO26 在这款强大系统上的功能。

什么是 NVIDIA DGX Spark？#

NVIDIA DGX Spark 是一款紧凑型桌面 AI 超级计算机，搭载 NVIDIA GB10 Grace Blackwell Superchip。它在 FP4 精度下可提供高达 1 PFLOPS 的 AI 计算性能，非常适合需要在桌面级外形中获得强大 AI 能力的开发者、研究人员和数据科学家。

关键规格#

DGX OS#

NVIDIA DGX OS 是一个定制的 Linux 发行版，为在 DGX 系统上运行 AI、机器学习和分析应用程序提供了一个稳定、经过测试且受支持的操作系统基础。它包括：

• 为 AI 工作负载优化的稳健 Linux 基础
• 预配置的 NVIDIA 硬件驱动程序和系统设置
• 安全更新和系统维护功能
• 与更广泛的 NVIDIA 软件生态系统的兼容性

DGX OS 遵循定期发布计划，通常每年更新两次（大约在 2 月和 8 月），主要版本之间会提供额外的安全补丁。

DGX Dashboard#

DGX Spark 内置了 DGX Dashboard，提供以下功能：

• 实时系统监控：系统当前运行指标概览
• 系统更新：能够直接从仪表板应用更新
• 系统设置：更改设备名称和其他配置
• 集成 JupyterLab：访问本地 Jupyter Notebook 以进行开发

访问仪表板#

Docker 快速入门#

在 NVIDIA DGX Spark 上开始使用 Ultralytics YOLO26 最快的方法是运行预构建的 docker 镜像。支持 Jetson AGX Thor (JetPack 7.0) 的同一个 Docker 镜像在运行 DGX OS 的 DGX Spark 上同样有效。

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --device nvidia.com/gpu=all $t

上面的 CDI 设备请求适用于运行 DGX OS 的 DGX Spark。在 Jetson AGX Thor 上，请改用 --runtime=nvidia 启动相同的镜像，如 NVIDIA Jetson guide 所示。

完成此操作后，跳至在 NVIDIA DGX Spark 上使用 TensorRT 部分。

原生安装入门#

对于不使用 Docker 的原生安装，请按照以下步骤操作。

安装 Ultralytics 包#

在这里，我们将在 DGX Spark 上安装带有可选依赖项的 Ultralytics 软件包，以便我们将 PyTorch 模型导出为其他不同格式。我们将主要关注 NVIDIA TensorRT 导出，因为 TensorRT 将确保我们从 DGX Spark 中获得最大性能。

1. 更新软件包列表，安装 pip 并升级到最新版本

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip

2. 安装带可选依赖项的 ultralytics pip 软件包

   pip install ultralytics[export]

3. 重启设备

   sudo reboot

安装 PyTorch 和 Torchvision#

上述 ultralytics 安装将安装 Torch 和 Torchvision。但是，通过 pip 安装的这些包可能并未针对 DGX Spark 的 ARM64 架构和 CUDA 13 进行完全优化。因此，我们建议安装兼容 CUDA 13 的版本：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

安装 onnxruntime-gpu#

托管在 PyPI 中的 onnxruntime-gpu 软件包没有适用于 ARM64 系统的 aarch64 二进制文件。因此我们需要手动安装此软件包。某些导出操作需要此软件包。

这里我们将下载并安装带有 Python3.12 支持的 onnxruntime-gpu 1.24.0。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

在 NVIDIA DGX Spark 上使用 TensorRT#

在 Ultralytics 支持的所有模型导出格式中，TensorRT 在 NVIDIA DGX Spark 上提供最高的推理性能，使其成为我们部署的首选推荐。有关设置说明和高级用法，请参阅我们的专用 TensorRT 集成指南。

将模型转换为 TensorRT 并运行推理#

PyTorch 格式的 YOLO26n 模型被转换为 TensorRT，以便使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

NVIDIA DGX Spark YOLO11 基准测试#

YOLO11 基准测试由 Ultralytics 团队在多种模型格式上运行，测量速度和准确率：PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch. 基准测试在 NVIDIA DGX Spark 上以 FP32 精度以及默认输入图像大小 640 下运行。

详细对比表#

下表显示了五种不同模型 (YOLO11n, YOLO11s, YOLO11m, YOLO11l, YOLO11x) 在多种格式下的基准测试结果，提供了每种组合的状态、大小、mAP50-95(B) 指标和推理时间。

重现我们的结果#

要在所有导出格式上重现上述 Ultralytics 基准测试，请运行此代码：

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

NVIDIA DGX Spark 的最佳实践#

在使用 NVIDIA DGX Spark 时，请遵循以下几项最佳实践，以确保在运行 YOLO26 时获得最高性能。

1. 监控系统性能

   使用 NVIDIA 的监控工具来追踪 GPU 和 CPU 的使用率：

   nvidia-smi

2. 优化内存使用

   凭借 128GB 的统一内存，DGX Spark 可以处理大批量（batch size）的模型。考虑增加批处理大小以提高吞吐量：

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)

3. 使用带有 FP16 或 INT8 的 TensorRT

   为获得最佳性能，请以 FP16 或 INT8 精度导出模型：

   yolo export model=yolo26n.pt format=engine quantize=16 # FP16
   yolo export model=yolo26n.pt format=engine quantize=8  # INT8

系统更新（创始人版）#

保持你的 DGX Spark 创始人版（Founders Edition）处于最新状态对于性能和安全性至关重要。NVIDIA 提供了两种主要方法来更新系统操作系统、驱动程序和固件。

使用 DGX Dashboard（推荐）#

DGX Dashboard 是执行系统更新以确保兼容性的推荐方法。它允许你：

• 查看可用的系统更新
• 安装安全补丁和系统更新
• 管理 NVIDIA 驱动程序和固件更新

手动系统更新#

对于高级用户，可以通过终端手动执行更新：

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

后续步骤#

有关进一步的学习和支持，请参阅 Ultralytics YOLO26 文档。

常见问题解答#