快速入门指南：NVIDIA DGX Spark与Ultralytics YOLO26

这份综合指南提供了在NVIDIA DGX Spark（NVIDIA的紧凑型桌面AI超级计算机）上部署Ultralytics YOLO26的详细步骤。此外，它还展示了性能基准，以证明YOLO26在该强大系统上的能力。

什么是 NVIDIA DGX Spark？

NVIDIA DGX Spark 是一款紧凑型桌面 AI 超级计算机，由 NVIDIA GB10 Grace Blackwell 超级芯片提供支持。它提供高达 1 petaFLOP 的 FP4 精度 AI 计算性能，使其成为需要桌面级强大 AI 功能的开发人员、研究人员和数据科学家的理想选择。

主要规格

DGX OS

NVIDIA DGX OS 是一个定制的Linux发行版，为在DGX系统上运行AI、机器学习和分析应用提供了稳定、经过测试和受支持的操作系统基础。它包括：

• 为AI工作负载优化的强大Linux基础
• NVIDIA硬件的预配置驱动程序和系统设置
• 安全更新和系统维护功能
• 与更广泛的NVIDIA软件生态系统兼容

DGX OS遵循定期发布计划，更新通常每年提供两次（大约在2月和8月），并在主要版本之间提供额外的安全补丁。

DGX 控制面板

DGX Spark内置了DGX Dashboard，提供：

• 实时系统监控：系统当前运行指标概览
• 系统更新：能够直接从仪表板应用更新
• 系统设置：更改设备名称及其他配置
• 集成JupyterLab：访问本地Jupyter Notebook进行开发

访问仪表板

# Open an SSH tunnel
ssh -L 11000:localhost:11000 username@spark-abcd.local

# Then open in browser
# http://localhost:11000

Docker 快速入门

在NVIDIA DGX Spark上开始使用Ultralytics YOLO26的最快方法是运行预构建的Docker镜像。支持Jetson AGX Thor (JetPack 7.0) 的相同Docker镜像可在运行DGX OS的DGX Spark上工作。

t=ultralytics/ultralytics:latest-nvidia-arm64
sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia --gpus all $t

完成此操作后，请跳至在 NVIDIA DGX Spark 上使用 TensorRT 部分。

本地安装入门

对于不使用 Docker 的原生安装，请遵循以下步骤。

安装 Ultralytics 软件包

在此，我们将在 DGX Spark 上安装带有可选依赖项的 Ultralytics 包，以便我们将 PyTorch 模型导出为其他不同格式。我们将主要关注 NVIDIA TensorRT 导出，因为 TensorRT 将确保我们能从 DGX Spark 中获得最大性能。

1. 更新软件包列表，安装 pip 并升级到最新版本

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. 安装 ultralytics 带有可选依赖项的 pip 软件包

   pip install ultralytics[export]
   

3. 重新启动设备

   sudo reboot
   

安装 PyTorch 和 Torchvision

上述 Ultralytics 安装将安装 Torch 和 Torchvision。然而，通过 pip 安装的这些包可能未针对 DGX Spark 的 ARM64 架构和 CUDA 13 进行完全优化。因此，我们建议安装 CUDA 13 兼容版本：

pip install torch torchvision --index-url https://download.pytorch.org/whl/cu130

UserWarning: Found GPU0 NVIDIA GB10 which is of cuda capability 12.1.
Minimum and Maximum cuda capability supported by this version of PyTorch is (8.0) - (12.0)

安装 onnxruntime-gpu

字段 onnxruntime-gpu 托管在PyPI上的包不包含 aarch64 适用于 ARM64 系统的二进制文件。因此我们需要手动安装此包。此包是某些导出所必需的。

在此我们将下载并安装 onnxruntime-gpu 1.24.0 使用 Python3.12 支持。

pip install https://github.com/ultralytics/assets/releases/download/v0.0.0/onnxruntime_gpu-1.24.0-cp312-cp312-linux_aarch64.whl

在 NVIDIA DGX Spark 上使用 TensorRT

在 Ultralytics 支持的所有模型导出格式中，TensorRT 在 NVIDIA DGX Spark 上提供最高的推理性能，使其成为我们部署的首选推荐。有关设置说明和高级用法，请参阅我们的 专用 TensorRT 集成指南。

将模型转换为 TensorRT 并运行推理

PyTorch格式的YOLO26n模型被转换为TensorRT，以使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT
model.export(format="engine")  # creates 'yolo26n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolo26n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLO26n PyTorch model to TensorRT format
yolo export model=yolo26n.pt format=engine # creates 'yolo26n.engine'

# Run inference with the exported model
yolo predict model=yolo26n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA DGX Spark YOLO11 基准测试

Ultralytics 团队对多种模型格式进行了 YOLO11 基准测试，衡量了速度和 准确性：PyTorch、TorchScript、ONNX、OpenVINO、TensorRT、TF SavedModel、TF GraphDef、TF Lite、MNN、NCNN、ExecuTorch。基准测试在 NVIDIA DGX Spark 上以 FP32 精度 运行，默认输入图像大小为 640。

详细对比表

下表显示了五种不同模型（YOLO11n、YOLO11s、YOLO11m、YOLO11l、YOLO11x）跨多种格式的基准测试结果，为我们提供了每种组合的状态、大小、mAP50-95(B) 指标和推理时间。

复现我们的结果

要在所有导出格式上重现上述 Ultralytics 基准测试，请运行以下代码：

from ultralytics import YOLO

# Load a YOLO26n PyTorch model
model = YOLO("yolo26n.pt")

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml", imgsz=640)

# Benchmark YOLO26n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo26n.pt data=coco128.yaml imgsz=640

NVIDIA DGX Spark 的最佳实践

在使用NVIDIA DGX Spark时，有一些最佳实践需要遵循，以便在运行YOLO26时实现最大性能。

1. 监控系统性能

   使用 NVIDIA 的监控工具来 track GPU 和 CPU 利用率：

   nvidia-smi
   

2. 优化内存使用

   凭借 128GB 统一内存，DGX Spark 可以处理大批量大小和模型。考虑增加批量大小以提高吞吐量：

   from ultralytics import YOLO
   
   model = YOLO("yolo26n.engine")
   results = model.predict(source="path/to/images", batch=16)
   

3. 使用 TensorRT 配合 FP16 或 INT8

   为获得最佳性能，请以 FP16 或 INT8 精度导出模型：

   yolo export model=yolo26n.pt format=engine half=True # FP16
   yolo export model=yolo26n.pt format=engine int8=True # INT8
   

系统更新（创始人版）

使您的 DGX Spark Founders Edition 保持最新对于性能和安全性至关重要。NVIDIA 提供了两种主要方法来更新系统操作系统、驱动程序和固件。

使用 DGX 控制面板（推荐）

DGX Dashboard 是执行系统更新并确保兼容性的推荐方式。它允许您：

• 查看可用的系统更新
• 安装安全补丁和系统更新
• 管理 NVIDIA 驱动程序和固件更新

手动系统更新

对于高级用户，可以通过终端手动执行更新：

sudo apt update
sudo apt dist-upgrade
sudo fwupdmgr refresh
sudo fwupdmgr upgrade
sudo reboot

下一步

如需进一步学习和支持，请参阅Ultralytics YOLO26文档。

常见问题

我如何将Ultralytics YOLO26部署到NVIDIA DGX Spark上？

在NVIDIA DGX Spark上部署Ultralytics YOLO26非常简单。您可以使用预构建的Docker镜像进行快速设置，或手动安装所需的软件包。每种方法的详细步骤可在使用Docker快速入门和本机安装入门部分找到。

我能从NVIDIA DGX Spark上的YOLO26获得怎样的性能？

得益于GB10 Grace Blackwell超级芯片，YOLO26模型在DGX Spark上提供了卓越的性能。TensorRT格式提供最佳推理性能。请查看详细比较表部分，获取针对不同模型尺寸和格式的具体基准测试结果。

为什么我应该在DGX Spark上为YOLO26使用TensorRT？

强烈推荐使用TensorRT在DGX Spark上部署YOLO26模型，因为它具有最佳性能。它通过利用Blackwell GPU的能力来加速推理，确保最大效率和速度。在在NVIDIA DGX Spark上使用TensorRT部分了解更多信息。

DGX Spark与Jetson设备相比，YOLO26的表现如何？

DGX Spark提供比Jetson设备显著更强的计算能力，AI性能高达1 PFLOP，并配备128GB统一内存，而Jetson AGX Thor则为2070 TFLOPS和128GB内存。DGX Spark被设计为桌面AI超级计算机，而Jetson设备则是针对边缘部署优化的嵌入式系统。

DGX Spark 和 Jetson AGX Thor 可以使用相同的 Docker 镜像吗？

是的！该 ultralytics/ultralytics:latest-nvidia-arm64 Docker 镜像支持 NVIDIA DGX Spark（搭载 DGX OS）和 Jetson AGX Thor（搭载 JetPack 7.0），因为两者都使用 ARM64 架构、CUDA 13 和类似的软件栈。

📅 创建于 21 天前 ✏️ 更新于 9 天前

评论