使用 Vitis AI 部署 Ultralytics YOLO 到 AMD Xilinx#

AMD Xilinx 设备广泛应用于全球各地的工业相机、汽车视觉系统、机器人、无人机和医学影像产品。这些设备将 Arm 处理器与可编程逻辑相结合，新款设备还配备专用 AI Engines，因此单个芯片便能采集视频、进行预处理、执行目标检测，并以低且可预测的推理延迟对结果作出响应。

本指南介绍各 AMD Xilinx 设备系列、设备上的 AI 运行方式、每种加速器支持的 Ultralytics YOLO 算子，以及在 Zynq UltraScale+、Kria 和 Versal 硬件上部署 YOLO 模型的分步工作流。

什么是 AMD Xilinx？#

Xilinx 于 20 世纪 80 年代发明了现场可编程门阵列（FPGA），并成为自适应 SoC 和 FPGA领域的领先供应商。AMD 于 2022 年 2 月完成对 Xilinx 的收购，如今这些产品线以 AMD 品牌销售，名称分别为 AMD Zynq、AMD Kria、AMD Versal 和 AMD Vitis。

关键术语和概念#

AMD Xilinx 部署有一套专用术语。下表解释了本指南中使用的所有术语。

适用于边缘 AI 的 AMD Xilinx 设备系列#

适用于边缘 AI 的 AMD Xilinx 设备分为三个系列。Zynq 和 Kria 在可编程逻辑中使用 DPU，而本指南介绍的 Versal AI Edge 设备则在其 AI Engines 上使用 NPU。

Zynq UltraScale+ MPSoC#

每款 Zynq UltraScale+ 芯片都将 Arm 处理系统与 FPGA 逻辑相结合。处理系统配有双核（CG）或四核（EG 和 EV）Cortex-A53 核心以及实时 Cortex-R5F 核心。EV 设备还增加了硬化 H.264/H.265 视频编解码器。要运行神经网络，设计人员会在摄像头和视频管线旁的逻辑中构建 DPU。在小型设备上，DPU 会与设计的其他部分争夺空间。

Kria 系统级模块#

Kria K26 模块将 Zynq UltraScale+ MPSoC、内存和电源集成在量产级模块中，因此你无需自行设计处理器、内存和电源子系统。该模块可插入载板，可以是入门套件开发板，也可以是你自己的设计。它为智能摄像头提供 KV260 Vision AI 入门套件，为机器人提供 KR260 Robotics 入门套件。由于 K26 基于 Zynq UltraScale+ 构建，因此使用相同的 DPU 工作流。Kria 产品组合还包括其他模块，因此选择工作流前，请确认你的模块使用哪种处理器。

Versal 自适应 SoC#

Versal 是 AMD 的自适应 SoC 系列。其 AI Edge 和 AI Core 系列在 Arm 核心与可编程逻辑旁增加了硬化 AI Engines，而其他一些 Versal 系列则没有 AI Engines。AMD 的 NPU IP 会同时运行于 AI Engines 和可编程逻辑之上；Vitis AI 面向 AI Edge 系列中的 AIE-ML 芯片，例如 VE2302 和 VE2802。Versal AI Edge 系列（VEK280 评估套件）和 Versal AI Edge 系列 Gen 2（VEK385 评估套件）是 AMD 当前面向边缘 AI 的目标平台，也是当前 Vitis AI 版本的重点。

AMD Xilinx 设备上的 AI 运行方式：DPU 与 NPU#

大多数 AMD Xilinx AI 部署都遵循相同的模式。加速器运行其支持的层；Arm CPU 负责预处理、后处理，以及加速器无法执行的层；开发板上的运行时负责协调二者。

graph LR
    A[Camera / video input]:::start --> B[Arm CPU<br>Linux, preprocessing,<br>post-processing]:::proc
    B <--> C[AI accelerator<br>DPU in programmable logic<br>or NPU on AI Engines + PL]:::out
    B --> D[Application<br>alerts, control, display]:::start

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff

AMD 已推出两代加速器，每一代都有各自的工具链和编译模型文件。本指南使用 Vitis AI 3.5 介绍 DPU，使用 Vitis AI 6.3 介绍 NPU；如需了解后续版本，请查阅 AMD 的最新文档。

我需要哪种 Vitis AI 流程？#

根据开发板上的器件选择流程：

graph TD
    A[Start: which AMD device<br>is on your board?]:::start --> B{Device family?}:::decide
    B -->|Zynq UltraScale+ MPSoC<br>or Kria K26| C[DPU flow<br>Vitis AI 3.5]:::proc
    B -->|Versal AI Edge<br>VEK280| D[NPU snapshot flow<br>Vitis AI 6.3]:::proc
    B -->|Versal AI Edge Gen 2<br>VEK385| E[NPU Quark flow<br>Vitis AI 6.3]:::proc
    C --> F[Train YOLO with Hard-Swish<br>then compile to .xmodel]:::out
    D --> G[Run your model on calibration<br>images to capture a snapshot]:::out
    E --> H[Quantize ONNX with Quark<br>then compile to .rai]:::out

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

YOLO 模型兼容性与支持的算子#

加速器只能加速由硬件实现的算子。如果模型包含不受支持的算子，编译器通常会将网络的这部分交给 Arm CPU 运行，而加速器与 CPU 之间的每次往返都会增加延迟。有些算子无法进行分区：在 Versal AI Edge Gen 2 NPU 上，AMD 列出的 NonZero 和 NonMaxSuppression 等算子可能会导致整个模型都在 CPU 上运行。算子支持是影响 YOLO 模型在 AMD Xilinx 硬件上运行效果的最重要因素。

graph LR
    subgraph S1 [Stock YOLO26 on the DPU]
        A1[Conv]:::out --> A2[SiLU<br>CPU]:::error --> A3[Conv]:::out --> A4[SiLU<br>CPU]:::error --> A5[...]:::proc
    end
    subgraph S2 [Hard-Swish YOLO26 on the DPU]
        B1[Backbone<br>Conv + Hard-Swish<br>DPU]:::out --> B2[C2PSA attention<br>CPU]:::error --> B3[Neck<br>DPU]:::out --> B4[C3k2 attention<br>CPU]:::error --> B5[Detect head<br>DPU]:::out --> B6[Sigmoid and<br>post-processing<br>CPU]:::error
    end

    classDef proc fill:#2196F3,color:#fff
    classDef out fill:#9C27B0,color:#fff
    classDef error fill:#F44336,color:#fff

此表展示了 YOLO26 模型中的各个算子在哪里运行。未经修改的 YOLO26n ONNX 导出模型包含 87 个 SiLU 激活，每个都导出为一个 Sigmoid 和一个 Mul；此外还有 4 个 MatMul 算子和 2 个 Softmax 算子，它们来自两个注意力模块：C2PSA 模块位于主干网络末端（第 10 层），启用注意力的 C3k2 模块则负责生成 P5 输出（第 22 层）。

来源：AMD 的 UG1414 支持的算子、PyTorch 算子支持，以及 Versal AI Edge Gen 2 的支持、CPU 分区和不支持的算子列表。支持情况还取决于 DPU 配置和计算图模式，因此务必检查编译器的分区报告。

通过 Hard-Swish 让 YOLO26 适配 DPU#

DPU 只会将 ReLU、ReLU6、LeakyReLU、Hard-Swish 和 Hard-Sigmoid 融合到卷积中。Hard-Swish 是 SiLU 的硬件友好近似，因此是自然的替代方案。Ultralytics 模型 YAML 文件支持 activation 键，用于更改 Conv 模块的默认激活函数（模型 YAML 配置指南）。

将 yolo26.yaml 复制到 yolo26-hswish.yaml，然后在参数下添加一行：

# Parameters
nc: 80 # number of classes
activation: nn.Hardswish() # default Conv activation, DPU-native
end2end: True # whether to use end-to-end mode

然后构建模型，迁移预训练的 YOLO26 权重，并在你的数据集上微调：

from ultralytics import YOLO

# 使用 Hard-Swish 激活构建 YOLO26n；名称中的 'n' 表示 nano 尺度
model = YOLO("yolo26n-hswish.yaml").load("yolo26n.pt")  # 迁移预训练权重

# 进行微调，使网络适配 Hard-Swish
model.train(data="coco8.yaml", epochs=100, imgsz=640)

激活函数没有权重，因此所有预训练权重都会迁移。导出的 ONNX 计算图随后会包含 87 个 HardSwish 算子，且不包含 SiLU。将 coco8.yaml 替换为你自己的数据集，并在部署前使用验证模式将准确率与 SiLU 模型进行比较。

在 DPU 上处理注意力模块#

YOLO26 在最低分辨率处（输入尺寸为 640 时是 20×20 网格）应用注意力，共两处：C2PSA 模块位于第 10 层，启用注意力的 C3k2 模块位于第 22 层。YOLO11 有一个 C2PSA 模块。在 DPU 上，它们的 MatMul 和 Softmax 算子会在 CPU 上运行，从而将模型拆分为交替运行的 DPU 和 CPU 子图。你有三种选择：

1. 接受 CPU 模块。 编译后的 .xmodel 会包含 CPU 子图，因此请使用 AMD 的 Graph Runner 运行；当每个算子都有 CPU 实现时，它会一起执行 DPU 和 CPU 子图，否则你必须实现并注册缺少的算子。20×20 时注意力计算量很小，但 DPU 与 CPU 之间的每次额外传输都会增加延迟，因此请在开发板上进行测量。

2. 使用不含注意力的 YAML。 在 Hard-Swish YAML 中，将 C2PSA 层替换为 nn.Identity，以确保 Concat 和 Detect 使用的层索引仍然有效，并禁用第 22 层中的注意力：

   backbone:
       # ... layers 0-9 unchanged
       - [-1, 1, nn.Identity, []] # 10 C2PSA removed; keeps later layer indices valid
   
   head:
       # ... layers 11-21 unchanged
       - [-1, 1, C3k2, [1024, True, 0.5, False]] # 22 (P5/32-large), attention disabled
       - [[16, 19, 22], 1, Detect, [nc]] # Detect(P3, P4, P5)

   导出的 ONNX 计算图随后将不包含 MatMul 或 Softmax 算子。注意力权重将不再适用（YOLO26n 的 666 个权重中有 624 个可以迁移），因此请延长微调时间，并使用验证模式比较准确率。

3. 使用不含注意力的模型，例如 YOLOv8；AMD 在自己的 DPU 示例中使用过该模型。

在 Versal AI Edge Gen 2 上，注意力算子被列为 NPU 支持的算子，因此通常不需要进行这些更改。请在编译器报告中确认算子的位置，因为 AMD 指出，即使算子受支持，也可能因配置或内存限制而回退到 CPU。

模型兼容性一览#

立即在 AMD Xilinx 上部署 YOLO26#

在原生导出功能可用之前，部署分为四个步骤：

graph LR
    A[1. Train or fine-tune<br>Ultralytics YOLO]:::start --> B{Target?}:::decide
    B -->|Versal NPU| C[2. Export to ONNX<br>model.export]:::proc
    B -->|Zynq or Kria DPU| D[2. Keep the trained<br>PyTorch checkpoint]:::proc
    C --> E[3. Quantize and compile<br>Vitis AI 6.3 Docker]:::proc
    D --> F[3. Quantize and compile<br>Vitis AI 3.5 Docker]:::proc
    E --> G[4. Run on the board<br>VART-ML or ONNX Runtime]:::out
    F --> H[4. Run on the board<br>VART]:::out
    G -.->|accuracy check| A
    H -.->|accuracy check| A

    classDef start fill:#4CAF50,color:#fff
    classDef proc fill:#2196F3,color:#fff
    classDef decide fill:#FF9800,color:#fff
    classDef out fill:#9C27B0,color:#fff

步骤 1：训练或微调模型#

使用训练模式在你自己的数据上训练，或在 Ultralytics Platform 上训练。对于 DPU 目标设备，请从 Hard-Swish YAML 开始。使用验证模式记录基准，以便之后测量量化对准确率的影响。

步骤 2：为 NPU 目标设备导出为 ONNX#

ONNX 是 AMD NPU 流程的通用输入。DPU 流程会在 Vitis AI 3.5 Docker 镜像中直接量化训练好的 PyTorch 检查点，因此 DPU 用户可以跳过此步骤。导出时请使用固定批次大小 1，以及 AMD 支持的 opset；AMD 面向 Versal AI Edge Gen 2 的 YOLOv8m 教程使用 opset 17。

from ultralytics import YOLO

# 加载你在步骤 1 中训练的模型
model = YOLO("runs/detect/train/weights/best.pt")

# 导出为 ONNX，并使用静态形状供 AMD 编译器处理
model.export(format="onnx", opset=17, imgsz=640)  # 在 'best.pt' 旁创建 'best.onnx'

所有选项请参阅 ONNX 集成和导出参数。未设置 nms 时，请在推理后于 CPU 上运行 NMS；对于 YOLO26，nms=False 用于选择无 NMS 检测头。不要使用 nms=True 嵌入 NMS，因为 AMD 将 NonMaxSuppression 列为可能导致整个模型在 CPU 上运行的算子之一。

步骤 3：使用 Vitis AI 量化和编译#

以下工作流使用 AMD 的 Docker 镜像，并运行在 x86-64 Linux 主机上。此步骤不需要开发板。请选择与你的器件对应的选项卡：

第 4 步：在板卡上运行并验证#

先准备好板卡。板卡必须运行包含你所编译加速器配置的硬件设计和 Linux 镜像，还必须运行匹配的 Vitis AI 运行时。请参阅 AMD 的设置指南：Zynq UltraScale+ 和 Kria DPU 目标、Versal AI Edge (VEK280)和Versal AI Edge Gen 2 (VEK385)。

然后复制运行时所需的产物：

对于 NPU 工作流，导出的 ONNX 图已经解码边界框并应用类别分数 sigmoid，因此主机只需解析输出：

• 未设置 nms：检测模型会输出一个包含 xywh 个边界框和各类别分数的 (1, 4 + nc, anchors) 张量。为每个锚点选择得分最高的类别，将边界框转换为角点格式，按置信度筛选并运行 NMS；Ultralytics 的 non_max_suppression 函数会完成所有这些步骤。
• nms=False（YOLO26）：模型会输出一个包含 [x1, y1, x2, y2, score, class] 行的 (1, max_det, 6) 张量，只需应用置信度阈值。

在这两种情况下，都要将边界框从添加了填充的输入图像缩放回原始图像。只有在解码步骤之前被截断的计算图才需要在主机上解码边界框。在 DPU 上，VART 缓冲区存储定点 INT8 值：查询每个张量的形状和 fix_point scale，在应用上述步骤前对输入量化并对输出反量化。Graph Runner 会返回完整计算图的输出，而仅运行 DPU 的 runner 会返回 DPU 子图的中间输出，剩余计算必须由你的代码完成。上述布局是 ONNX（CPU 视图）的布局：VART-ML 默认使用硬件张量视图，其形状、数据类型和内存布局可能不同，因此请将 runner 的输入和输出张量类型配置为 CPU 视图，或自行转换硬件格式（请参阅 AMD 的 VART-ML 架构概览）。

使用你自己的验证集和相同的性能指标（例如 mAP），将设备上的精度与第 1 步的 FP32 基线进行比较。AMD 发布的 VEK385 上 YOLOv8m 结果展示了 INT8 部署对精度的影响：

来源：AMD 的 Versal AI Edge Gen 2 YOLOv8m 教程；该教程还报告了 dp_size=1 下 VART 运行 100 次的平均推理时间为 10.69 ms。

实际应用#

在需要以低功耗、实时地在传感器附近运行视觉 AI 的场景中，AMD Xilinx 设备十分常见：

• 工业和建筑安全：检测重型设备周围的人员和机器，并使用目标检测和目标计数监控作业区域。
• 汽车和非公路车辆视觉：在符合汽车级标准的部件上运行基于摄像头的感知，支持自动驾驶汽车和驾驶辅助。
• 智能摄像头和视频分析：在一颗芯片上结合视频采集、编码和 YOLO 推理，用于安防系统和视频分析。
• 机器视觉和质量检测：将基于 FPGA 的高速图像采集与 YOLO 的实例分割或分类结合，用于生产线上的缺陷检测。
• 机器人和无人机：使用 Kria KR260 或 Versal 模块进行姿态估计、有向目标检测和导航，实现确定性延迟。

总结#

AMD Xilinx 设备通过两代加速器运行 YOLO 模型。Zynq UltraScale+ 和 Kria 上的 DPU 使用冻结的 Vitis AI 3.5 工作流，并生成 .xmodel 文件。DPU 需要 Hard-Swish 等 DPU 原生激活函数，并会在 CPU 上运行 attention。Versal AI Edge 和 Versal AI Edge Gen 2 上的 NPU 使用当前版本的 Vitis AI。Gen 2 NPU 支持 SiLU 和 attention 算子；AMD 的 YOLOv8m 示例在 VEK385 上几乎完全由 NPU 运行，而较早的 VEK280 NPU 的算子支持情况取决于 Vitis AI 版本和精度。

AMD Xilinx 设备的原生 Ultralytics 导出功能即将推出。在此之前，请使用 Ultralytics 训练；对于 Versal NPU 目标，导出为 ONNX，对于 DPU 目标则保留 PyTorch 检查点，然后按照上述说明使用 Vitis AI 编译。有关其他部署目标，请参阅模型部署选项指南、部署最佳实践，以及 Hailo、Rockchip RKNN和 Axelera等加速器集成方案。

常见问题#