Axelera AI 导出与部署#

Ultralytics 与 Axelera AI 合作，为 边缘 AI 设备提供高性能、高能效推理。你可以使用 Voyager SDK，将 Ultralytics YOLO 模型直接导出并部署到 Metis® AIPU。

Axelera AI 采用专有数据流架构和存内计算，为边缘端的计算机视觉提供专用硬件加速，功耗较低，性能最高可达 856 TOPS。

选择合适的硬件#

Axelera AI 提供多种外形规格，以满足不同的部署限制。下表可帮助你为 Ultralytics YOLO 部署选择最合适的硬件。

硬件产品系列#

Axelera 硬件产品系列经过优化，可高效运行 Ultralytics YOLO26 及旧版本，提供出色的每瓦 FPS 性能。

加速卡#

这些加速卡可为现有主机设备提供 AI 加速，便于开展存量环境部署。

集成系统#

为提供即用型解决方案，Axelera 与制造商合作，提供预先通过 Metis AIPU 验证的系统。

• Metis Compute Board：独立边缘设备，配备 Metis AIPU 和 Rockchip RK3588 ARM CPU。
• 工作站：来自 Dell（Precision 3460XE）和 Lenovo（ThinkStation P360 Ultra）的企业级塔式工作站。
• 工业 PC：Advantech 和 Aetina 提供的坚固型系统，专为制造自动化而设计。

支持的任务#

Axelera 导出支持 Ultralytics 的全部七种任务。语义分割和深度估计仅适用于 YOLO26，因为只有 YOLO26 系列包含这两种检测头。

YOLO26 检测、实例分割、姿态和 OBB 模型默认导出其 无 NMS 的一对一检测头，Axelera 运行时会在主机端对其进行解码。传入 nms=True 则会改为导出一对多检测头，这种检测头在 Metis 上的得分较低：以这种方式导出的 YOLO26n 检测模型在 COCO128 上达到 mAP50-95 0.212，而使用无 NMS 检测头时为 0.453。

安装#

安装 Ultralytics#

pip install ultralytics

如需详细说明，请参阅我们的 Ultralytics 安装指南。如果遇到问题，请查阅我们的常见问题指南。

安装 Axelera 驱动#

1. 添加 Axelera 软件源密钥：

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

2. 将软件源添加到 apt：

   根据所用操作系统，从下方选择合适的代码片段。

   # Ubuntu 22.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

   # Ubuntu 24.04
   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list"

3. 安装驱动并加载它。SDK 1.9 需要 metis-dkms 1.7.0 或更高版本，因此此处安装最新版本：

   sudo apt update
   sudo apt install -y metis-dkms
   sudo modprobe metis

[libaxldev.c:285] Found kernel driver version 1.6.2, but at least version 1.7.0 is required. Please update the kernel driver
ERROR: AXR_ERROR_CONNECTION_ERROR: Failed to open device metis-0:4:0

sudo apt update
sudo apt install -y metis-dkms
sudo rmmod metis
sudo modprobe metis

pip install axelera-devkit==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.9.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple

Error: Unsupported model version: 4.0, expected at least 5.0
Please re-deploy or re-download the model.

将 YOLO 模型导出为 Axelera 格式#

Axelera 格式支持 导出、预测和验证模式。推理和验证均在 Axelera Metis AIPU 硬件上运行。导出模型后，加载导出的模型即可运行推理或验证其准确率。

from ultralytics import YOLO

# 加载 YOLO26 模型
model = YOLO("yolo26n.pt")

# 将模型导出为 Axelera 格式
model.export(format="axelera")  # creates 'yolo26n_axelera_model'

from ultralytics import YOLO

# 加载导出的 Axelera 模型
model = YOLO("yolo26n_axelera_model")

# 运行推理
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# 加载导出的 Axelera 模型
model = YOLO("yolo26n_axelera_model")

# 在 COCO8 数据集上验证准确率
metrics = model.val(data="coco8.yaml")

导出参数#

* 模型按单张图像编译，因此导出参数 batch 只用于设置校准批次大小。改为向 predict 传入 batch，即可一次向 Axelera 调度器提交多张图像（Voyager SDK 1.8.0 或更高版本）：请参阅最高性能。

如需查看所有导出选项，请参阅导出模式文档。

输出结构#

yolo26n_axelera_model/
├── yolo26n.axm                  # Axelera model file
├── compiler_config_final.toml  # Compiler configuration used for the build
└── metadata.yaml               # Model metadata (classes, image size, etc.)

Axelera AI 基准测试#

Metis AIPU 在最大化吞吐量的同时，将能耗降至最低。

基准测试数据基于 Axelera AI 提供的数据。实际 FPS 取决于模型大小、批处理方式和输入分辨率。

这些是主机吞吐量数据，由 模型库 使用 Voyager SDK 的流式处理管道对 720p 视频文件进行测量。单次 predict 调用报告的是每张图像的延迟，这是另一种指标。

实际应用#

Ultralytics YOLO 在 Axelera 硬件上可支持高级边缘计算解决方案：

• 智慧零售：通过实时目标计数和热力图分析优化门店运营。
• 工业安全：在制造环境中实现低延迟的 PPE 检测。
• 无人机分析：在无人机上高速执行目标检测，用于农业和搜救任务。
• 交通系统：基于边缘的车牌识别和速度估算。

推荐工作流#

1. 使用 Ultralytics 训练模式训练模型
2. 使用 model.export(format="axelera") 导出为 Axelera 格式
3. 使用 yolo val 验证精度，确认量化损失最小
4. 使用 yolo predict 预测以进行定性验证
5. 部署到高性能端到端管道中，无需依赖 PyTorch — 查看 Voyager SDK 上的 YOLO 示例，了解如何使用 axelera-rt 构建可组合的 Python 管道

设备健康检查#

确认 Axelera 设备运行正常：

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

如需详细诊断信息，请参阅 AxDevice 文档。

最高性能#

模型按单张图像编译，单张图像会在一个 AIPU 核心上运行。向 Predict 传入多张图像，会将它们一起交给 Axelera 调度器，由调度器将它们分配到设备的各个核心：

yolo predict model=yolo26n_axelera_model source=path/to/images batch=32

在目录中的 128 张 COCO128 图像上，Metis PCIe 的 yolo26n（imgsz=640），三次运行的中位数：

在 SDK 1.9 中，批次大小的提升能提高吞吐量；在 batch=32 时，吞吐量可提高 2.7 倍，而 1.8 在任何批次大小下都维持在约 40 图/秒。离线处理追求吞吐量时使用大批次，关注单张图像延迟时使用 batch=1。第二台设备对 predict 的提升很小：在 batch=32 时，只要图像在设备上的处理时间达到约 4 毫秒，主机端预处理每张图像就已耗时约 4 毫秒。

超出 predict 的范围#

对于需要最大吞吐量的生产环境，Axelera Voyager SDK 提供：

• 可让多帧同时处于处理中状态的流式推理管道
• 将一个模型编译到多个核心上
• 通过切片推理支持更高分辨率的摄像头

这些路径会跳过 predict 在主机端执行的 PyTorch 前处理和后处理。请参阅 model-zoo 获取 FPS 基准测试，或联系 Axelera 获取生产环境支持。

已知问题#

如需支持，请访问 Axelera 社区。

常见问题#