跳转至内容

Axelera AI 导出与部署

Ultralytics 与 Axelera AI 合作，以在 边缘 AI 设备上实现高性能、高能效的推理。使用 Voyager SDK 将 Ultralytics YOLO 模型直接导出并部署到 Metis® AIPU。

Axelera AI用于YOLO的边缘部署生态系统

Axelera AI 利用专有的数据流架构和内存计算，为边缘计算机视觉提供专用硬件加速，以低功耗实现高达856 TOPS的性能。

选择合适的硬件

Axelera AI 提供多种外形尺寸，以适应不同的部署限制。下表有助于您为 Ultralytics YOLO 部署选择最佳硬件。

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

硬件产品组合

Axelera 硬件系列经过优化，可运行Ultralytics YOLO26和旧版本，具有高 FPS/瓦特效率。

加速卡

这些卡片可在现有主机设备中实现 AI 加速，从而促进了棕地部署。

产品外形尺寸计算性能 (INT8)目标应用
Metis PCIe x4PCIe Gen3 x164 倍 Metis AIPUs856 TOPS高密度视频分析、智慧城市
Metis PCIe x1PCIe Gen3 x11x Metis AIPU214 TOPS工业PC，零售排队管理
Metis M.2M.2 2280 M-Key1x Metis AIPU214 TOPSDrones、机器人、便携式医疗设备
Metis M.2 MAXM.2 22801x Metis AIPU214 TOPS需要高级热管理的环境

集成系统

对于交钥匙解决方案，Axelera 与制造商合作提供经过 Metis AIPU 预验证的系统。

  • Metis 计算板: 一款独立的边缘设备，将 Metis AIPU 与瑞芯微 RK3588 ARM CPU 配对。
  • 工作站：来自戴尔（Precision 3460XE）和联想（ThinkStation P360 Ultra）的企业级塔式工作站。
  • 工业PC: 研华和艾提娜的加固系统，专为制造自动化设计。

支持的任务

以下任务在YOLOv8、YOLO11 和 YOLO26 模型中均受支持。

任务YOLOv8YOLO11YOLO26
目标检测✅✅✅
姿势估计✅✅✅
分割✅✅⚠️ 仅限 Voyager SDK
旋转边界框✅✅✅
分类✅✅✅

注意

Ultralytics目前尚不支持 YOLO26 分割功能 export 命令。需要 YOLO26-seg 的用户可通过 Voyager SDK 使用 deploy.py，该方案提供了一种用户空间的解决方法。原生编译器支持将在未来的版本中添加。

安装

平台要求

导出到 Axelera 格式需要：

  • 操作系统：仅限Linux（推荐Ubuntu 22.04/24.04）
  • 硬件：Axelera AI 加速器（Metis 设备）
  • Python：3.10、3.11 和 3.12 版本
  • 系统依赖项: sudo apt install libgl1 （OpenCV 所需，未通过 pip)

Ultralytics 安装

pip install ultralytics

有关详细说明，请参阅我们的Ultralytics 安装指南。如果您遇到困难，请查阅我们的常见问题指南。

Axelera 驱动程序安装

  1. 添加 Axelera 仓库密钥：

    sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"

  2. 添加仓库到 apt：

    sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"

  3. 安装 SDK 并加载驱动程序：

    sudo apt update
sudo apt install -y metis-dkms=1.4.16
sudo modprobe metis

将 YOLO 模型导出到 Axelera

使用标准的 Ultralytics 导出命令导出您训练好的 YOLO 模型。

导出到 Axelera 格式

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo26n_axelera_model' directory

yolo export model=yolo26n.pt format=axelera

更新依赖项后，首次导出可能会失败

Axelera 编译器需要 numpy<2. 如果您的环境中包含 numpy>=2，第一部 yolo export 系统会自动将其降级，但由于模块状态已过期，导出操作将失败。只需再次运行相同的导出命令——第二次运行时就会成功。

导出参数

参数类型默认值描述
formatstr'axelera'适用于 Axelera Metis AIPU 硬件的目标格式
imgszint 或 tuple640模型输入的图像尺寸
int8boolTrue为AIPU启用INT8量化
datastr'coco128.yaml'数据集用于量化校准的配置
fractionfloat1.0用于校准的数据集比例（建议 100-400 张图像）
devicestrNone导出设备：GPU (device=0) 或 CPU (device=cpu)

有关所有导出选项，请参阅导出模式文档。

输出结构

yolo26n_axelera_model/
├── yolo26n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

运行推理

使用 Ultralytics API 加载导出的模型并运行推理，类似于加载 ONNX 模型。

使用 Axelera 模型进行推理

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo26n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

Axelera AI 基准测试

Metis AIPU最大限度地提高吞吐量，同时最大限度地降低能耗。

模型Metis PCIe 帧率（每秒帧数）Metis M.2 FPS（每秒帧数）
YOLOv8n847771
YOLO11n746574
YOLO26n648.6484.9

基于Axelera AI数据的基准。实际FPS取决于模型大小、批处理和输入分辨率。

真实世界的应用

Ultralytics YOLO 在 Axelera 硬件上支持先进的边缘计算解决方案：

  1. 使用Ultralytics 训练模式训练您的模型
  2. 导出 使用以下方式转换为 Axelera 格式 model.export(format="axelera")
  3. 验证 具有...的精度 yolo val 以验证最小量化损失
  4. 预测 使用 yolo predict 用于定性验证
  5. 部署 构建一个不PyTorch 高性能端到端管道——请参阅 YOLO Voyager SDK 中的示例 Python 使用 axelera-rt

设备健康检查

验证您的 Axelera 设备是否正常运行：

# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice

有关详细诊断，请参阅AxDevice 文档。

最大性能

此集成使用单核配置以确保兼容性。对于需要最大吞吐量的生产环境，Axelera Voyager SDK 提供：

  • 多核利用（四核 Metis AIPU）
  • 流式推理管道
  • 适用于高分辨率摄像机的分块推理

请参阅模型库以获取 FPS 基准测试，或联系 Axelera以获取生产支持。

已知问题

已知限制

  • M.2功耗限制：由于电源供应限制，大型或超大型模型在M.2加速器上可能会遇到运行时错误。

如需支持，请访问Axelera社区。

常见问题

Axelera支持哪些YOLO版本？

Voyager SDK 支持导出 YOLOv8、 YOLO11以及YOLO26模型的导出。有关各模型支持的任务，请参阅“支持的任务”。

我可以部署自定义训练的模型吗？

是的。任何使用 Ultralytics 训练模式训练的模型，只要使用支持的层和操作，都可以导出为 Axelera 格式。

INT8量化如何影响准确性？

Axelera 的 Voyager SDK 会自动为混合精度 AIPU 架构量化模型。对于大多数 对象检测 任务，性能提升（更高的 FPS，更低的功耗）显著超过了对 mAP。量化过程耗时从几秒到几小时不等，具体取决于模型大小。运行 yolo val 导出后验证准确性。

我应该使用多少校准图像？

我们建议使用 100 到 400 张图像。超过 400 张不会带来额外的好处，反而会增加量化时间。请尝试使用 100、200 和 400 张图像，以找到最佳平衡。

在哪里可以找到 Voyager SDK？

SDK、驱动程序和编译器工具可通过Axelera开发者门户获取。



📅 创建于 4 个月前 ✏️ 更新于 3 天前
glenn-jocherlakshanthadpderrengerambitious-octopusonuralpszr

评论