Axelera AI 导出与部署

Ultralytics 与 Axelera AI 合作，以在 边缘 AI 设备上实现高性能、高能效的推理。使用 Voyager SDK 将 Ultralytics YOLO 模型直接导出并部署到 Metis® AIPU。

Axelera AI 利用专有的数据流架构和内存计算，为边缘计算机视觉提供专用硬件加速，以低功耗实现高达856 TOPS的性能。

选择合适的硬件

Axelera AI 提供多种外形尺寸，以适应不同的部署限制。下表有助于您为 Ultralytics YOLO 部署选择最佳硬件。

graph TD
    A[Start: Select Deployment Target] --> B{Device Type?}
    B -->|Edge Server / Workstation| C{Throughput Needs?}
    B -->|Embedded / Robotics| D{Space Constraints?}
    B -->|Standalone / R&D| E[Dev Kits & Systems]

    C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]
    C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]

    D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]
    D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]

    E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]
    E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]

    click F "https://store.axelera.ai/"
    click G "https://store.axelera.ai/"
    click H "https://store.axelera.ai/"
    click J "https://store.axelera.ai/"

硬件产品组合

Axelera 硬件产品线经过优化，可运行 Ultralytics YOLO11 和旧版本，具有高每瓦帧率效率。

加速卡

这些卡片可在现有主机设备中实现 AI 加速，从而促进了棕地部署。

集成系统

对于交钥匙解决方案，Axelera 与制造商合作提供经过 Metis AIPU 预验证的系统。

• Metis 计算板: 一款独立的边缘设备，将 Metis AIPU 与瑞芯微 RK3588 ARM CPU 配对。
• 工作站：来自戴尔（Precision 3460XE）和联想（ThinkStation P360 Ultra）的企业级塔式工作站。
• 工业PC: 研华和艾提娜的加固系统，专为制造自动化设计。

支持的任务

目前，对象 detect 模型可以导出为 Axelera 格式。正在集成其他任务：

安装

Ultralytics 安装

pip install ultralytics

有关详细说明，请参阅我们的Ultralytics 安装指南。如果您遇到困难，请查阅我们的常见问题指南。

Axelera 驱动程序安装

1. 添加 Axelera 仓库密钥：

   sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg"
   

2. 添加仓库到 apt：

   sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source/ ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"
   

3. 安装 SDK 并加载驱动程序：

   sudo apt update
   sudo apt install -y axelera-voyager-sdk-base
   sudo modprobe metis
   yes | sudo /opt/axelera/sdk/latest/axelera_fix_groups.sh $USER
   

将 YOLO 模型导出到 Axelera

使用标准的 Ultralytics 导出命令导出您训练好的 YOLO 模型。

from ultralytics import YOLO

# Load a YOLO11 model
model = YOLO("yolo11n.pt")

# Export to Axelera format
model.export(format="axelera")  # creates 'yolo11n_axelera_model' directory

yolo export model=yolo11n.pt format=axelera

导出参数

有关所有导出选项，请参阅导出模式文档。

输出结构

yolo11n_axelera_model/
├── yolo11n.axm              # Axelera model file
└── metadata.yaml            # Model metadata (classes, image size, etc.)

运行推理

使用 Ultralytics API 加载导出的模型并运行推理，类似于加载 ONNX 模型。

from ultralytics import YOLO

# Load the exported Axelera model
model = YOLO("yolo11n_axelera_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

# Process results
for r in results:
    print(f"Detected {len(r.boxes)} objects")
    r.show()  # Display results

yolo predict model='yolo11n_axelera_model' source='https://ultralytics.com/images/bus.jpg'

推理性能

Metis AIPU最大限度地提高吞吐量，同时最大限度地降低能耗。

基于Axelera AI数据的基准。实际FPS取决于模型大小、批处理和输入分辨率。

真实世界的应用

Ultralytics YOLO 在 Axelera 硬件上支持先进的边缘计算解决方案：

• 智能零售：实时目标计数和热力图分析，用于商店优化。
• 工业安全: 在制造环境中的低延迟 PPE detect。
• 无人机分析：在无人机上进行高速目标检测，应用于农业和搜救。
• 交通系统：基于边缘计算的车牌识别和速度估计。

推荐工作流程

1. 使用Ultralytics 训练模式训练您的模型
2. 导出 使用以下方式转换为 Axelera 格式 model.export(format="axelera")
3. 验证 具有...的精度 yolo val 以验证最小量化损失
4. 预测 使用 yolo predict 用于定性验证

设备健康检查

验证您的 Axelera 设备是否正常运行：

. /opt/axelera/sdk/latest/axelera_activate.sh
axdevice

有关详细诊断，请参阅AxDevice 文档。

最大性能

此集成使用单核配置以确保兼容性。对于需要最大吞吐量的生产环境，Axelera Voyager SDK 提供：

• 多核利用（四核 Metis AIPU）
• 流式推理管道
• 适用于高分辨率摄像机的分块推理

请参阅模型库以获取 FPS 基准测试，或联系 Axelera以获取生产支持。

已知问题

如需支持，请访问Axelera社区。

常见问题

Axelera支持哪些YOLO版本？

Voyager SDK 支持导出 YOLOv8 和 YOLO11 模型。

我可以部署自定义训练的模型吗？

是的。任何使用 Ultralytics 训练模式训练的模型，只要使用支持的层和操作，都可以导出为 Axelera 格式。

INT8量化如何影响准确性？

Axelera 的 Voyager SDK 会自动为混合精度 AIPU 架构量化模型。对于大多数 对象检测 任务，性能提升（更高的 FPS，更低的功耗）显著超过了对 mAP。量化过程耗时从几秒到几小时不等，具体取决于模型大小。运行 yolo val 导出后验证准确性。

我应该使用多少校准图像？

我们建议使用 100 到 400 张图像。超过 400 张不会带来额外的好处，反而会增加量化时间。请尝试使用 100、200 和 400 张图像，以找到最佳平衡。

在哪里可以找到 Voyager SDK？

SDK、驱动程序和编译器工具可通过Axelera开发者门户获取。

📅创建于20天前 ✏️更新于3天前

评论