Link to this sectionAxelera AI 导出与部署#
Ultralytics 与 Axelera AI 合作,旨在实现 Edge AI 设备上的高性能、高能效推理。使用 Voyager SDK 将 Ultralytics YOLO 模型 直接导出并部署到 Metis® AIPU。
Axelera AI 为边缘端的 计算机视觉 提供专用硬件加速,利用专有的数据流架构和 内存计算 技术,以低功耗实现高达 856 TOPS 的性能。
Link to this section选择合适的硬件#
Axelera AI 提供多种外形规格,以适应不同的部署限制。下表可帮助你为 Ultralytics YOLO 部署确定最佳硬件。
graph TD
A[Start: Select Deployment Target]:::start --> B{Device Type?}:::decide
B -->|Edge Server / Workstation| C{Throughput Needs?}:::decide
B -->|Embedded / Robotics| D{Space Constraints?}:::decide
B -->|Standalone / R&D| E[Dev Kits & Systems]:::proc
C -->|Max Density <br> 30+ Streams| F[**Metis PCIe x4**<br>856 TOPS]:::out
C -->|Standard PC <br> Low Profile| G[**Metis PCIe x1**<br>214 TOPS]:::out
D -->|Drones & Handhelds| H[**Metis M.2**<br>2280 M-Key]:::out
D -->|High Performance Embedded| I[**Metis M.2 MAX**<br>Extended Thermal]:::out
E -->|ARM-based All-in-One| J[**Metis Compute Board**<br>RK3588 + AIPU]:::out
E -->|Prototyping| K[**Arduino Portenta x8**<br>Integration Kit]:::out
click F "https://store.axelera.ai/"
click G "https://store.axelera.ai/"
click H "https://store.axelera.ai/"
click J "https://store.axelera.ai/"
classDef start fill:#4CAF50,color:#fff
classDef proc fill:#2196F3,color:#fff
classDef decide fill:#FF9800,color:#fff
classDef out fill:#9C27B0,color:#fffLink to this section硬件产品组合#
Axelera 硬件产品阵容经过优化,能够以高每瓦 FPS 效率运行 Ultralytics YOLO26 及旧版本模型。
Link to this section加速卡#
这些加速卡支持在现有的主机设备中进行 AI 加速,从而助力 棕地部署。
| 产品 | 外形规格 | 算力 | 性能 (INT8) | 目标应用 |
|---|---|---|---|---|
| Metis PCIe x4 | PCIe Gen3 x16 | 4x Metis AIPU | 856 TOPS | 高密度 视频分析,智慧城市 |
| Metis PCIe x1 | PCIe Gen3 x1 | 1x Metis AIPU | 214 TOPS | 工业 PC,零售 排队管理 |
| Metis M.2 | M.2 2280 M-Key | 1x Metis AIPU | 214 TOPS | 无人机、机器人、便携式医疗设备 |
| Metis M.2 MAX | M.2 2280 | 1x Metis AIPU | 214 TOPS | 需要高级热管理的环境 |
Link to this section集成系统#
为提供统包解决方案,Axelera 与各制造商合作,提供已针对 Metis AIPU 进行预验证的系统。
- Metis 计算板:一种独立的边缘设备,将 Metis AIPU 与 Rockchip RK3588 ARM CPU 配对。
- 工作站:来自 Dell (Precision 3460XE) 和 Lenovo (ThinkStation P360 Ultra) 的企业级塔式机。
- 工业 PC:来自 Advantech 和 Aetina 的加固型系统,专为 制造自动化 设计。
Link to this section支持的任务#
以下任务在 YOLOv8、YOLO11 和 YOLO26 模型中均受支持。
| 任务 | YOLOv8 | YOLO11 | YOLO26 |
|---|---|---|---|
| 目标检测 | ✅ | ✅ | ✅ |
| 姿态估计 | ✅ | ✅ | ✅ |
| 实例分割 | ✅ | ✅ | ⚠️ 仅限 Voyager SDK |
| 语义分割 | ❌ | ❌ | ✅ |
| 旋转边界框 (Oriented Bounding Boxes) | ✅ | ✅ | ✅ |
| 分类 | ✅ | ✅ | ✅ |
YOLO26 分割目前尚未通过 Ultralytics export 命令支持。需要使用 YOLO26-seg 的用户可以通过 Voyager SDK 使用 deploy.py 进行部署,这提供了一种用户空间的变通方案。原生编译器支持将在未来版本中添加。
Link to this section安装#
导出为 Axelera 格式需要:
- 操作系统:仅限 Linux (推荐 Ubuntu 22.04/24.04)
- 硬件:Axelera AI 加速器 (Metis 设备)
- Python:版本 3.10、3.11、3.12 和 3.13
- 系统依赖:
sudo apt install libgl1(OpenCV 所需,不包含在pip中)
Link to this sectionUltralytics 安装#
pip install ultralytics详细说明请参阅我们的 Ultralytics 安装指南。如果遇到困难,请查阅我们的 常见问题指南。
Link to this sectionAxelera 驱动程序安装#
-
添加 Axelera 存储库密钥:
sudo sh -c "curl -fsSL https://software.axelera.ai/artifactory/api/security/keypair/axelera/public | gpg --dearmor -o /etc/apt/keyrings/axelera.gpg" -
将存储库添加到 apt:
根据使用的操作系统从下方选择合适的代码片段。
# Ubuntu 22.04 sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu22 main' > /etc/apt/sources.list.d/axelera.list"# Ubuntu 24.04 sudo sh -c "echo 'deb [signed-by=/etc/apt/keyrings/axelera.gpg] https://software.axelera.ai/artifactory/axelera-apt-source ubuntu24 main' > /etc/apt/sources.list.d/axelera.list" -
安装 SDK 并加载驱动程序:
sudo apt update sudo apt install -y metis-dkms=1.5.5 sudo modprobe metis
上面安装的内核驱动程序与 Python SDK 包是分开的。当你升级 SDK 时(例如从 1.6 升级到 1.7),也请安装相应的驱动程序版本——驱动程序与运行时版本不同步会导致运行时错误。运行 axdevice(参见 设备健康检查)来检查已安装的驱动程序和设备状态。
第一次运行 yolo export format=axelera 或使用 Axelera 模型进行 yolo predict 时,系统将自动下载并安装 Axelera SDK 包。根据你的网络连接速度,这可能需要几分钟,且下载过程中不显示进度。如需提前手动安装:
pip install axelera-devkit==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simple
pip install axelera-rt==1.7.0 --extra-index-url https://software.axelera.ai/artifactory/api/pypi/axelera-pypi/simpleLink to this section将 YOLO 模型导出为 Axelera 格式#
Axelera 格式支持 导出 (Export)、预测 (Predict) 和 验证 (Validate) 模式。推理和验证在 Axelera Metis AIPU 硬件上运行。导出模型后,加载导出的模型即可运行推理或验证其准确性。
from ultralytics import YOLO
# Load a YOLO26 model
model = YOLO("yolo26n.pt")
# Export the model to Axelera format
model.export(format="axelera") # creates 'yolo26n_axelera_model'from ultralytics import YOLO
# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")
# Run inference
results = model("https://ultralytics.com/images/bus.jpg")from ultralytics import YOLO
# Load the exported Axelera model
model = YOLO("yolo26n_axelera_model")
# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")Axelera 编译器要求 numpy<2。如果你的环境中 numpy>=2,首次 yolo export 将自动降级该包,但由于过时的模块状态,导出将会失败。只需再次运行相同的导出命令即可——它在第二次运行时将会成功。
Link to this section导出参数#
| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
format | str | 'axelera' | Axelera Metis AIPU 硬件的目标格式。 |
imgsz | int 或 tuple | 640 | 模型输入的图像尺寸。 |
batch | int | 1 | 指定导出模型的推理批次大小,或导出模型在 predict 模式下并发处理的最大图像数量。 |
quantize | int 或 str | 8/auto | 量化精度。Axelera AIPU 要求使用 8 (INT8) 并自动启用。取代了已弃用的 half/int8 标志。请参阅 INT8 量化。 |
data | str | 'coco128.yaml' | 用于量化校准的 数据集 配置。 |
fraction | float | 1.0 | 用于校准的数据集比例(推荐 100-400 张图像)。 |
device | str | None | 导出设备:GPU (device=0) 或 CPU (device=cpu)。 |
有关所有导出选项,请参阅 导出模式文档。
Link to this section输出结构#
yolo26n_axelera_model/
├── yolo26n.axm # Axelera model file
├── compiler_config_final.toml # Compiler configuration used for the build
└── metadata.yaml # Model metadata (classes, image size, etc.)Link to this sectionAxelera AI 基准测试#
Metis AIPU 可最大化吞吐量并同时将能耗降至最低。
| 模型 | Metis PCIe FPS (每秒帧数) | Metis M.2 FPS (每秒帧数) |
|---|---|---|
| YOLOv8n | 847 | 771 |
| YOLO11n | 746 | 574 |
| YOLO26n | 648.6 | 484.9 |
基准测试基于 Axelera AI 数据。实际 FPS 取决于模型大小、批处理大小和输入分辨率。
Link to this section实际应用场景#
基于 Axelera 硬件的 Ultralytics YOLO 可实现先进的边缘计算解决方案:
- 智能零售:用于门店优化的实时 目标计数 和 热图分析。
- 工业安全:制造环境中的低延迟 个人防护装备 (PPE) 检测。
- 无人机分析:在无人机上进行高速 目标检测,用于 农业 和搜索救援。
- 交通系统:基于边缘的 车牌识别 和 速度估计。
Link to this section推荐工作流程#
- 训练 你的模型,使用 Ultralytics 训练模式
- 导出 (Export) 为 Axelera 格式,使用
model.export(format="axelera") - 验证 准确性,使用
yolo val以确认极小的量化损失 - 预测,使用
yolo predict进行定性验证 - 部署 (Deploy) 到无需 PyTorch 依赖的高性能端到端管道中 — 请参阅 YOLO on Voyager SDK 示例,了解使用
axelera-rt的可组合 Python 管道。
Link to this section设备健康检查#
验证你的 Axelera 设备是否工作正常:
# if axdevice cannot be found, please run at least one inference (see above) to ensure the required packages are installed
axdevice有关详细诊断信息,请参阅 AxDevice 文档。
Link to this section最高性能#
此集成为了兼容性使用了单核配置。对于需要最大吞吐量的生产环境,Axelera Voyager SDK 提供:
- 多核利用率(四核 Metis AIPU)
- 流式推理流水线
- 用于更高分辨率摄像头的分块推理
请查看 model-zoo 获取 FPS 基准测试,或 联系 Axelera 获取生产环境支持。
Link to this section已知问题#
- M.2 功率限制:大型或超大型模型在 M.2 加速器上可能会因供电限制而遇到运行时错误。
如需支持,请访问 Axelera Community。
Link to this section常见问题解答#
Link to this sectionAxelera 支持哪些 YOLO 版本?#
Voyager SDK 支持 YOLOv8、YOLO11 和 YOLO26 模型的导出。请参阅 支持的任务 以了解各模型的任务可用性。
Link to this section我可以部署自定义训练的模型吗?#
是的。只要使用受支持的层和操作,任何通过 Ultralytics 训练模式 训练的模型都可以导出为 Axelera 格式。
Link to this sectionINT8 量化如何影响精度?#
Axelera 的 Voyager SDK 会自动将模型量化为混合精度 AIPU 架构。对于大多数 目标检测 任务,性能提升(更高的 FPS,更低的功耗)远超对 mAP 的微小影响。根据模型大小,量化过程耗时从几秒到几小时不等。导出后运行 yolo val 以验证准确性。
Link to this section我应该使用多少张校准图像?#
我们建议使用 100 到 400 张图像。超过 400 张不会提供额外的好处,反而会增加量化时间。请尝试使用 100、200 和 400 张图像,以找到最佳平衡点。
Link to this section我可以在哪里找到 Voyager SDK?#
SDK、驱动程序和编译器工具可通过 Axelera Developer Portal 获取。