Ultralytics YOLO11 模型的 RKNN 导出
在嵌入式设备上部署计算机视觉模型时,尤其是在采用 Rockchip 处理器的设备上部署计算机视觉模型时,拥有兼容的模型格式至关重要。将 Ultralytics YOLO11将模型导出为 RKNN 格式可确保优化性能并与 Rockchip 硬件兼容。本指南将指导您将YOLO11 模型转换为 RKNN 格式,以便在 Rockchip 平台上高效部署。
备注
本指南已在基于 Rockchip RK3588 的Radxa Rock 5B和基于 Rockchip RK3566 的Radxa Zero 3W上进行了测试。预计本指南也适用于支持rknn-toolkit2的其他基于 Rockchip 的设备,如 RK3576、RK3568、RK3562、RV1103、RV1106、RV1103B、RV1106B 和 RK2118。
什么是 Rockchip?
Rockchip 以提供多功能、高能效解决方案而闻名,其设计的先进片上系统 (SoC) 可支持各种消费电子产品、工业应用和人工智能技术。凭借基于 ARM 的架构、内置神经处理单元 (NPU) 和高分辨率多媒体支持,Rockchip SoC 可为平板电脑、智能电视、物联网系统和边缘 AI 应用等设备提供尖端性能。Radxa、ASUS、Pine64、Orange Pi、Odroid、Khadas 和 Banana Pi 等公司提供基于 Rockchip SoC 的各种产品,进一步扩大了其在不同市场的覆盖范围和影响力。
RKNN 工具包
RKNN 工具包是由 Rockchip 提供的一套工具和库,用于促进在其硬件平台上部署深度学习模型。RKNN 或 Rockchip 神经网络是这些工具使用的专有格式。RKNN 模型旨在充分利用 Rockchip 的 NPU(神经处理单元)提供的硬件加速,确保在 RK3588、RK3566、RV1103、RV1106 等设备和其他由 Rockchip 支持的系统上执行人工智能任务时的高性能。
RKNN 模型的主要特点
RKNN 模型为在 Rockchip 平台上部署提供了多项优势:
- 针对 NPU 优化:RKNN 模型经过专门优化,可在 Rockchip 的 NPU 上运行,确保实现最高性能和效率。
- 低延迟:RKNN 格式最大限度地减少了推理延迟,这对边缘设备上的实时应用至关重要。
- 特定平台定制:RKNN 模型可根据特定的 Rockchip 平台进行定制,从而更好地利用硬件资源。
闪存操作系统到 Rockchip 硬件
拿到基于 Rockchip 的设备后,第一步就是刷新操作系统,使硬件能够启动进入工作环境。在本指南中,我们将介绍我们测试的两款设备(Radxa Rock 5B 和 Radxa Zero 3W)的入门指南。
导出到 RKNN:转换YOLO11 模型
将Ultralytics YOLO11 模型导出为 RKNN 格式,并使用导出的模型运行推理。
备注
请确保使用基于 X86 的 Linux PC 将模型导出到 RKNN,因为不支持在基于 Rockchip 的设备(ARM64)上导出。
安装
要安装所需的软件包,请运行
有关安装过程的详细说明和最佳实践,请查阅我们的Ultralytics 安装指南。在安装YOLO11 所需的软件包时,如果遇到任何困难,请查阅我们的常见问题指南,了解解决方案和技巧。
使用方法
备注
目前仅支持检测模型的导出。未来将支持更多模型。
使用方法
from ultralytics import YOLO
# Load the YOLO11 model
model = YOLO("yolo11n.pt")
# Export the model to RKNN format
# Here name can be one of rk3588, rk3576, rk3566, rk3568, rk3562, rv1103, rv1106, rv1103b, rv1106b, rk2118
model.export(format="rknn", args={"name": "rk3588"}) # creates '/yolo11n_rknn_model'
有关导出过程的更多详情,请访问Ultralytics 有关导出的文档页面。
部署导出的YOLO11 RKNN 模型
成功将Ultralytics YOLO11 模型导出为 RKNN 格式后,下一步就是在基于 Rockchip 的设备上部署这些模型。
安装
要安装所需的软件包,请运行
使用方法
使用方法
基准
YOLO11 下面的基准测试由Ultralytics 团队在基于 Rockchip RK3588 的 Radxa Rock 5B 上运行,其中包括 rknn
模型格式测量速度和精度。
模型 | 格式 | 现状 | 大小(MB) | mAP50-95(B) | 推理时间(毫秒/分钟) |
---|---|---|---|---|---|
YOLO11n | rknn | ✅ | 7.4 | 0.61 | 99.5 |
YOLO11s | rknn | ✅ | 20.7 | 0.741 | 122.3 |
YOLO11m | rknn | ✅ | 41.9 | 0.764 | 298.0 |
YOLO11l | rknn | ✅ | 53.3 | 0.72 | 319.6 |
YOLO11x | rknn | ✅ | 114.6 | 0.828 | 632.1 |
备注
使用 coco8 数据集对上述基准进行了验证
摘要
在本指南中,您将学习如何将Ultralytics YOLO11 模型导出为 RKNN 格式,以增强其在 Rockchip 平台上的部署。您还将了解 RKNN 工具包以及在边缘人工智能应用中使用 RKNN 模型的具体优势。
有关使用的更多详情,请访问RKNN 官方文档。
此外,如果您想了解有关Ultralytics YOLO11 集成的更多信息,请访问我们的集成指南页面。您将在那里找到大量有用的资源和见解。