跳至内容

快速入门指南:使用 Seeed Studio reCameraUltralytics YOLO11

reCamera是在YOLO Vision 2024(YV24)上为人工智能社区推出的、 Ultralytics年度混合盛会 YOLO Vision 2024(YV24)上面向人工智能社区推出。它主要针对边缘人工智能应用而设计,提供强大的处理能力和轻松的部署。

它支持不同的硬件配置和开源资源,是在边缘建立原型和部署创新计算机视觉 解决方案的理想平台。

Seeed Studio reCamera

为什么选择 reCamera?

reCamera 系列专为边缘人工智能应用而设计,可满足开发人员和创新者的需求。以下是它脱颖而出的原因:

  • RISC-V 支持的性能:其核心是基于 RISC-V 架构的 SG200X 处理器,可在保持能效的同时为边缘人工智能任务提供卓越的性能。它能够每秒执行 1 万亿次运算(1 TOPS),轻松处理实时对象检测等要求苛刻的任务。

  • 优化的视频技术:支持先进的视频压缩标准,包括 H.264 和 H.265,可在不牺牲质量的前提下降低存储和带宽要求。HDR 成像、3D 降噪和镜头校正等功能确保了专业的视觉效果,即使在具有挑战性的环境中也不例外。

  • 高能效双处理:SG200X 处理复杂的人工智能任务,而较小的 8 位微控制器则管理较简单的操作,以节省电能,使 reCamera 成为电池供电或低功耗设置的理想选择。

  • 模块化和可升级设计:reCamera 采用模块化结构,由三个主要组件组成:核心板、传感器板和底板。这种设计使开发人员可以轻松地更换或升级组件,确保项目的灵活性和面向未来的发展。

reCamera 的快速硬件设置

请按照《reCamera 快速入门指南》进行设备的初始入门,如将设备连接到 WiFi 网络和访问Node-REDWeb UI 以快速预览检测结果。

使用预装的YOLO11 模型进行推理

reCamera 预装了四种Ultralytics YOLO11 型号,您只需在 Node-RED 面板上选择所需的型号即可。

步骤 1:如果您已将 reCamera 连接到网络,请在浏览器上输入 reCamera 的 IP 地址以打开 Node-RED 面板。如果您通过 USB 将 reCamera 连接到电脑,可以输入 192.168.42.1.在这里,您会看到默认加载了 YOLO11n 检测模型。

reCamera YOLO11n 演示

步骤 2:点击右下角的绿色圆圈,进入 Node-RED 流程编辑器。

步骤 3:点击 model 节点,然后点击 On Device.

Node-RED 模型选择

第 4 步: 从预装的四种不同 YOLO11n 型号中选择一种,然后点击 Done.例如,在这里我们将选择 YOLO11n Pose

Node-RED YOLO11n-姿势选择

步骤 6:点击 Deploy 完成部署后,单击 Dashboard

部署 reCamera Node-RED

现在,您将看到 YOLO11n 姿势估计模型的实际操作!

reCamera YOLO11n-pose 演示

导出到 cvimodel:转换YOLO11 模型

如果您想使用经过定制培训的YOLO11 型号并与 reCamera 配合使用,请按照以下步骤操作。

在这里,我们将首先转换 PyTorch 将模型 ONNX 然后将其转换为 MLIR 模型格式。最后 MLIR 将转换为 cvimodel 以便在设备上推断

reCamera 工具链

出口到ONNX

将Ultralytics YOLO11 模型导出为ONNX 模型格式

安装

要安装所需的软件包,请运行

安装

pip install ultralytics

有关安装过程的详细说明和最佳实践,请查阅我们的Ultralytics 安装指南。在安装YOLO11 所需的软件包时,如果遇到任何困难,请查阅我们的常见问题指南,了解解决方案和技巧。

使用方法

使用方法

from ultralytics import YOLO

# Load the YOLO11 model
model = YOLO("yolo11n.pt")

# Export the model to ONNX format
model.export(format="onnx", opset=14)  # creates 'yolo11n.onnx'
# Export a YOLO11n PyTorch model to ONNX format
yolo export model=yolo11n.pt format=onnx opset=14 # creates 'yolo11n.onnx'

有关导出过程的更多详情,请访问Ultralytics 有关导出的文档页面

将ONNX 导出到 MLIR 和 cvimodel

获取ONNX 模型后,请参阅 "转换和量化人工智能模型"页面,将ONNX 模型转换为 MLIR,然后再转换为 cvimodel。

备注

我们正在积极将 reCamera 支持直接添加到Ultralytics 软件包中,很快就会推出。在此期间,请查看我们的博客:将Ultralytics YOLO 模型与 Seeed Studio 的 reCamera 整合,了解更多详情。

基准

即将推出

reCamera 的实际应用

reCamera 先进的计算机视觉功能和模块化设计使其适用于广泛的实际应用场景,帮助开发人员和企业轻松应对独特的挑战。

  • 跌倒检测:reCamera 专为安全和医疗保健应用而设计,可实时检测跌倒,非常适合需要快速反应的老人护理、医院和工业环境。

  • 个人防护设备检测:reCamera 可用于实时检测个人防护设备的合规性,从而确保工作场所的安全。它有助于识别工人是否佩戴头盔、手套或其他安全装备,从而降低工业环境中的风险。

个人防护设备检测

  • 火灾探测:reCamera 的实时处理功能使其成为工业和住宅区火灾探测的绝佳选择,可提供早期预警,防止潜在灾难的发生。

  • 废物检测:它还可用于废物检测,是环境监测和废物管理的绝佳工具。

  • 汽车零件检测:在制造和汽车行业,它有助于检测和分析汽车零件,以进行质量控制、装配线监控和库存管理。

汽车零部件检测

常见问题

如何首次安装和设置 reCamera?

要首次设置 reCamera,请按照以下步骤操作:

  1. 将 reCamera 连接到电源
  2. 使用reCamera 快速入门指南将其连接到 WiFi 网络
  3. 在网络浏览器中输入设备 IP 地址访问 Node-RED 网络用户界面(或使用 192.168.42.1 如果通过 USB 连接)
  4. 通过仪表板界面立即开始使用预装的YOLO11 型号

我可以在 reCamera 中使用经过定制培训的YOLO11 模型吗?

是的,您可以在 reCamera 中使用经过定制培训的YOLO11 模型。过程包括

  1. 使用以下命令将PyTorch 模型导出为ONNX 格式 model.export(format="onnx", opset=14)
  2. 将ONNX 模型转换为 MLIR 格式
  3. 将 MLIR 转换为 cvimodel 格式,以便在设备上进行推理
  4. 将转换后的模型加载到 reCamera 上

有关详细说明,请参阅转换和量化 AI 模型指南。

reCamera 与传统 IP 摄像机有何不同?

与需要外部硬件进行处理的传统 IP 摄像机不同,reCamera:

  • 通过 RISC-V SG200X 处理器直接在设备上集成人工智能处理功能
  • 为实时边缘人工智能应用提供 1 TOPS 的计算能力
  • 采用模块化设计,可进行组件升级和定制
  • 支持 H.264/H.265 压缩、HDR 成像和 3D 降噪等先进视频技术
  • 预装了Ultralytics YOLO11 型号,可立即使用

这些功能使 reCamera 成为边缘人工智能应用的独立解决方案,无需额外的外部处理硬件。

📅创建于 2 个月前 ✏️已更新 4 天前

评论