Ultralytics YOLO NCNN 导出#

在计算能力有限的设备（如移动设备或嵌入式系统）上部署计算机视觉模型需要谨慎选择格式。使用优化的格式可以确保即使是资源受限的设备也能高效处理高级计算机视觉任务。

导出为 NCNN 格式可让你针对基于设备的轻量级应用优化你的Ultralytics YOLO26模型。本指南介绍了如何将模型转换为 NCNN 格式，以提升其在移动和嵌入式设备上的性能。

为什么要导出为 NCNN？#

由腾讯开发的NCNN框架是一个高性能神经网络推理计算框架，专门针对移动平台（包括手机、嵌入式设备和物联网设备）进行了优化。NCNN 兼容多种平台，包括 Linux、Android、iOS 和 macOS。

NCNN 以其在移动 CPU 上的快速处理速度而闻名，能够将深度学习模型快速部署到移动平台，使其成为构建 AI 驱动应用的绝佳选择。

NCNN 模型的主要特性#

NCNN 模型提供了几项核心功能，支持端侧机器学习，帮助开发者在移动设备、嵌入式设备和边缘设备上部署模型：

• 高效且高性能：NCNN 模型轻量化，专为 Raspberry Pi 等资源有限的移动和嵌入式设备优化，同时在计算机视觉任务中保持高准确率。

• 量化：NCNN 支持量化，这是一种降低模型权重和激活值精度以提升性能并减少内存占用的技术。

• 兼容性：NCNN 模型兼容主流深度学习框架，包括 TensorFlow、Caffe 和 ONNX，允许开发者利用现有的模型和工作流。

• 易用性：NCNN 提供了用户友好的工具，用于在不同格式之间转换模型，确保了不同开发环境间的顺畅互操作性。

• Vulkan GPU 加速：NCNN 支持 Vulkan 进行 GPU 加速推理，适用于 AMD、Intel 以及其他非 NVIDIA 的 GPU，能够在更广泛的硬件上实现高性能部署。

使用 NCNN 的部署选项#

NCNN 模型兼容多种部署平台：

• 移动端部署：针对 Android 和 iOS 进行了优化，能够无缝集成到移动应用中，实现高效的设备端推理。

• 嵌入式系统和物联网设备：非常适合 Raspberry Pi 和 NVIDIA Jetson 等资源受限的设备。如果在 Raspberry Pi 上使用Ultralytics 指南进行标准推理无法满足需求，NCNN 可以带来显著的性能提升。

• 桌面端和服务器部署：支持在 Linux、Windows 和 macOS 上进行部署，以满足开发、训练和评估工作流的需求。

Vulkan GPU 加速#

NCNN 通过 Vulkan 支持 GPU 加速，从而在包括 AMD、Intel 和其他非 NVIDIA 显卡在内的各种 GPU 上实现高性能推理。这在以下场景中特别有用：

• 跨厂商 GPU 支持：与仅限于 NVIDIA GPU 的 CUDA 不同，Vulkan 可在多个 GPU 厂商的硬件上运行。
• 多 GPU 系统：在具有多个 GPU 的系统中使用 device="vulkan:0"、device="vulkan:1" 等选择特定的 Vulkan 设备。
• 边缘和桌面端部署：在没有 CUDA 的设备上利用 GPU 加速。

要使用 Vulkan 加速，请在运行推理时指定 Vulkan 设备：

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

支持的任务#

NCNN 导出支持所有七个 Ultralytics 任务。语义分割和深度估计仅在 YOLO26（唯一提供这些检测头的系列）上可用。

导出为 NCNN：转换你的 YOLO26 模型#

你可以通过将 YOLO26 模型转换为 NCNN 格式来扩展模型的兼容性和部署灵活性。

安装#

要安装所需的软件包，请运行：

# Install the required package for YOLO26
pip install ultralytics

有关详细说明和最佳实践，请参阅 Ultralytics 安装指南。如果遇到任何困难，请查阅我们的常见问题指南以获取解决方案。

用法#

所有Ultralytics YOLO26 模型都旨在开箱即用支持导出，这使得将它们集成到你首选的部署工作流中变得轻而易举。你可以查看支持的导出格式和配置选项完整列表，为你的应用选择最佳设置。

NCNN 格式支持导出、预测和验证模式。导出模型后，加载导出的模型以运行推理或验证其准确率。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates '/yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

导出参数#

有关导出过程的更多详细信息，请访问 Ultralytics 关于导出的文档页面。

部署已导出的 YOLO26 NCNN 模型#

将 Ultralytics YOLO26 模型导出为 NCNN 格式后，你可以使用上述用法示例中展示的 YOLO("yolo26n_ncnn_model/") 方法进行部署。有关特定平台的部署说明，请参考以下资源：

• Android：构建和集成 NCNN 模型，用于 Android 应用中的目标检测。

• macOS：在 macOS 系统上部署 NCNN 模型。

• Linux：在 Linux 设备（包括 Raspberry Pi 和类似嵌入式系统）上部署 NCNN 模型。

• Windows x64：使用 Visual Studio 在 Windows x64 上部署 NCNN 模型。

总结#

本指南介绍了如何将 Ultralytics YOLO26 模型导出为 NCNN 格式，以提高其在资源受限设备上的效率和速度。

有关更多详细信息，请参阅官方 NCNN 文档。有关其他导出选项，请访问我们的集成指南页面。

常见问题解答#