Ultralytics YOLO NCNN 导出#

在计算能力有限的设备（例如移动设备或嵌入式系统）上部署计算机视觉模型，需要谨慎选择格式。使用经过优化的格式可确保资源受限的设备也能高效处理高级计算机视觉任务。

导出为 NCNN 格式后，你可以针对轻量级设备应用优化Ultralytics YOLO26模型。本指南介绍如何将模型转换为 NCNN 格式，以提升其在移动设备和嵌入式设备上的性能。

为什么导出为 NCNN？#

由腾讯开发的 NCNN 框架是一种高性能神经网络推理计算框架，专为移动平台优化，包括手机、嵌入式设备和 IoT 设备。NCNN 兼容多种平台，包括 Linux、Android、iOS 和 macOS。

NCNN 以其在移动 CPU 上的快速处理速度而闻名，并支持将深度学习模型快速部署到移动平台，是构建 AI 驱动应用的绝佳选择。

NCNN 模型的主要特性#

NCNN 模型提供多项关键特性，支持设备端机器学习，帮助开发者在移动设备、嵌入式设备和边缘设备上部署模型：

• 高效且高性能：NCNN 模型体积轻量，并针对 Raspberry Pi 等资源有限的移动设备和嵌入式设备进行了优化，同时在计算机视觉任务上保持较高的准确率。

• 量化：NCNN 支持量化技术，可降低模型权重和激活值的精度，从而提升性能并减少内存占用。

• 兼容性：NCNN 模型兼容包括 TensorFlow、Caffe 和 ONNX 在内的主流深度学习框架，让开发者能够利用现有模型和工作流。

• 易于使用：NCNN 提供易用的工具，可在不同格式之间转换模型，确保模型能够在不同开发环境之间顺畅互操作。

• Vulkan GPU 加速：NCNN 支持使用 Vulkan 在多个厂商的 GPU（包括 AMD、Intel 和其他非 NVIDIA GPU）上进行 GPU 加速推理，从而在更广泛的硬件上实现高性能部署。

使用 NCNN 的部署选项#

NCNN 模型兼容多种部署平台：

• 移动端部署：针对 Android 和 iOS 进行了优化，可无缝集成到移动应用中，实现高效的设备端推理。

• 嵌入式系统和 IoT 设备：非常适合 Raspberry Pi 和 NVIDIA Jetson 等资源受限的设备。如果按照 Ultralytics 指南在 Raspberry Pi 上执行标准推理无法满足需求，NCNN 可以显著提升性能。

• 桌面端和服务器部署：支持在 Linux、Windows 和 macOS 上进行部署，适用于开发、训练和评估工作流。

Vulkan GPU 加速#

NCNN 通过 Vulkan 支持 GPU 加速，可在包括 AMD、Intel 和其他非 NVIDIA 显卡在内的多种 GPU 上实现高性能推理。这对于以下场景尤其有用：

• 跨厂商 GPU 支持：与仅限于 NVIDIA GPU 的 CUDA 不同，Vulkan 支持多个 GPU 厂商。
• 多 GPU 系统：在配备多个 GPU 的系统中，可以使用 device="vulkan:0"、device="vulkan:1" 等选择特定的 Vulkan 设备。
• 边缘端和桌面端部署：在不支持 CUDA 的设备上利用 GPU 加速。

要使用 Vulkan 加速，请在运行推理时指定 Vulkan 设备：

from ultralytics import YOLO

# Load the exported NCNN model
ncnn_model = YOLO("./yolo26n_ncnn_model")

# Run inference with Vulkan GPU acceleration (first Vulkan device)
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:0")

# Use second Vulkan device in multi-GPU systems
results = ncnn_model("https://ultralytics.com/images/bus.jpg", device="vulkan:1")

支持的任务#

NCNN 导出支持全部七项 Ultralytics 任务。语义分割和深度估计仅适用于 YOLO26，因为它是唯一提供这些检测头的系列。

导出为 NCNN：转换你的 YOLO26 模型#

将 YOLO26 模型转换为 NCNN 格式，可以扩展模型兼容性和部署灵活性。

安装#

要安装所需的软件包，请运行：

# Install the required package for YOLO26
pip install ultralytics

如需详细说明和最佳实践，请参阅 Ultralytics 安装指南。如果遇到任何困难，请查阅我们的常见问题指南以获取解决方案。

使用方法#

所有 Ultralytics YOLO26 模型 都支持开箱即用的导出，因此可以轻松将其集成到你首选的部署工作流中。你可以查看支持的导出格式和配置选项完整列表，为你的应用选择最佳配置。

NCNN 格式支持导出、预测和验证模式。导出模型后，加载导出的模型即可运行推理或验证其准确率。

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to NCNN format
model.export(format="ncnn")  # creates 'yolo26n_ncnn_model'

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported NCNN model
model = YOLO("./yolo26n_ncnn_model")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

导出参数#

如需详细了解导出流程，请访问 Ultralytics 导出文档页面。

部署导出的 YOLO26 NCNN 模型#

将 Ultralytics YOLO26 模型导出为 NCNN 格式后，你可以使用上方使用示例中所示的 YOLO("yolo26n_ncnn_model/") 方法部署模型。如需特定平台的部署说明，请参阅以下资源：

• Android：为 Android 应用构建并集成 NCNN 模型，以执行目标检测。

• macOS：在 macOS 系统上部署 NCNN 模型。

• Linux：在包括 Raspberry Pi 和类似嵌入式系统在内的 Linux 设备上部署 NCNN 模型。

• Windows x64：使用 Visual Studio 在 Windows x64 上部署 NCNN 模型。

总结#

本指南介绍了将 Ultralytics YOLO26 模型导出为 NCNN 格式，以提升资源受限设备上的效率和速度。

如需更多详细信息，请参阅 NCNN 官方文档。如需其他导出选项，请访问我们的集成指南页面。

常见问题#