Intel OpenVINO 导出

在本指南中，我们将介绍如何将 YOLO11 模型导出为 OpenVINO 格式，该格式可提供高达 3 倍的 CPU 速度提升，以及加速 Intel GPU 和 NPU 硬件上的 YOLO 推理。

OpenVINO 是 Open Visual Inference & Neural Network Optimization 工具包的缩写，是一个用于优化和部署 AI 推理模型的综合工具包。即使名称中包含 Visual，OpenVINO 也支持各种其他任务，包括语言、音频、时间序列等。

观看： 如何将Ultralytics YOLO11 输出为Intel OpenVINO 格式以加快推理速度 🚀

使用示例

将 YOLO11n 模型导出为 OpenVINO 格式，并使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

导出参数

有关导出过程的更多详细信息，请访问Ultralytics 文档页面上的导出。

OpenVINO 的优势

1. 性能：OpenVINO 通过利用 Intel CPU、集成和独立 GPU 以及 FPGA 的强大功能，提供高性能推理。
2. 对异构执行的支持：OpenVINO 提供了一个 API，可以一次编写并部署在任何受支持的 Intel 硬件（CPU、GPU、FPGA、VPU 等）上。
3. 模型优化器：OpenVINO 提供了一个模型优化器，可以从流行的深度学习框架（如 PyTorch、TensorFlow、TensorFlow Lite、Keras、ONNX、PaddlePaddle 和 Caffe）导入、转换和优化模型。
4. 易用性：该工具包包含超过 80 个教程笔记本（包括 YOLOv8 优化），用于教授该工具包的不同方面。

OpenVINO 导出结构

将模型导出为 OpenVINO 格式后，会生成一个包含以下内容的目录：

1. XML 文件：描述网络拓扑。
2. BIN 文件：包含权重和偏置二进制数据。
3. 映射文件：保存原始模型输出 tensors 到 OpenVINO tensor 名称的映射。

您可以使用这些文件通过 OpenVINO 推理引擎运行推理。

在部署中使用 OpenVINO 导出

一旦您的模型成功导出为 OpenVINO 格式，您有两种主要的运行推理的选项：

1. 使用 ultralytics package，它提供了一个高级 API 并封装了 OpenVINO Runtime。

2. 使用原生 openvino package，用于对推理行为进行更高级或自定义的控制。

使用Ultralytics进行推理

通过 ultralytics 包，您可以轻松地使用导出的 OpenVINO 模型，通过 predict 方法运行推理。您还可以指定目标设备（例如， intel:gpu, intel:npu, intel:cpu）使用 device 参数。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

当您不需要完全控制推理流程时，此方法非常适合快速原型设计或部署。

使用OpenVINO Runtime进行推理

OpenVINO Runtime 提供了一个统一的 API，用于在所有受支持的 Intel 硬件上进行推理。它还提供高级功能，例如在 Intel 硬件上进行负载均衡和异步执行。有关运行推理的更多信息，请参阅 YOLO11 notebooks。

请记住，您需要 XML 和 BIN 文件以及任何特定于应用程序的设置（如输入大小、归一化比例因子等），才能正确设置模型并将其与 Runtime 一起使用。

在您的部署应用程序中，您通常会执行以下步骤：

1. 通过创建以下对象初始化 OpenVINO： core = Core().
2. 使用以下方法加载模型： core.read_model() 方法。
3. 使用以下函数编译模型： core.compile_model() 函数。
4. 准备输入（图像、文本、音频等）。
5. 使用以下方法运行推理： compiled_model(input_data).

有关更详细的步骤和代码片段，请参阅 OpenVINO 文档或 API 教程。

OpenVINO YOLO11 基准测试

Ultralytics 团队对 YOLO11 进行了跨各种模型格式和精度的基准测试，评估了与 OpenVINO 兼容的不同 Intel 设备上的速度和准确性。

Intel Core CPU

Intel® Core® 系列是 Intel 的一系列高性能处理器。该系列包括 Core i3（入门级）、Core i5（中端）、Core i7（高端）和 Core i9（极致性能）。每个系列都满足不同的计算需求和预算，从日常任务到要求严苛的专业工作负载。随着每一代新产品的推出，性能、能源效率和功能都会得到改进。

以下基准测试在 FP32 精度下，于第 12 代 Intel® Core® i9-12900KS CPU 上运行。

Intel® Core™ Ultra

Intel® Core™ Ultra™ 系列代表了高性能计算的新标杆，旨在满足现代用户不断变化的需求——从游戏玩家和创作者到利用 AI 的专业人士。这一代产品不仅仅是传统的 CPU 系列；它在单个芯片中结合了强大的 CPU 核心、集成的 GPU 高性能能力和专用的神经处理单元 (NPU)，为各种密集型计算工作负载提供统一的解决方案。

Intel® Core Ultra™ 架构的核心是混合设计，可在传统处理任务、GPU 加速工作负载和 AI 驱动的操作中实现卓越性能。NPU 的加入增强了设备上的 AI 推理能力，从而在各种应用中实现更快、更高效的机器学习和数据处理。

Core Ultra™ 系列包括专为不同性能需求量身定制的各种型号，其选项范围从节能设计到以“H”标识的高功率型号，后者非常适合需要强大计算能力的笔记本电脑和紧凑型外形。在整个产品线中，用户都可以从 CPU、GPU 和 NPU 集成的协同作用中受益，从而提供卓越的效率、响应能力和多任务处理能力。

作为 Intel 不断创新的一部分，Core Ultra™ 系列为面向未来的计算设定了新标准。该系列提供多种型号，并且未来还将推出更多型号，这突显了 Intel 致力于为下一代智能、AI 增强型设备提供尖端解决方案的承诺。

以下基准测试在 FP32 和 INT8 精度下，于 Intel® Core™ Ultra™ 7 258V 和 Intel® Core™ Ultra™ 7 265K 上运行。

Intel® Core™ Ultra™ 7 258V

基准测试

集成式 Intel® Arc™ GPUIntel® Lunar Lake CPU集成式 Intel® AI Boost NPU

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

Intel® Core™ Ultra™ 7 265K

基准测试

集成式 Intel® Arc™ GPUIntel® Arrow Lake CPU集成式 Intel® AI Boost NPU

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

详细的基准测试结果

模型	格式	精确度	状态	大小 (MB)	metrics/mAP50-95(B)	推理时间 (ms/im)
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

Intel® Arc GPU

Intel® Arc™ 是 Intel 专为高性能游戏、内容创作和 AI 工作负载而设计的独立显卡系列。Arc 系列采用先进的 GPU 架构，支持实时光线追踪、AI 增强图形和高分辨率游戏。Intel® Arc™ 注重性能和效率，旨在与其他领先的 GPU 品牌竞争，同时提供硬件加速 AV1 编码和对最新图形 API 的支持等独特功能。

以下基准测试在 FP32 和 INT8 精度下，于 Intel Arc A770 和 Intel Arc B580 上运行。

Intel Arc A770

Intel Arc B580

复现我们的结果

要在所有导出格式上重现上述 Ultralytics 基准测试，请运行以下代码：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

结论

基准测试结果清楚地表明了将 YOLO11 模型导出为 OpenVINO 格式的优势。在不同的模型和硬件平台上，OpenVINO 格式在推理速度方面始终优于其他格式，同时保持了相当的准确性。

这些基准测试强调了 OpenVINO 作为部署深度学习模型的有效性。通过将模型转换为 OpenVINO 格式，开发人员可以获得显著的性能提升，从而更轻松地在实际应用中部署这些模型。

有关使用 OpenVINO 的更多详细信息和说明，请参阅官方 OpenVINO 文档。

常见问题

如何将 YOLO11 模型导出为 OpenVINO 格式？

将 YOLO11 模型导出为 OpenVINO 格式可以显着提高 CPU 速度，并支持 Intel 硬件上的 GPU 和 NPU 加速。要导出，您可以使用 python 或 CLI，如下所示：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

有关更多信息，请参阅导出格式文档。

将 OpenVINO 与 YOLO11 模型结合使用有什么好处？

将 Intel 的 OpenVINO 工具包与 YOLO11 模型结合使用可带来诸多好处：

1. 性能：在 CPU 推理上实现高达 3 倍的加速，并利用 Intel GPU 和 NPU 进行加速。
2. 模型优化器：转换、优化和执行来自 PyTorch、TensorFlow 和 ONNX 等常用框架的模型。
3. 易用性：提供 80 多个教程笔记本，以帮助用户入门，其中包括 YOLO11 的教程。
4. 异构执行：使用统一的 API 在各种 Intel 硬件上部署模型。

有关详细的性能比较，请访问我们的基准测试部分。

如何使用导出到 OpenVINO 的 YOLO11 模型运行推理？

将 YOLO11n 模型导出为 OpenVINO 格式后，您可以使用 Python 或 CLI 运行推理：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

有关更多详细信息，请参阅我们的预测模式文档。

对于 OpenVINO 导出，为什么我应该选择 Ultralytics YOLO11 而不是其他模型？

Ultralytics YOLO11 经过优化，可实现高精度和速度的实时对象检测。具体来说，当与 OpenVINO 结合使用时，YOLO11 提供：

• 在 Intel CPU 上的速度提升高达 3 倍
• 在 Intel GPU 和 NPU 上无缝部署
• 在各种导出格式中保持一致且具有可比性的准确性

如需深入的性能分析，请查看我们在不同硬件上的详细 YOLO11 基准测试。

我可以在不同的格式（如 PyTorch、ONNX 和 OpenVINO）上对 YOLO11 模型进行基准测试吗？

是的，您可以对各种格式的 YOLO11 模型进行基准测试，包括 PyTorch、TorchScript、ONNX 和 OpenVINO。 使用以下代码片段在您选择的数据集上运行基准测试：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

有关详细的基准测试结果，请参阅我们的基准测试部分和导出格式文档。

📅 创建于 1 年前 ✏️ 更新于 6 天前

评论