Intel OpenVINO 出口

在本指南中，我们介绍出口YOLO11 模型转换为OpenVINO格式，可以提供高达 3 倍的CPU加速，以及加速YOLO 推断Intel GPU和NPU硬件。

OpenVINOOpen Visual Inference &Neural NetworkOptimization toolkit 的缩写，是一个用于优化和部署人工智能推理模型的综合工具包。虽然名称中包含 Visual，但OpenVINO 还支持语言、音频、时间序列等各种附加任务。

观看： 如何导出和优化Ultralytics YOLOv8 模型，以便利用OpenVINO 进行推理。

使用示例

将 YOLO11n 模型导出到OpenVINO 格式化并使用导出的模型运行推理。

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
results = ov_model("https://ultralytics.com/images/bus.jpg", device="intel:gpu")

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

# Run inference with specified device, available devices: ["intel:gpu", "intel:npu", "intel:cpu"]
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg' device="intel:gpu"

出口参数

有关导出过程的更多详情，请访问Ultralytics 有关导出的文档页面。

的好处OpenVINO

1. 性能：OpenVINO 利用Intel CPU、集成和独立 GPU 以及 FPGA 的强大功能提供高性能推理。
2. 支持异构执行：OpenVINO 提供 API，只需编写一次，即可在任何支持的Intel 硬件（CPU,GPU, FPGA, VPU 等）上部署。
3. 模型优化器：OpenVINO 提供了一个模型优化器，可从PyTorch 等流行的深度学习框架导入、转换和优化模型、 TensorFlowTensorFlow Lite、Keras、ONNX 、PaddlePaddle 和 Caffe。
4. 易用性：工具包附带80 多本教程笔记本（包括YOLOv8 优化），教授工具包的不同方面。

OpenVINO 出口结构

将模型导出为OpenVINO 格式时，会生成一个包含以下内容的目录：

1. XML 文件：描述网络拓扑结构。
2. BIN 文件：包含weights and biases 二进制数据。
3. 映射文件：保存原始模型输出张量到OpenVINO tensor 名称的映射。

您可以使用这些文件通过OpenVINO 推理引擎运行推理。

在部署中使用OpenVINO 导出

一旦你的模型成功导出到OpenVINO 格式，您有两个主要选项来运行推理：

1. 使用 ultralytics 包，它提供了高级 API 并包装了OpenVINO 运行时。

2. 使用原生 openvino 用于对推理行为进行更高级或定制控制的包。

推理Ultralytics

这ultralytics 包允许您使用导出的OpenVINO 通过 predict 方法建模。您还可以指定目标设备（例如， intel:gpu, intel:npu, intel:cpu）使用设备参数。

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")  # the path of your exported OpenVINO model
# Run inference with the exported model
ov_model.predict(device="intel:gpu")  # specify the device you want to run inference on

当您不需要完全控制推理管道时，这种方法非常适合快速原型设计或部署。

推理OpenVINO 运行时

这openvino 运行时提供统一的 API 来推理所有支持的Intel 硬件。它还提供高级功能，例如跨平台的负载平衡。 Intel 硬件和异步执行。有关运行推理的更多信息，请参阅YOLO11笔记本。

请记住，您需要 XML 和 BIN 文件以及任何特定于应用程序的设置，如输入尺寸、用于归一化的比例因子等，以便正确设置模型并将其用于 Runtime。

在部署应用程序中，通常需要执行以下步骤：

1. 初始化OpenVINO ，创建 core = Core().
2. 使用 core.read_model() 方法。
3. 使用 core.compile_model() 功能。
4. 准备输入内容（图像、文本、音频等）。
5. 使用 compiled_model(input_data).

有关更详细的步骤和代码片段，请参阅OpenVINO 文档或API 教程。

OpenVINO YOLO11 基准测试

这Ultralytics 团队基准测试YOLO11 跨越各种模型格式和精度，评估不同模型的速度和准确性Intel 兼容的设备OpenVINO 。

Intel 核心CPU

英特尔® 酷睿® 系列是Intel 推出的一系列高性能处理器。该系列包括酷睿 i3（入门级）、酷睿 i5（中端）、酷睿 i7（高端）和酷睿 i9（极致性能）。从日常任务到苛刻的专业工作负载，每个系列都能满足不同的计算需求和预算。每一代产品在性能、能效和功能方面都有改进。

以下基准测试基于第 12 代英特尔® 酷睿® i9-12900KS CPU 以 FP32 精度。

英特尔® 酷睿™ 超

英特尔® 酷睿™ 至尊™ 系列代表了高性能计算领域的全新标杆，旨在满足现代用户不断变化的需求——从游戏玩家、创作者到运用人工智能的专业人士。新一代产品线不仅仅是传统的CPU 系列；它结合了强大的CPU 核心，集成高性能GPU 功能以及单个芯片内的专用神经处理单元（NPU），为多样化和密集型计算工作负载提供统一的解决方案。

英特尔® 酷睿 Ultra™ 架构的核心是混合设计，可在传统处理任务中实现卓越性能， GPU加速工作负载和 AI 驱动的运营。NPU 的加入增强了设备上的 AI 推理能力，使各种应用能够更快、更高效地进行机器学习和数据处理。

Core Ultra™ 系列包含多种型号，可满足不同的性能需求，从节能设计到标有“H”的高功率型号，应有尽有，非常适合需要强大计算能力的笔记本电脑和紧凑型设备。用户可从整个产品线的协同效应中受益CPU ， GPU以及 NPU 集成，提供卓越的效率、响应能力和多任务处理能力。

作为Intel Core Ultra™ 系列秉承持续创新，为面向未来的计算树立了全新标杆。该系列拥有多种型号可供选择，未来还将推出更多型号，彰显了Intel致力于为下一代智能、人工智能增强设备提供尖端解决方案。

以下基准测试在英特尔® 酷睿™ Ultra™ 7 258V 和英特尔® 酷睿™ Ultra™ 7 265K 上以 FP32 和 INT8 精度运行。

英特尔® 酷睿™ 超极本 7 258V

基准

集成英特尔® 弧形™ 技术GPU英特尔® 月亮湖CPU集成英特尔® AI Boost NPU

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5068	11.84
YOLO11n	OpenVINO	INT8	✅	3.3	0.4969	11.24
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5797	14.82
YOLO11s	OpenVINO	INT8	✅	9.8	0.5751	12.88
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6306	22.94
YOLO11m	OpenVINO	INT8	✅	20.2	0.6126	17.85
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6365	27.34
YOLO11l	OpenVINO	INT8	✅	25.7	0.6242	20.83
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6890	39.09
YOLO11x	OpenVINO	INT8	✅	55.9	0.6856	30.60

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	32.55
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	22.98
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	98.38
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	52.84
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	275.74
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	132.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6361	348.97
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	171.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	783.16
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	346.82

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5052	32.27
YOLO11n	OpenVINO	FP32	✅	10.4	0.5085	8.33
YOLO11n	OpenVINO	INT8	✅	3.3	0.5019	8.91
YOLO11s	PyTorch	FP32	✅	18.4	0.5776	92.09
YOLO11s	OpenVINO	FP32	✅	36.4	0.5788	9.72
YOLO11s	OpenVINO	INT8	✅	9.8	0.5710	10.58
YOLO11m	PyTorch	FP32	✅	38.8	0.6262	277.24
YOLO11m	OpenVINO	FP32	✅	77.1	0.6301	19.41
YOLO11m	OpenVINO	INT8	✅	20.2	0.6124	18.26
YOLO11l	PyTorch	FP32	✅	49.0	0.6361	348.97
YOLO11l	OpenVINO	FP32	✅	97.3	0.6362	23.70
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	21.40
YOLO11x	PyTorch	FP32	✅	109.3	0.6984	666.07
YOLO11x	OpenVINO	FP32	✅	217.8	0.6892	43.91
YOLO11x	OpenVINO	INT8	✅	55.9	0.6890	34.04

英特尔® 酷睿™ Ultra™ 7 265K

基准

集成英特尔® 弧形™ 技术GPU英特尔®箭湖CPU集成英特尔® AI Boost NPU

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5079	13.13
YOLO11n	OpenVINO	INT8	✅	3.3	0.4976	8.86
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5808	18.26
YOLO11s	OpenVINO	INT8	✅	9.8	0.5726	13.24
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	43.50
YOLO11m	OpenVINO	INT8	✅	20.2	0.6137	20.90
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6371	54.52
YOLO11l	OpenVINO	INT8	✅	25.7	0.6226	27.36
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6884	112.76
YOLO11x	OpenVINO	INT8	✅	55.9	0.6900	52.06

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5077	15.04
YOLO11n	OpenVINO	INT8	✅	3.3	0.4980	11.60
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5782	33.45
YOLO11s	OpenVINO	INT8	✅	9.8	0.5745	20.64
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6307	81.15
YOLO11m	OpenVINO	INT8	✅	20.2	0.6172	44.63
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6409	103.77
YOLO11l	OpenVINO	INT8	✅	25.7	0.6240	58.00
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6900	208.37
YOLO11x	OpenVINO	INT8	✅	55.9	0.6897	113.04

详细基准结果

模型	格式	精度	现状	大小（MB）	公制/mAP50-95(B)	推理时间（毫秒/分钟）
YOLO11n	PyTorch	FP32	✅	5.4	0.5072	16.29
YOLO11n	OpenVINO	FP32	✅	10.4	0.5075	8.02
YOLO11n	OpenVINO	INT8	✅	3.3	0.3656	9.28
YOLO11s	PyTorch	FP32	✅	18.4	0.5771	39.61
YOLO11s	OpenVINO	FP32	✅	36.4	0.5801	13.12
YOLO11s	OpenVINO	INT8	✅	9.8	0.5686	13.12
YOLO11m	PyTorch	FP32	✅	38.8	0.6258	100.65
YOLO11m	OpenVINO	FP32	✅	77.1	0.6310	29.88
YOLO11m	OpenVINO	INT8	✅	20.2	0.6111	26.32
YOLO11l	PyTorch	FP32	✅	49.0	0.6367	131.37
YOLO11l	OpenVINO	FP32	✅	97.3	0.6356	37.08
YOLO11l	OpenVINO	INT8	✅	25.7	0.6245	30.81
YOLO11x	PyTorch	FP32	✅	109.3	0.6990	212.45
YOLO11x	OpenVINO	FP32	✅	217.8	0.6894	68.48
YOLO11x	OpenVINO	INT8	✅	55.9	0.6417	49.76

英特尔®GPU

英特尔® Arc™是Intel专为高性能游戏、内容创建和人工智能工作负载而设计的独立显卡系列。Arc 系列采用先进的GPU 架构，支持实时光线追踪、AI 增强图形和高分辨率游戏。英特尔® Arc™ 专注于性能和效率，旨在与其他领先的GPU 品牌竞争，同时提供独特的功能，如硬件加速的 AV1 编码和对最新图形 API 的支持。

以下基准测试在Intel Arc A770 和Intel Arc B580 上以 FP32 和 INT8 精度运行。

Intel Arc A770

Intel Arc B580

复制我们的结果

要在所有导出格式上重现上述Ultralytics 基准，请运行此代码：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
results = model.benchmark(data="coco128.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO128 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco128.yaml

结论

基准测试结果清楚地证明了出口YOLO11 模型到OpenVINO 格式。在不同的型号和硬件平台上， OpenVINO 格式在推理速度方面始终优于其他格式，同时保持相当的准确性。

这些基准测试凸显了OpenVINO 作为深度学习模型部署工具的有效性。通过将模型转换为OpenVINO 格式，开发人员可以显著提高性能，从而更容易在实际应用中部署这些模型。

有关使用OpenVINO 的详细信息和说明，请参阅 OpenVINO 官方文档。

常见问题

如何导出YOLO11 模型OpenVINO 格式？

出口YOLO11 模型OpenVINO 格式可以显著增强CPU 速度和启用GPU 和 NPU 加速Intel 硬件。要导出，您可以使用Python 或者CLI 如下图所示：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolo11n_openvino_model/'

# Export a YOLO11n PyTorch model to OpenVINO format
yolo export model=yolo11n.pt format=openvino # creates 'yolo11n_openvino_model/'

更多信息，请参阅导出格式文档。

使用OpenVINO 和YOLO11 模型？

使用Intel的OpenVINO 工具包YOLO11 模型具有多种优势：

1. 性能：CPU 推理速度提高 3 倍，并利用Intel GPU 和 NPU 进行加速。
2. 模型优化器：转换、优化和执行来自PyTorch 、TensorFlow 和ONNX 等流行框架的模型。
3. 易于使用：有超过 80 个教程笔记本可供用户入门，其中包括YOLO11 。
4. 异构执行：使用统一的应用程序接口在各种Intel 硬件上部署模型。

有关详细的性能比较，请访问我们的基准测试部分。

我如何使用YOLO11 模型导出至OpenVINO ？

将 YOLO11n 模型导出到OpenVINO 格式，您可以使用Python 或者CLI ：

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolo11n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolo11n_openvino_model source='https://ultralytics.com/images/bus.jpg'

更多详情，请参阅我们的预测模式文档。

我为什么要选择Ultralytics YOLO11 比其他模型OpenVINO 出口？

Ultralytics YOLO11 针对实时物体检测进行了优化，具有高精度和高速度。具体来说，当与OpenVINO ， YOLO11 提供：

• 在Intel CPU 上的运行速度最多可提高 3 倍
• 在Intel GPU 和 NPU 上无缝部署
• 各种导出格式的准确性一致且具有可比性

如需深入的性能分析，请查看我们在不同硬件上的详细YOLO11基准测试。

我可以进行基准测试吗YOLO11 不同格式的模型，例如PyTorch ， ONNX ， 和OpenVINO ？

是的，你可以进行基准测试YOLO11 各种格式的模型，包括PyTorch ， TorchScript ， ONNX ， 和OpenVINO 。使用以下代码片段在您选择的数据集上运行基准测试：

from ultralytics import YOLO

# Load a YOLO11n PyTorch model
model = YOLO("yolo11n.pt")

# Benchmark YOLO11n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmark(data="coco8.yaml")

# Benchmark YOLO11n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolo11n.pt data=coco8.yaml

有关详细的基准测试结果，请参阅我们的基准测试部分和导出格式文档。

📅创建于 1 年前 ✏️已更新 3 天前

评论