YOLO 的 OpenVINO 推理优化
简介#
部署深度学习模型时,尤其是 Ultralytics YOLO 这类目标检测模型,通常需要在延迟(对单个请求快速响应)或吞吐量(一次处理许多请求)方面优化推理。本指南介绍如何使用 Intel 的 OpenVINO 工具套件实现这两种目标,涵盖从消费级应用到大规模部署的场景。
针对延迟进行优化#
对于要求单个模型对单个输入立即作出响应的应用,降低延迟至关重要,这在消费级场景中很常见。目标是尽量缩短输入与推理结果之间的延迟。不过,要实现低延迟,需要仔细权衡,尤其是在并发运行推理或管理多个模型时。
延迟优化的关键策略#
- 每台设备执行单次推理:实现低延迟最简单的方法是限制每台设备一次只执行一个推理任务。增加并发通常会导致延迟上升。
- 利用子设备:多插槽 CPU 或多芯片 GPU 等设备可以利用内部子设备执行多个请求,同时只带来极小的延迟增长。
- OpenVINO 性能提示:在模型编译期间,使用 OpenVINO 的
ov::LATENCY设置ov::performance_mode属性,可简化性能调优,并提供与设备无关且面向未来的方案。
管理首次推理延迟#
- 模型缓存:为避免模型加载和编译时间影响延迟,请尽可能使用模型缓存。如果无法使用缓存,CPU 通常能提供最快的模型加载速度。
- 模型映射与读取:为缩短加载时间,OpenVINO 使用映射取代了模型读取。不过,如果模型位于可移动磁盘或网络驱动器上,可以考虑使用
ov::enable_mmap(false)切换回读取方式。 - AUTO 设备选择:此模式会先在 CPU 上开始推理,并在加速器准备就绪后切换到加速器,从而减少首次推理延迟。
针对吞吐量进行优化#
对于同时处理大量推理请求的场景,吞吐量优化至关重要。它可以最大限度地利用资源,同时避免显著降低单个请求的性能。
吞吐量优化方法#
-
OpenVINO 性能提示:使用性能提示提升各类设备的吞吐量,这是一种高级且面向未来的方法。
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config) -
显式批处理与流:一种更精细的方法,通过显式批处理和使用流来进行高级性能调优。
设计面向吞吐量的应用#
要最大限度地提高吞吐量,应用应当:
- 并行处理输入,充分利用设备的能力。
- 将数据流拆分为并发推理请求,并安排这些请求并行执行。
- 使用带回调的异步 API,以保持高效运行并避免设备资源闲置。
多设备执行#
OpenVINO 的多设备模式可自动在多个设备间平衡推理请求,无需在应用层管理设备,从而简化吞吐量扩展。
实际性能提升#
使用 Ultralytics YOLO 模型实施 OpenVINO 优化可显著提升性能。如基准测试所示,INT8 OpenVINO 模型在 Intel Core Ultra CPU 上的运行速度是 PyTorch 的 2.9 到 6.0 倍,而同一处理器的集成 GPU 运行 FP32 模型的速度是 PyTorch 在 CPU 上的 3.6 到 29.1 倍。Intel Core Ultra Series 3 博客文章介绍了这些处理器中最新的型号。
例如,在 Intel Core Ultra X7 358H 的 CPU 上,INT8 YOLO26n 模型每张图像的运行时间为 9.99 毫秒,而 PyTorch 为 29.28 毫秒;在 COCO128 上,mAP50-95 为 0.4720,而 PyTorch 为 0.4765,准确率略有下降。
实际实现#
要将 Ultralytics YOLO 模型导出并针对 OpenVINO 进行优化,请使用导出功能:
from ultralytics import YOLO
# 加载模型
model = YOLO("yolo26n.pt")
# 将模型导出为 OpenVINO 格式
model.export(format="openvino", quantize=16) # 以 FP16 精度导出导出后,你可以使用优化后的模型运行推理:
# 加载 OpenVINO 模型
ov_model = YOLO("yolo26n_openvino_model/")
# 运行推理(Ultralytics 使用 LATENCY 性能提示编译 OpenVINO 模型)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)结论#
使用 OpenVINO针对延迟或吞吐量优化 Ultralytics YOLO模型,可以显著提升应用性能。选择针对延迟还是吞吐量进行优化,取决于你的具体应用需求和部署环境特征。
无论你是要优化实时响应,还是要最大限度地提高大规模处理的吞吐量,都应从应用需求出发,选择相应的性能提示,并在目标硬件上进行基准测试。
常见问题#
优化 Ultralytics YOLO 模型以实现低延迟,涉及以下几项关键策略:
- 每台设备执行单次推理:限制每台设备一次只执行一个推理任务,以尽量减少延迟。
- 利用子设备:使用多路 CPU 或多芯片 GPU 等设备,这些设备可以在延迟增幅很小的情况下处理多个请求。
- OpenVINO 性能提示:在模型编译期间使用 OpenVINO 的
ov::LATENCY,简化与设备无关的调优。
如需了解更多实用的延迟优化技巧,请参阅指南中的延迟优化章节。
OpenVINO 可在不牺牲性能的前提下,最大限度地利用设备资源,从而提升 Ultralytics YOLO 模型的吞吐量。主要优势包括:
- 性能提示:以简单的高级方式跨设备进行性能调优。
- 显式批处理与流:针对高级性能进行精细调优。
- 多设备执行:自动平衡推理负载,简化应用层管理。
配置示例:
import openvino as ov import openvino.properties.hint as hints core = ov.Core() model = core.read_model("yolo26n_openvino_model/yolo26n.xml") config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT} compiled_model = core.compile_model(model, "GPU", config)如需详细了解吞吐量优化,请参阅详细指南中的吞吐量优化章节。
要降低首次推理延迟,可以考虑以下做法:
- 模型缓存:使用模型缓存缩短加载和编译时间。
- 模型映射与读取:默认使用映射(
ov::enable_mmap(true)),但如果模型位于可移动磁盘或网络驱动器上,则切换为读取(ov::enable_mmap(false))。 - AUTO 设备选择:使用 AUTO 模式,先通过 CPU 推理,并在加速器准备就绪后切换到加速器。
如需了解管理首次推理延迟的详细策略,请参阅管理首次推理延迟章节。
平衡延迟和吞吐量优化,需要了解应用的需求:
- 延迟优化:适用于需要立即响应的实时应用(例如消费级应用)。
- 吞吐量优化:适用于有大量并发推理任务的场景,能够最大限度地利用资源(例如大规模部署)。
使用 OpenVINO 的高级性能提示和多设备模式,有助于找到合适的平衡点。根据你的具体需求选择合适的 OpenVINO 性能提示。
是的,Ultralytics YOLO 模型可以导出到许多其他运行时。可选项包括:
- TensorRT:针对 NVIDIA GPU 进行优化,请参阅 TensorRT 集成指南。
- CoreML:适用于 Apple 设备,请参阅我们的 CoreML 导出说明。
- LiteRT.js:适用于 Web 和 Node.js 应用,请参阅 LiteRT 集成指南和 LiteRT.js Web 运行时。
在 Ultralytics 集成页面了解更多集成方案。
评论2
提出问题、分享结果,或帮助其他人。
Kvsoni
Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?
Paula DerrengerUltralytics(已编辑)@Kvsoni hi there!
Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with
YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):from ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="openvino") # creates 'yolo26n_openvino_model/' ov_model = YOLO("yolo26n_openvino_model/") results = ov_model("path/to/image.jpg") results[0].show()If you want to run the OpenVINO runtime yourself, note that
YOLOmodel objects do not exposepreprocess()orpostprocess(); those steps live in the predictor classes (e.g.ultralytics.models.yolo.detect.DetectionPredictor).For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.
Feel free to reach out if you have any more questions or need further assistance! 😊