开始使用

YOLO 的 OpenVINO 推理优化

Intel OpenVINO toolkit ecosystem overview

简介#

部署深度学习模型时,尤其是 Ultralytics YOLO 这类目标检测模型,通常需要在延迟(对单个请求快速响应)或吞吐量(一次处理许多请求)方面优化推理。本指南介绍如何使用 Intel 的 OpenVINO 工具套件实现这两种目标,涵盖从消费级应用到大规模部署的场景。

针对延迟进行优化#

对于要求单个模型对单个输入立即作出响应的应用,降低延迟至关重要,这在消费级场景中很常见。目标是尽量缩短输入与推理结果之间的延迟。不过,要实现低延迟,需要仔细权衡,尤其是在并发运行推理或管理多个模型时。

延迟优化的关键策略#

  • 每台设备执行单次推理:实现低延迟最简单的方法是限制每台设备一次只执行一个推理任务。增加并发通常会导致延迟上升。
  • 利用子设备:多插槽 CPU 或多芯片 GPU 等设备可以利用内部子设备执行多个请求,同时只带来极小的延迟增长。
  • OpenVINO 性能提示:在模型编译期间,使用 OpenVINO 的 ov::LATENCY 设置 ov::performance_mode 属性,可简化性能调优,并提供与设备无关且面向未来的方案。

管理首次推理延迟#

  • 模型缓存:为避免模型加载和编译时间影响延迟,请尽可能使用模型缓存。如果无法使用缓存,CPU 通常能提供最快的模型加载速度。
  • 模型映射与读取:为缩短加载时间,OpenVINO 使用映射取代了模型读取。不过,如果模型位于可移动磁盘或网络驱动器上,可以考虑使用 ov::enable_mmap(false) 切换回读取方式。
  • AUTO 设备选择:此模式会先在 CPU 上开始推理,并在加速器准备就绪后切换到加速器,从而减少首次推理延迟。

针对吞吐量进行优化#

对于同时处理大量推理请求的场景,吞吐量优化至关重要。它可以最大限度地利用资源,同时避免显著降低单个请求的性能。

吞吐量优化方法#

  1. OpenVINO 性能提示:使用性能提示提升各类设备的吞吐量,这是一种高级且面向未来的方法。

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)
  2. 显式批处理与流:一种更精细的方法,通过显式批处理和使用流来进行高级性能调优。

设计面向吞吐量的应用#

要最大限度地提高吞吐量,应用应当:

  • 并行处理输入,充分利用设备的能力。
  • 将数据流拆分为并发推理请求,并安排这些请求并行执行。
  • 使用带回调的异步 API,以保持高效运行并避免设备资源闲置。

多设备执行#

OpenVINO 的多设备模式可自动在多个设备间平衡推理请求,无需在应用层管理设备,从而简化吞吐量扩展。

实际性能提升#

使用 Ultralytics YOLO 模型实施 OpenVINO 优化可显著提升性能。如基准测试所示,INT8 OpenVINO 模型在 Intel Core Ultra CPU 上的运行速度是 PyTorch 的 2.9 到 6.0 倍,而同一处理器的集成 GPU 运行 FP32 模型的速度是 PyTorch 在 CPU 上的 3.6 到 29.1 倍。Intel Core Ultra Series 3 博客文章介绍了这些处理器中最新的型号。

例如,在 Intel Core Ultra X7 358H 的 CPU 上,INT8 YOLO26n 模型每张图像的运行时间为 9.99 毫秒,而 PyTorch 为 29.28 毫秒;在 COCO128 上,mAP50-95 为 0.4720,而 PyTorch 为 0.4765,准确率略有下降。

实际实现#

要将 Ultralytics YOLO 模型导出并针对 OpenVINO 进行优化,请使用导出功能:

from ultralytics import YOLO

# 加载模型
model = YOLO("yolo26n.pt")

# 将模型导出为 OpenVINO 格式
model.export(format="openvino", quantize=16)  # 以 FP16 精度导出

导出后,你可以使用优化后的模型运行推理:

# 加载 OpenVINO 模型
ov_model = YOLO("yolo26n_openvino_model/")

# 运行推理(Ultralytics 使用 LATENCY 性能提示编译 OpenVINO 模型)
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)

结论#

使用 OpenVINO针对延迟或吞吐量优化 Ultralytics YOLO模型,可以显著提升应用性能。选择针对延迟还是吞吐量进行优化,取决于你的具体应用需求和部署环境特征。

无论你是要优化实时响应,还是要最大限度地提高大规模处理的吞吐量,都应从应用需求出发,选择相应的性能提示,并在目标硬件上进行基准测试。

常见问题#

  • 优化 Ultralytics YOLO 模型以实现低延迟,涉及以下几项关键策略:

    1. 每台设备执行单次推理:限制每台设备一次只执行一个推理任务,以尽量减少延迟。
    2. 利用子设备:使用多路 CPU 或多芯片 GPU 等设备,这些设备可以在延迟增幅很小的情况下处理多个请求。
    3. OpenVINO 性能提示:在模型编译期间使用 OpenVINO 的 ov::LATENCY,简化与设备无关的调优。

    如需了解更多实用的延迟优化技巧,请参阅指南中的延迟优化章节。

  • OpenVINO 可在不牺牲性能的前提下,最大限度地利用设备资源,从而提升 Ultralytics YOLO 模型的吞吐量。主要优势包括:

    • 性能提示:以简单的高级方式跨设备进行性能调优。
    • 显式批处理与流:针对高级性能进行精细调优。
    • 多设备执行:自动平衡推理负载,简化应用层管理。

    配置示例:

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)

    如需详细了解吞吐量优化,请参阅详细指南中的吞吐量优化章节。

  • 要降低首次推理延迟,可以考虑以下做法:

    1. 模型缓存:使用模型缓存缩短加载和编译时间。
    2. 模型映射与读取:默认使用映射(ov::enable_mmap(true)),但如果模型位于可移动磁盘或网络驱动器上,则切换为读取(ov::enable_mmap(false))。
    3. AUTO 设备选择:使用 AUTO 模式,先通过 CPU 推理,并在加速器准备就绪后切换到加速器。

    如需了解管理首次推理延迟的详细策略,请参阅管理首次推理延迟章节。

  • 平衡延迟和吞吐量优化,需要了解应用的需求:

    • 延迟优化:适用于需要立即响应的实时应用(例如消费级应用)。
    • 吞吐量优化:适用于有大量并发推理任务的场景,能够最大限度地利用资源(例如大规模部署)。

    使用 OpenVINO 的高级性能提示和多设备模式,有助于找到合适的平衡点。根据你的具体需求选择合适的 OpenVINO 性能提示。

  • 是的,Ultralytics YOLO 模型可以导出到许多其他运行时。可选项包括:

    在 Ultralytics 集成页面了解更多集成方案。

评论2

提出问题、分享结果,或帮助其他人。

  1. KvsoniGitHub

    Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?

    1. Paula DerrengerUltralytics(已编辑)

      @Kvsoni hi there!

      Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):

      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.export(format="openvino")  # creates 'yolo26n_openvino_model/'
      
      ov_model = YOLO("yolo26n_openvino_model/")
      results = ov_model("path/to/image.jpg")
      results[0].show()

      If you want to run the OpenVINO runtime yourself, note that YOLO model objects do not expose preprocess() or postprocess(); those steps live in the predictor classes (e.g. ultralytics.models.yolo.detect.DetectionPredictor).

      For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.

      Feel free to reach out if you have any more questions or need further assistance! 😊