تصدير Intel OpenVINO
إن OpenVINO مجموعة أدوات مفتوحة المصدر من Intel لتحسين استدلال الذكاء الاصطناعي وتشغيله. يؤدي تصدير نموذج Ultralytics YOLO26 باستخدام format="openvino" إلى إنشاء مجلد yolo26n_openvino_model/ يحتوي على نموذج OpenVINO IR (ملفا .xml و.bin) لوحدات المعالجة المركزية Intel، ووحدات معالجة الرسومات Intel المدمجة والمنفصلة، ووحدات NPU من Intel، بدقة FP32 أو FP16 أو INT8.
لمحة سريعة#
| الخاصية | التفاصيل |
|---|---|
وسيطة format | openvino |
| المخرجات | yolo26n_openvino_model/، مجلد يحتوي على yolo26n.xml وyolo26n.bin وmetadata.yaml؛ وyolo26n_int8_openvino_model/ لتصدير quantize=8 |
| يعمل على | وحدات المعالجة المركزية Intel، ووحدات معالجة الرسومات Intel المدمجة والمنفصلة، ووحدات NPU من Intel. يعمل جهاز وحدة المعالجة المركزية أيضًا على معالجات أخرى بمعماريتي x86-64 وARM64، مثل AMD وApple silicon. |
| بيئة التشغيل | OpenVINO Runtime 2024.0.0 أو أحدث (حزمة Python openvino) |
| الدقة | FP32 وFP16 وINT8. يبلغ حجم YOLO26n 10.1 MB بصيغة FP32، و5.3 MB بصيغة FP16، و3.3 MB بصيغة INT8. |
| جهاز التصدير | Linux أو macOS أو Windows. يجري التصدير على وحدة المعالجة المركزية ولا يحتاج إلى GPU. |
يمكن لـ منصة Ultralytics تصدير نموذج مدرّب إلى OpenVINO نيابةً عنك، لذا لن تحتاج إلى بيئة تصدير محلية.
البدء السريع#
ثبّت حزمة Ultralytics مع تبعيات تصدير OpenVINO:
pip install "ultralytics[export-openvino]"يثبّت هذا openvino و، على Python 3.9 أو أحدث، nncf لإجراء تكميم INT8. عند استخدام pip install ultralytics عادي، يثبّت التصدير الأول الحزم الناقصة. يتطلب التصدير الإصدارات التالية:
| الحزمة | الإصدار المطلوب |
|---|---|
torch | 2.1 أو أحدث |
openvino | 2024.0.0 أو أحدث؛ و2025.2.0 أو أحدث على macOS 15.4 وما بعده |
nncf | 2.14.0 أو أحدث، لـ quantize=8 فقط؛ وأقل من 3.0.0 مع PyTorch أقل من 2.3 |
للاطلاع على طرق التثبيت الأخرى، راجع دليل التثبيت. بعد ذلك، صدّر النموذج وحمّل المجلد المُصدّر لإجراء الاستدلال أو التحقق من دقته. يشرح مساق OpenVINO على CPU الخطوات نفسها.
from ultralytics import YOLO
# تحميل نموذج YOLO26
model = YOLO("yolo26n.pt")
# تصدير النموذج بتنسيق OpenVINO
model.export(format="openvino") # creates 'yolo26n_openvino_model/'
# تصدير نموذج OpenVINO مكمّم بصيغة INT8 باستخدام بيانات المعايرة
model.export(format="openvino", quantize=8, data="coco8.yaml") # creates 'yolo26n_int8_openvino_model/'from ultralytics import YOLO
# حمّل نموذج OpenVINO المُصدَّر
model = YOLO("yolo26n_openvino_model/")
# تنفيذ الاستدلال
results = model("https://ultralytics.com/images/bus.jpg")
# تشغيل الاستدلال على GPU من Intel؛ استخدم "npu" لوحدة NPU من Intel أو "cpu" لوحدة المعالجة المركزية
results = model("https://ultralytics.com/images/bus.jpg", device="xpu")from ultralytics import YOLO
# حمّل نموذج OpenVINO المُصدَّر
model = YOLO("yolo26n_openvino_model/")
# # التحقق من الدقة على مجموعة بيانات COCO8
metrics = model.val(data="coco8.yaml")المهام المدعومة#
يدعم تصدير OpenVINO جميع مهام Ultralytics السبع باستخدام نماذج YOLOv8 وYOLO11 وYOLO26: الكشف، والتقسيم، والتقسيم الدلالي، وتقدير العمق، والتصنيف، وتقدير الوضعية، وOBB. يتوفر التقسيم الدلالي وتقدير العمق مع YOLO26 فقط، فهو العائلة الوحيدة التي تتضمن رأسيْن لهاتين المهمتين.
وسيطات التصدير#
| المعامل | النوع | الافتراضي | الوصف |
|---|---|---|---|
format | str | 'openvino' | التنسيق المستهدف للنموذج المُصدَّر، ويحدد مدى توافقه مع بيئات النشر المختلفة. |
imgsz | int أو tuple | 640 | حجم صورة إدخال النموذج: عدد صحيح للصور المربعة أو صف (height, width). إذا لم يُمرر، يستخدم التصدير الحجم الذي دُرّبت عليه نقطة التحقق. تستخدم نقاط التحقق الرسمية لـ YOLO26 القيمة 640 لمهام الكشف والتجزئة والوضعية والنماذج الدلالية المدربة مسبقًا على ADE20K، والقيمة 1024 لـ OBB والنماذج الدلالية المدربة مسبقًا على Cityscapes، والقيمة 768 لتقدير العمق، و224 للتصنيف. |
quantize | int أو str | None | دقة التكميم: 16 (FP16: تُخزَّن الأوزان بدقة نصفية، بينما تبقى المدخلات والمخرجات بصيغة FP32) أو 8 (تكميم INT8 بعد التدريب باستخدام NNCF وصور معايرة من data، تُحفظ في مجلد _int8_openvino_model/)؛ أما 32/غير المحدد فيعني FP32. لا يمكن تصدير نقطة تحقق دُرّبت باستخدام quantize=8 إلى OpenVINO؛ راجع القيود واستكشاف الأخطاء وإصلاحها. يحل هذا محل الخيارين المهملين half/int8. |
data | str | None | ملف YAML لمجموعة البيانات المستخدمة لمعايرة INT8؛ ويستخدم التصنيف بدلًا من ذلك مجلد مجموعة بيانات أو اسم مجموعة بيانات مضمّنة. تستخدم المعايرة التقسيم val ما لم يتم تعيين split. إذا لم يُحدَّد مع quantize=8، تستخدم Ultralytics مجموعة البيانات الافتراضية الصغيرة لمهمة النموذج، مثل coco8.yaml للكشف. |
fraction | float أو int أو list | 1.0 | مجموعة فرعية للمعايرة محددة كنسبة أو عدد صور أو نسب/أعداد [train, val, test]. تترك القوائم المكوّنة من عنصرين test كاملة، بينما تتجاوزها 0. |
dynamic | bool | False | يجعل حجم الدفعة وارتفاع المدخلات وعرضها ديناميكية، بحيث يقبل النموذج أحجام دفعات وصورًا مختلفة. على وحدة NPU من Intel، يظل النموذج الديناميكي يعمل عند imgsz الخاص بالتصدير؛ راجع النشر. |
nms | bool، اختياري | None | اختر المخرجات الخام (None، وهو الخيار الافتراضي)، أو NMS المضمّن (True)، أو الرأس الخالي من NMS (False). راجع تنسيق المخرجات. |
batch | int | 1 | حجم دفعة النموذج المُصدّر. يثبّت التصدير الثابت حجم الدفعة هذا في شكل المدخلات. وهو أيضًا حجم الدفعة المستخدم لمعايرة INT8. |
device | str | None | يجري التصدير دائمًا على وحدة المعالجة المركزية. باستخدام quantize=8، يحدد device=npu تنشيطات INT8 متماثلة لنماذج YOLO للكشف والتقسيم والوضعية وOBB، والتي تعمل بسرعة تصل إلى ضعفين على وحدات NPU من Intel. |
للاطلاع على الوسيطات المشتركة بين جميع التنسيقات، راجع وثائق وضع التصدير.
تكميم INT8#
يُجري quantize=8 التكميم بعد التدريب باستخدام NNCF: يمرّر التصدير صور المعايرة عبر النموذج ويخزّن الأوزان والتنشيطات كأعداد صحيحة من 8 بت حيثما أمكن.
- بيانات المعايرة: تجري المعايرة على كل دفعة كاملة من التقسيم
valلمجموعة البياناتdata، أو من التقسيم الذي تحدده باستخدامsplit. استخدمfractionللحد من عدد الصور. يصدر التصدير تحذيرًا إذا كان عدد الصور أقل من 300. - رأس الكشف: في النماذج ذات رأس كشف YOLO (الكشف والتقسيم والوضعية وOBB) ونماذج RT-DETR، تظل العمليات التي تفك ترميز مخرجات الرأس (إعادة تشكيل المصفوفة، والضم، وفك ترميز الصناديق، وDFL) وجميع عمليات sigmoid بنقطة عائمة، بينما تُكمَّم عمليات الالتفاف في الرأس. لا تتضمن نماذج التصنيف والتقسيم الدلالي والعمق أي عمليات مستثناة.
- المدخلات والمخرجات: يحتفظ نموذج INT8 بمدخلات
float32ومخرجات نموذج FP32، لذا يعمل عليه رمز الاستدلال المكتوب لنموذج FP32 دون أي تعديل. - وحدة NPU من Intel: أضف
device=npuإلى تصدير INT8 المزمع تشغيله على وحدة NPU من Intel. يبدّل هذا الخيار نماذج YOLO للكشف والتقسيم والوضعية وOBB من تكميم التنشيطات غير المتماثل إلى المتماثل.
from ultralytics import YOLO
model = YOLO("yolo26n.pt")
# عاير باستخدام 10% من صور التحقق في COCO (500 صورة)؛ واستبدل coco.yaml بمجموعة بياناتك الخاصة
model.export(format="openvino", quantize=8, data="coco.yaml", fraction=0.1)
# تحميل نموذج INT8 المُصدّر وتشغيل الاستدلال
model = YOLO("yolo26n_int8_openvino_model/")
results = model("https://ultralytics.com/images/bus.jpg")في المقاييس المرجعية، عملت نماذج INT8 بسرعة تزيد من 1.02 إلى 1.33 مرة مقارنةً بنماذج FP32 على وحدة معالجة مركزية لخادم، مع خسارة تتراوح بين 0.5 و0.9 mAP على COCO val2017. وعلى وحدات المعالجة المركزية Intel Core Ultra، عملت INT8 بسرعة تزيد من 1.2 إلى 3.8 مرة مقارنةً بـ FP32. تحقّق من نموذج INT8 على بياناتك قبل نشره.
تنسيق المخرجات#
ينشئ التصدير مجلدًا واحدًا يحتوي على ثلاثة ملفات:
| الملف | المحتويات |
|---|---|
yolo26n.xml | مخطط الشبكة بتنسيق OpenVINO IR |
yolo26n.bin | الأوزان |
metadata.yaml | أسماء الفئات والمهمة وحجم الصورة وحجم الدفعة وخطوة الشبكة ووسيطات التصدير، التي تقرؤها Ultralytics عند تحميل النموذج |
يستقبل النموذج مدخلًا واحدًا بالشكل (batch, 3, height, width)، بصيغة RGB ومُقيّسًا إلى المجال 0-1. يكون المدخل والمخرجات من نوع float32 في نماذج FP32 وFP16 وINT8، باستثناء مخرج التقسيم الدلالي، وهو خريطة فئات uint8 (int32 للنماذج التي تضم أكثر من 256 فئة). لا تحمل الموترات أسماء images وoutput0 الخاصة بتصدير ONNX، لذا استخدم الفهارس لتحديد المدخل والمخرجات في شيفرتك.
تطابق أشكال المخرجات أشكال تصدير ONNX وتعتمد على المهمة ووسيط nms: يعيد نموذج كشف YOLO26n المُصدّر باستخدام imgsz=640 قيمة (1, 84, 8400) مع nms=None الافتراضي، و(1, 300, 6) مع nms=False أو nms=True. راجع تنسيق مخرجات ONNX لمعرفة أشكال ومحتويات كل مهمة. عند استخدام nms=True، تُثبّت عتبة الثقة conf (الافتراضية 0.25)، وعتبة IoU iou، وagnostic_nms، وmax_det في المخطط عند التصدير. لا يمكن لقيمة conf أدنى أثناء التنبؤ أو التحقق استعادة عمليات الكشف التي أزالها المخطط مسبقًا؛ لذا أعد التصدير لتغيير هذه القيم.
النشر#
يشغّل YOLO("yolo26n_openvino_model/") النموذج باستخدام OpenVINO Runtime ويربط الوسيط device بجهاز OpenVINO:
device | جهاز OpenVINO |
|---|---|
| غير معيّن | AUTO، الذي يتيح لـ OpenVINO الاختيار بين وحدة المعالجة المركزية ووحدات معالجة الرسومات Intel (مع أن قائمة الأولويات الافتراضية لا تتضمن وحدة NPU)، أو CPU عندما يكون جهاز وحدة المعالجة المركزية هو الجهاز الوحيد الذي يعثر عليه OpenVINO |
cpu | CPU |
xpu أو xpu:0 | GPU أو GPU.0، أي وحدة معالجة الرسومات Intel المدمجة أو المنفصلة. يحدد xpu:1 الجهاز GPU.1 على جهاز يحتوي على وحدتي GPU من Intel |
npu | NPU، وحدة المعالجة العصبية في معالجات Intel Core Ultra |
تُعامل القيم الأخرى، مثل 0 أو mps، كما لو أن device غير محدد. تظل الأسماء الأقدم intel:cpu وintel:gpu وintel:npu صالحة، مع تسجيل تحذير يفيد بإهمالها. يقارن جدول أجهزة الاستدلال هذه الأسماء عبر التنسيقات. يذكر سطر السجل Using OpenVINO LATENCY mode for batch=1 inference on CPU... اسم الجهاز الذي يبلّغ عنه OpenVINO عند تحميل النموذج. عند استخدام AUTO، قد يكون الجهاز هو وحدة المعالجة المركزية بينما لا تزال وحدة GPU من Intel تترجم النموذج؛ لذا عيّن device للتأكد. أما نموذج .pt، فيحدد device="xpu" الواجهة الخلفية لـ GPU من Intel في PyTorch بدلًا من ذلك، وهي أيضًا الجهاز المستخدم في التدريب على وحدات GPU من Intel، ويحدد device="npu" وحدة NPU من Huawei Ascend، وليس وحدة NPU من Intel.
يعتمد السلوك أثناء الاستدلال على طريقة تصدير النموذج:
- التصدير الثابت (الافتراضي): يعمل النموذج دائمًا عند
imgszوbatchالمحددين للتصدير، وتقرأهما Ultralytics منmetadata.yaml. يتم تجاهلimgszالمُمرّر إلىpredict. تُقسّم الدفعات الأكبر إلى مجموعات بحجم دفعة التصدير وتُستكمل الدفعات الأصغر بالحشو، لذا يعمل النموذج مع أي عدد من الصور. - التصدير الديناميكي (
dynamic=True): يقبلpredictأحجام دفعات مختلفة، كما يقبل كلimgszالذي يكون من مضاعفات خطوة النموذج. تُستثنى وحدات NPU من Intel ونماذج INT8 على وحدات المعالجة المركزية Intel AMX؛ راجع القيود واستكشاف الأخطاء وإصلاحها. - وضع زمن الاستجابة: تترجم Ultralytics النموذج باستخدام تلميح الأداء
LATENCYفي OpenVINO وتشغّل الاستدلال بصورة متزامنة. لتقديم خدمة لعدد كبير من الطلبات المتوازية باستخدام التلميحTHROUGHPUT، استخدم واجهة برمجة تطبيقات OpenVINO Runtime كما هو موضح في دليل زمن الاستجابة ومعدل النقل. - وحدة NPU من Intel: تترجم Ultralytics النموذج لحجم دفعة 1 على وحدة NPU، وتقسم الدفعات الأكبر إلى صور منفردة. يُثبّت التصدير الديناميكي على وحدة NPU عند
imgszالمحدد للتصدير.
التشغيل باستخدام واجهة برمجة تطبيقات OpenVINO Runtime#
لتشغيل النموذج خارج حزمة Ultralytics، حمّل الملف .xml باستخدام الحزمة openvino. يتوقع النموذج صورة معالجة مسبقًا ويعيد المخرجات الخام الموضحة في تنسيق المخرجات، لذا تقع مسؤولية إضافة الحواف السوداء، وNMS في التصدير الافتراضي، على عاتق شيفرتك:
# التصدير أولًا: yolo export model=yolo26n.pt format=openvino nms=False
import numpy as np
import openvino as ov
import yaml
core = ov.Core()
model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
compiled = core.compile_model(model, "AUTO") # أو "CPU" أو "GPU" أو "NPU"
image = np.zeros((1, 3, 640, 640), dtype=np.float32) # صورتك المعالجة مسبقًا: RGB وNCHW و0-1
detections = compiled(image)[0][0] # المخرج الأول، الصورة الأولى: الشكل (300, 6)
detections = detections[detections[:, 4] > 0.25] # الإبقاء على الصفوف التي تتجاوز عتبة الثقة
with open("yolo26n_openvino_model/metadata.yaml") as f:
names = yaml.safe_load(f)["names"] # {0: 'شخص', 1: 'دراجة', ...}أدلة النشر#
- وضْعا زمن الاستجابة ومعدل النقل في OpenVINO: اختر بين أقل زمن استجابة لتدفق واحد وأعلى معدل نقل لعدة تدفقات.
- Intel DL Streamer: شغّل النماذج المُصدّرة ضمن مسارات معالجة تحليلات الفيديو في GStreamer على وحدات المعالجة المركزية ووحدات GPU ووحدات NPU من Intel Core Ultra.
- أجهزة الاستدلال في OpenVINO: أجهزة CPU وGPU وNPU، ووضع
AUTOفي وثائق OpenVINO. - دفاتر OpenVINO: دفاتر Intel التعليمية، بما في ذلك تحسين YOLO26.
القيود واستكشاف الأخطاء وإصلاحها#
- إصدار PyTorch: يفشل التصدير مع
OpenVINO export requires torch>=2.1في إصدارات PyTorch الأقدم. - macOS 15.4 وما بعده: تفشل إصدارات OpenVINO 2025.1.0 والأقدم على إصدارات macOS هذه، لذا يتطلب التصدير
openvino>=2025.2.0فيها ويحدّث حزمة أقدم. - نقاط التحقق المدرّبة باستخدام
quantize=8: تفشل نقطة تحقق ضُبطت ضبطًا دقيقًا باستخدام التدريب الواعي بالتكميم معformat='openvino' cannot export a QAT model: its Q/DQ ranges are only read by the 'onnx' and 'engine' backends. صدّر نقطة التحقق التي بدأت منها الضبط الدقيق باستخدامquantize=8بدلًا من ذلك، أو صدّر نقطة التحقق المضبوطة بدقة إلى ONNX أو TensorRT. - تصدير INT8 دون
data: يسجّل التصديرINT8 export requires a missing 'data' arg for calibration. Using default 'data=coco8.yaml'.ويجري المعايرة على مجموعة البيانات الافتراضية الصغيرة الخاصة بالمهمة. مرّرdataمع صور تمثل بيانات النشر لديك. - حجم معايرة INT8: يسجّل التصدير
>300 images recommended for INT8 calibration, found 4 images.عندما يحتوي تقسيم المعايرة على أقل من 300 صورة. لا يحتويcoco8.yamlإلا على 4 صور للتحقق، وهي كافية لاختبار التصدير، لكنها لا تكفي لمعايرة نموذج للنشر. - مجلد الإخراج: تكتب كل عملية تصدير لنقطة تحقق واحدة، باستثناء INT8، إلى المجلد نفسه
yolo26n_openvino_model/، أيًا كانت قيمةquantizeأوimgszأوdynamicأوnmsأوbatch؛ لذا تحل عملية التصدير اللاحقة محل السابقة. تشترك جميع عمليات تصدير INT8، معdevice=npuأو بدونه، فيyolo26n_int8_openvino_model/. - الجهاز غير متاح: عند غياب الجهاز المطلوب، تسجّل Ultralytics
OpenVINO device 'GPU' not available. Using 'AUTO' instead.(أوUsing 'CPU' instead.على جهاز لا يعثر فيه OpenVINO إلا على وحدة المعالجة المركزية) وتواصل العمل على ذلك الجهاز. تحقق من أن معالجك مدعوم من OpenVINO، وثبّت برنامج تشغيل Intel لوحدة GPU أو NPU. - وحدة NPU من Intel: تشغّل Ultralytics وحدة NPU بحجم دفعة 1 وأشكال مدخلات ثابتة؛ راجع النشر. مرّر
device=npuلاستخدامها؛ إذ لا يحددdeviceغير المحدد وحدة NPU. - الأشكال الديناميكية مع NMS: يسجّل التصدير باستخدام
dynamic=Trueوnms=Trueالقيمة'dynamic=True' export requires a maximum batch size, e.g. 'batch=16'.إذا تُركbatchعند1. تشغّل Ultralytics الدفعات الأكبر ضمن مجموعات بحجمbatchالمحدد للتصدير. - نماذج INT8 الديناميكية على وحدات المعالجة المركزية Intel AMX: على Linux باستخدام وحدة معالجة مركزية تدعم AMX (Intel Sapphire Rapids والإصدارات الأحدث)، تشغّل Ultralytics نموذج INT8 ديناميكيًا على الجهاز
CPUأوAUTOعندimgszالمحدد للتصدير، كما تفعل مع النموذج الثابت: يتم تجاهلimgszالمُمرّر إلىpredictأوval، ويستخدمvalالقيمةbatchالمحددة للتصدير. يظلpredictيقبل أحجام دفعات أخرى ويعيد ترجمة النموذج لكل حجم دفعة جديد، لذا يكون الاستدلال الأول عند حجم دفعة جديد أبطأ. - Windows: تضبط Ultralytics على Windows تلميح دقة استدلال وحدة المعالجة المركزية على FP32، ما يمنع OpenVINO من استخدام أنوية الفاصلة العائمة الأقل دقة (مع استمرار تشغيل نماذج INT8 بصيغة INT8)، ويقيّد oneDNN بمجموعات التعليمات الأقدم من AMX. عيّن متغير البيئة
ONEDNN_MAX_CPU_ISAقبل تحميل النموذج لاستخدام حد مختلف. - Linux على ARM64: تشغّل Ultralytics الجهاز
CPUفي وضع تنفيذ الدقة في OpenVINO مع دقة استدلال FP32. - NMS مضمّن: يؤدي
nms=Trueإلى رفع'nms=True' is not valid for classification models.في التصنيف، ويتم تجاهله مع تحذير لنماذج التقسيم الدلالي وتقدير العمق ('nms=True' is not valid for semantic models. Forcing 'nms=None'.) ونماذج RT-DETR ('nms=True' is not available for end2end models or non-YOLO heads. Forcing 'nms=None'.). - الرأس الخالي من NMS: يتطلب
nms=Falseنموذجًا ذا رأس خالٍ من NMS، مثل YOLO26 أو YOLOv10. أما النماذج الأخرى، مثل YOLO11، فيصدر التصدير تحذيرًاThis model has no one-to-one head; using one-to-many outputs.ويكتب المخرجات الخام(1, 84, 8400).
للاطلاع على الأخطاء الأخرى، راجع دليل المشكلات الشائعة.
معايير أداء YOLO26 على OpenVINO#
تقارن الجداول أدناه بين PyTorch ونماذج OpenVINO بصيغ FP32 وFP16 وINT8 لجميع نماذج كشف YOLO26. قِيست المجموعة الأولى على وحدة معالجة مركزية لخادم، مع دقة COCO val2017، بينما قِيست المجموعة الثانية على ثلاثة معالجات Intel Core Ultra باستخدام وحدات المعالجة المركزية ووحدات GPU الخاصة بها، ووحدة NPU في اثنين منها. تعرض صفحة نماذج YOLO26 دقة كل نموذج وسرعة ONNX على CPU وسرعة TensorRT على T4.
FP32 وFP16 وINT8 على وحدة معالجة مركزية لخادم#
قِيست جميع القيم في هذا القسم على وحدة المعالجة المركزية لخادم واحد يضم معالجي AMD EPYC 9655، لكل منهما 96 نواة، وليس على وحدة معالجة مركزية من Intel. عمل PyTorch باستخدام 8 خيوط، وOpenVINO باستخدام 96 خيطًا، وهما الإعدادان الافتراضيان اللذان اختارتهما Ultralytics وOpenVINO على ذلك الخادم؛ لذا تختلف أعمدة PyTorch وOpenVINO في عدد الخيوط وكذلك في بيئة التشغيل. كما أجرى PyTorch التحقق باستدلال مستطيل، حيث حُشيت كل صورة لتناسب مستطيلًا يتبع نسبة أبعادها (512x672 لصورة 480x640)، بينما عملت نماذج OpenVINO الثابتة دائمًا عند 640x640.
بالمللي ثانية لكل صورة؛ الأقل أفضل. التنسيق الأسرع لكل نموذج مكتوب بالخط العريض.
| النموذج | imgsz | PyTorch | OpenVINO FP32 | OpenVINO FP16 | OpenVINO INT8 |
|---|---|---|---|---|---|
| YOLO26n | 640 | 13.31 | 3.41 | 3.33 | 3.35 |
| YOLO26s | 640 | 24.28 | 5.18 | 5.18 | 4.51 |
| YOLO26m | 640 | 49.94 | 8.39 | 8.34 | 6.60 |
| YOLO26l | 640 | 63.75 | 10.92 | 11.05 | 8.94 |
| YOLO26x | 640 | 115.11 | 17.12 | 17.16 | 12.83 |
YOLO26n على وحدات المعالجة المركزية الثماني نفسها (ثُبّت كل من PyTorch وOpenVINO على وحدات المعالجة المركزية 0-7 في ذلك الخادم باستخدام taskset):
| المقياس | PyTorch | OpenVINO FP32 | OpenVINO FP16 | OpenVINO INT8 |
|---|---|---|---|---|
| زمن الاستجابة (مللي ثانية/صورة) | 9.28 | 7.13 | 7.14 | 6.71 |
| mAPval 50-95 | 40.8 | 40.9 | 40.9 | 40.3 |
- عمل OpenVINO FP32 بسرعة تزيد من 3.9 إلى 6.7 مرات مقارنةً بـ PyTorch باستخدام أعداد الخيوط الافتراضية المذكورة أعلاه، مع دقة متطابقة ضمن 0.1 mAP. وعند تثبيت كليهما على وحدات المعالجة المركزية الثماني نفسها، حيث عمل PyTorch نفسه بسرعة أكبر مقارنةً بالإعداد الافتراضي، عمل OpenVINO FP32 على YOLO26n بسرعة أكبر 1.3 مرة من PyTorch، وعمل INT8 بسرعة أكبر 1.06 مرة من FP32.
- قلّص FP16 حجم النموذج إلى النصف مع دقة لا تختلف عن FP32 بأكثر من 0.1 mAP، وبزمن استجابة مماثل لـ FP32 (ضمن 3%).
- عمل INT8 بسرعة تزيد من 1.02 إلى 1.33 مرة مقارنةً بـ FP32، وقلّص حجم النموذج من 3.1 إلى 3.9 مرات، مع خسارة تتراوح بين 0.5 و0.9 mAP.
أُجريت القياسات باستخدام ultralytics 8.4.212 وOpenVINO 2026.4.1 وNNCF 3.4.0 وPyTorch 2.15.0 عند batch=1 في 14 نوفمبر 2026. زمن الاستجابة هو مرحلة الاستدلال التي يبلّغ عنها val، ولا يشمل المعالجة المسبقة أو اللاحقة. تمثل قيم PyTorch وFP32 وFP16 متوسط ثلاث عمليات تشغيل، تفاوتت نتائجها بما يصل إلى 26% لـ PyTorch و6% لـ OpenVINO. عُيّرت نماذج INT8 على 591 صورة من COCO train2017 (split=train fraction=0.005) وبُنيت ثلاث مرات؛ وتمثل قيم INT8 متوسط عمليات البناء الثلاث. يستخدم جدول وحدات المعالجة المركزية الثماني عملية بناء INT8 واحدة شُغّلت ثلاث مرات.
وحدة المعالجة المركزية وGPU وNPU في Intel Core Ultra#
قِيست هذه الجداول على ثلاثة معالجات Intel Core Ultra باستخدام openvino 2026.2.1 في وضع قياس الأداء: model.benchmark(data="coco128.yaml", format="openvino", device=...)، مع تعيين device إلى cpu أو xpu أو npu. الدقة هي mAP50-95 على مجموعة بيانات COCO128 التي تضم 128 صورة، لذا لا يمكن مقارنتها بقيم COCO val2017 أعلاه. عمل PyTorch على وحدة المعالجة المركزية للمعالج نفسه. لا تعمل نماذج YOLO26 على وحدات NPU إلا في معالجات سلسلة Intel Core Ultra 2xxV وسلسلة 3xx والإصدارات الأحدث.
Intel Core Ultra X7 358H#
يجمع Intel Core Ultra X7 358H (Panther Lake) بين أنوية CPU ووحدة معالجة رسومات Intel Arc مدمجة ووحدة NPU من Intel AI Boost.
مللي ثانية لكل صورة؛ الأقل أفضل. يُعرض العمود الأسرع لكل نموذج بخط عريض.
| النموذج | CPU الخاص بـ PyTorch | CPU FP32 | CPU FP16 | CPU INT8 | GPU FP32 | GPU FP16 | GPU INT8 | NPU FP32 | NPU FP16 | NPU INT8 |
|---|---|---|---|---|---|---|---|---|---|---|
| YOLO26n | 29.28 | 14.35 | 14.23 | 9.99 | 4.09 | 4.03 | 4.24 | 7.68 | 7.71 | 8.60 |
| YOLO26s | 59.32 | 35.03 | 33.55 | 16.68 | 5.08 | 5.14 | 4.47 | 9.89 | 9.94 | 10.69 |
| YOLO26m | 143.21 | 90.53 | 88.82 | 33.33 | 7.10 | 7.06 | 5.61 | 13.02 | 13.13 | 14.84 |
| YOLO26l | 181.16 | 112.83 | 111.31 | 43.27 | 8.45 | 8.49 | 6.25 | 14.53 | 14.55 | 15.64 |
| YOLO26x | 379.75 | 241.21 | 236.87 | 78.92 | 13.03 | 12.98 | 8.74 | 23.48 | 23.41 | 21.56 |
معالجات Intel Core Ultra الأقدم#
Intel Core Ultra 7 258V (Lunar Lake)
مللي ثانية لكل صورة؛ الأقل أفضل. يُعرض العمود الأسرع لكل نموذج بخط عريض.
| النموذج | CPU الخاص بـ PyTorch | CPU FP32 | CPU FP16 | CPU INT8 | GPU FP32 | GPU FP16 | GPU INT8 | NPU FP32 | NPU FP16 | NPU INT8 |
|---|---|---|---|---|---|---|---|---|---|---|
| YOLO26n | 27.33 | 16.84 | 16.73 | 8.62 | 3.33 | 3.34 | 3.46 | 23.71 | 23.70 | 23.96 |
| YOLO26s | 60.20 | 54.71 | 54.45 | 20.19 | 4.66 | 4.65 | 3.99 | 26.62 | 26.62 | 25.89 |
| YOLO26m | 152.87 | 178.59 | 179.25 | 53.07 | 9.03 | 8.98 | 5.70 | 32.94 | 33.01 | 30.95 |
| YOLO26l | 201.57 | 238.15 | 233.70 | 67.73 | 11.32 | 11.36 | 7.45 | 36.02 | 35.77 | 32.64 |
| YOLO26x | 431.04 | 567.22 | 561.39 | 151.11 | 19.08 | 19.63 | 13.69 | 49.64 | 49.69 | 41.75 |
Intel Core Ultra 7 155H (Meteor Lake)
مللي ثانية لكل صورة؛ الأقل أفضل. يُعرض العمود الأسرع لكل نموذج بخط عريض.
| النموذج | CPU الخاص بـ PyTorch | CPU FP32 | CPU FP16 | CPU INT8 | GPU FP32 | GPU FP16 | GPU INT8 |
|---|---|---|---|---|---|---|---|
| YOLO26n | 33.19 | 13.43 | 13.20 | 11.40 | 9.13 | 9.07 | 5.79 |
| YOLO26s | 70.92 | 36.16 | 36.07 | 15.54 | 16.37 | 16.65 | 9.27 |
| YOLO26m | 192.45 | 102.52 | 101.88 | 35.72 | 34.47 | 35.71 | 15.46 |
| YOLO26l | 239.19 | 129.24 | 128.50 | 45.38 | 43.24 | 43.40 | 19.72 |
| YOLO26x | 511.89 | 293.40 | 296.48 | 85.24 | 79.49 | 79.45 | 34.66 |
عبر المعالجات الثلاثة:
- CPU: كان INT8 أسرع من FP32 بمقدار يتراوح بين 1.2 و3.8 مرة، وأسرع من PyTorch بمقدار يتراوح بين 2.9 و6.0 مرات. وكان FP32 أسرع من PyTorch بمقدار يتراوح بين 1.6 و2.5 مرة على X7 358H و155H، لكنه كان أبطأ من PyTorch على YOLO26m وYOLO26l وYOLO26x على 258V.
- GPU: شغّلت وحدة GPU المدمجة نماذج FP32 بسرعة تفوق PyTorch على CPU بمقدار يتراوح بين 3.6 و29.1 مرة. وكان INT8 أسرع من FP32 في جميع النماذج باستثناء YOLO26n على X7 358H و258V، وبفارق يصل إلى 2.3 مرة.
- NPU (X7 358H و258V): شُغّلت نماذج FP32 بسرعة تفوق PyTorch على CPU بمقدار يتراوح بين 1.2 و16.2 مرة، بينما بلغت سرعة INT8 ما بين 0.88 و1.19 من سرعة FP32. صُدّرت نماذج INT8 هذه قبل أن يختار
device=npuتنشيطات متناظرة، لذا لا تعرض الجداول تصدير INT8 المُحسّن لـ NPU. - كان زمن استجابة FP16 ضمن نطاق 5% من FP32 على كل جهاز، بينما خسر INT8 ما بين 0.1 و2.7 نقطة من mAP50-95.
نبذة عن OpenVINO#
تحوّل OpenVINO، وهو اختصار لـ Open Visual Inference and تحسين الشبكات العصبية، النماذج من أُطر عمل مثل PyTorch إلى تنسيق IR الخاص بها، وتشغّلها عبر واجهة API واحدة على وحدات CPU وGPU وNPU من Intel. للاطلاع على المرجع الكامل، راجع وثائق OpenVINO.
شاهد: كيفية تصدير Ultralytics YOLO26 إلى تنسيق Intel OpenVINO لتسريع الاستدلال 🚀
الأسئلة الشائعة#
نعم، على CPU. يعمل جهاز OpenVINO
CPUعلى معالجات x86-64 وARM64: وقد أُجريت قياسات معايير أداء وحدة CPU للخوادم الواردة في هذه الصفحة على معالجات AMD EPYC، كما يعمل التصدير نفسه على شرائح Apple. ويتطلب الجهازانGPUوNPUأجهزة Intel، لذا يعودdevice=xpuوdevice=npuإلى البديل مع إصدار تحذير على الأجهزة الأخرى. للاطلاع على أهداف أخرى، راجع دليل خيارات نشر النماذج.يعتمد ذلك على الجهاز. لا يحتاج FP16 (
quantize=16) إلى بيانات معايرة، ويقلّص حجم النموذج إلى النصف، كما حافظ على دقة FP32 وزمن استجابته في معايير الأداء، لذا استخدمه عندما يكون حجم النموذج مهمًا. حقق INT8 (quantize=8) أقل زمن استجابة على CPU لمعظم النماذج: فقد خفّض زمن استجابة YOLO26s على CPU الخادم من 5.18 ms إلى 4.51 ms لكل صورة، مع 47.6 mAPval 50-95 مقارنةً بـ48.5 في FP32، كما عمل أسرع من FP32 بمقدار يتراوح بين 1.2 و3.8 مرة على وحدات CPU من Intel Core Ultra. وعلى وحدات GPU المدمجة من Intel، كان مكسب INT8 أقل، إذ بلغ 2.3 مرة كحد أقصى، أما على وحدات NPU فكانت نماذج INT8 في هذه الاختبارات، التي صُدّرت من دونdevice=npu، تقارب FP32 في السرعة. يحتاج INT8 إلى بيانات معايرة ممثّلة، لذا تحقّق من نموذج INT8 باستخدام بياناتك قبل اختياره.صدّر باستخدام
dynamic=Trueومرّر حجم الدفعة وimgszالمطلوبين وقت التنبؤ. يجب أن يكون حجم الصورة من مضاعفات خطوة النموذج، وهي 32 لنقاط التحقق الرسمية لـ YOLO26، باستثناء التصنيف؛ راجع النشر للاطلاع على الاستثناءات.التصدير الديناميكيfrom ultralytics import YOLO model = YOLO("yolo26n.pt") model.export(format="openvino", dynamic=True) model = YOLO("yolo26n_openvino_model/") results = model(["https://ultralytics.com/images/bus.jpg"] * 4, imgsz=320) # دفعة من 4 صور بحجم 320 بكسلاستخدم OpenVINO عندما تكون أجهزة النشر من Intel: إذ يحدّد
device=xpuوdevice=npuوحدتي GPU وNPU من Intel، وقد عملت نماذج OpenVINO بتنسيق INT8 أسرع من FP32 بمقدار يتراوح بين 1.2 و3.8 مرة على وحدات CPU من Intel Core Ultra في معايير الأداء. استخدم ONNX عندما يلزم تشغيل ملف واحد أيضًا على وحدات GPU من NVIDIA أو AMD أو في بيئات تشغيل غير OpenVINO؛ وعلى Windows، يمكن لـ Windows ML اختيار أجهزة Intel لنموذج ONNX.
التعليقات23
اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.
Heyujie96
how can i export a trained cls or obb kind model to openvino kind
EduardoNew
I encountered some difficulties while trying to run the official video demo. Here is my code:
from ultralytics import YOLO
def main(): # Load a YOLOv8n PyTorch model model = YOLO("yolov8n.pt")
# Export the model model.export(format="openvino") # creates 'yolov8n_openvino_model/' # Load the exported OpenVINO model with explicit task definition ov_model = YOLO("yolov8n_openvino_model\\", task='detect') # Explicitly define task as 'detect' # Run inference results_original = model("D:\\python_YOLO_test\\bus.jpg") # Run ov inference results_ov = ov_model("D:\\python_YOLO_test\\bus.jpg")if name == "main": main() Additional notes: My environment is openvino==2024.0.0, and I executed pip install --upgrade torch ultralytics.
The issue I encountered is as follows:
Results saved to D:\python_YOLO_test Ultralytics YOLOv8.2.57 🚀 Python-3.11.9 torch-2.1.1+cu118 CPU (11th Gen Intel Core(TM) i7-11800H 2.30GHz) YOLOv8n summary (fused): 168 layers, 3,151,904 parameters, 0 gradients, 8.7 GFLOPs
PyTorch: starting from 'yolov8n.pt' with input shape (1, 3, 640, 640) BCHW and output shape(s) (1, 84, 8400) (6.2 MB)
OpenVINO: starting export with openvino 2024.0.0-14509-34caeefd078-releases/2024/0... OpenVINO: export success ✅ 2.8s, saved as 'yolov8n_openvino_model' (12.3 MB)
Export complete (5.2s) Results saved to D:\python_YOLO_test Predict: yolo predict task=detect model=yolov8n_openvino_model imgsz=640
Validate: yolo val task=detect model=yolov8n_openvino_model imgsz=640 data=coco.yaml
Visualize: https://netron.appimage 1/1 D:\python_YOLO_test\bus.jpg: 640x480 4 persons, 1 bus, 1 stop sign, 324.0ms Speed: 24.0ms preprocess, 324.0ms inference, 21.0ms postprocess per image at shape (1, 3, 640, 480) Loading yolov8n_openvino_model for OpenVINO inference... Using OpenVINO LATENCY mode for batch=1 inference...
Process finished with exit code -1073741819 (0xC0000005)
Process finished with exit code -1073740791 (0xC0000409) The model was successfully exported but did not perform inference, instead, it terminated directly. How should I resolve this issue?
Glenn JocherUltralytics(تم التعديل)@EduardoNew the exit code 0xC0000005 often indicates a memory access violation. Let's address this step-by-step:
-
Path Format: Try using forward slashes in your OpenVINO model path:
"yolov8n_openvino_model/"instead of backslashes. -
OpenVINO Version: Ultralytics requires
openvino>=2024.0.0. Try upgrading to a recent release:
pip install -U openvino- Hardware Compatibility: Ensure you have the latest Intel drivers installed from Intel's official site.
If issues persist, please create a Minimum Reproducible Example and open a GitHub Issue following our bug report guidelines. We'll be happy to investigate further!
-
Ranjith3436
You mentioned that the core CPU inference model takes 23.53 ms. I would like to know if the processing time decreases when we increase the number of CPU cores ? currently i am using 12 thread CPU.
Glenn JocherUltralytics@Ranjith3436 increasing the number of CPU cores can potentially reduce processing time, as it allows for parallel processing, but the actual speedup will depend on the model's ability to leverage multi-threading effectively.
Ranjith3436
how do i can know about model's ability?
Glenn JocherUltralyticsTo assess a model's ability to utilize multiple CPU cores, you can check its support for multi-threading or parallel processing in the documentation or by running benchmarks on your hardware configuration.
kimchi2020
hey i am working on object detection in videos and came across openvino that helps in increasing speed. how can i use openvino and yolov8 together to find objects in a video
Glenn JocherUltralytics@kimchi2020 hi there! It's great to hear that you're exploring OpenVINO to enhance the speed of your object detection tasks in videos. OpenVINO can indeed provide significant performance improvements, especially on Intel hardware.
To get started with using YOLOv8 and OpenVINO together, follow these steps:
Exporting YOLOv8 to OpenVINO Format
-
Export the Model: You can export your YOLOv8 model to the OpenVINO format using the following Python code:
from ultralytics import YOLO # Load a YOLOv8n PyTorch model model = YOLO("yolov8n.pt") # Export the model to OpenVINO format model.export(format="openvino") # creates 'yolov8n_openvino_model/'Alternatively, you can use the CLI:
yolo export model=yolov8n.pt format=openvino # creates 'yolov8n_openvino_model/' -
Run Inference with the Exported Model: After exporting, you can run inference using the exported OpenVINO model. Here’s how you can do it in Python:
from ultralytics import YOLO # Load the exported OpenVINO model ov_model = YOLO("yolov8n_openvino_model/") # Run inference results = ov_model("https://ultralytics.com/images/bus.jpg")Or using the CLI:
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'
Running Inference on Videos
To process videos, you can modify the inference code to read frames from a video file and run the model on each frame. Here’s an example in Python:
import cv2 from ultralytics import YOLO # Load the exported OpenVINO model model = YOLO("yolov8n_openvino_model/") # Open the video file video_path = "path/to/your/video.mp4" cap = cv2.VideoCapture(video_path) # Loop through the video frames while cap.isOpened(): ret, frame = cap.read() if not ret: break # Run inference on the frame results = model(frame) # Visualize the results on the frame annotated_frame = results[0].plot() # Display the annotated frame cv2.imshow("YOLOv8 OpenVINO Inference", annotated_frame) # Break the loop if 'q' is pressed if cv2.waitKey(1) & 0xFF == ord('q'): break # Release the video capture object and close the display window cap.release() cv2.destroyAllWindows()Additional Resources
For more detailed information and advanced usage, you can refer to the OpenVINO documentation. This guide covers everything from exporting models to running inference and optimizing performance.
Feel free to reach out if you have any more questions. Happy coding! 🚀
-
kimchi2020
Traceback (most recent call last): File "/home/kimchi/Desktop/yolov8/onnx.py", line 18, in results = model(frame) ^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/model.py", line 174, in call return self.predict(source, stream, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/model.py", line 442, in predict return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/predictor.py", line 168, in call return list(self.stream_inference(source, model, *args, **kwargs)) # merge list of Result into one ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torch/utils/_contextlib.py", line 35, in generator_context response = gen.send(None) ^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/predictor.py", line 234, in stream_inference self.model.warmup(imgsz=(1 if self.model.pt or self.model.triton else self.dataset.bs, 3, *self.imgsz)) File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/nn/autobackend.py", line 626, in warmup import torchvision # noqa (import here so torchvision import time not recorded in postprocess time) ^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torchvision/init.py", line 6, in from torchvision import _meta_registrations, datasets, io, models, ops, transforms, utils File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torchvision/models/init.py", line 2, in from .convnext import * File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torchvision/models/convnext.py", line 8, in from ..ops.misc import Conv2dNormActivation, Permute File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torchvision/ops/init.py", line 1, in from ._register_onnx_ops import _register_custom_op File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torchvision/ops/_register_onnx_ops.py", line 5, in from torch.onnx import symbolic_opset11 as opset11 File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torch/onnx/init.py", line 59, in from ._internal.onnxruntime import ( File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torch/onnx/_internal/onnxruntime.py", line 36, in import onnx File "/home/kimchi/Desktop/yolov8/onnx.py", line 18, in results = model(frame) ^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/model.py", line 174, in call return self.predict(source, stream, **kwargs) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/model.py", line 442, in predict return self.predictor.predict_cli(source=source) if is_cli else self.predictor(source=source, stream=stream) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/predictor.py", line 168, in call return list(self.stream_inference(source, model, *args, **kwargs)) # merge list of Result into one ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/torch/utils/_contextlib.py", line 35, in generator_context response = gen.send(None) ^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/engine/predictor.py", line 261, in stream_inference self.results = self.postprocess(preds, im, im0s) ^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/models/yolo/detect/predict.py", line 25, in postprocess preds = ops.non_max_suppression( ^^^^^^^^^^^^^^^^^^^^^^^^ File "/home/kimchi/Desktop/yolov8/myvenv/lib/python3.12/site-packages/ultralytics/utils/ops.py", line 291, in non_max_suppression i = torchvision.ops.nms(boxes, scores, iou_thres) # NMS ^^^^^^^^^^^^^^^ AttributeError: partially initialized module 'torchvision' has no attribute 'ops' (most likely due to a circular import). Did you mean: 'os'?
I am getting this error, how to get rid of it and what does it mean
Glenn JocherUltralyticsHi @kimchi2020,
Thank you for reaching out! The error you're encountering seems to be related to a circular import issue with the
torchvisionlibrary. This can happen if there's a naming conflict or an import loop in your code.Steps to Resolve the Issue:
-
Check for Naming Conflicts: Ensure that your script name (
onnx.py) is not conflicting with any library names. Rename your script to something unique, likerun_inference.py. -
Verify Installation: Make sure you have the latest versions of
torch,torchvision, andultralyticsinstalled. You can update them using:pip install --upgrade torch torchvision ultralytics -
Reproduce the Issue: If the issue persists, please provide a minimum reproducible example. This helps us diagnose the problem more effectively. You can refer to our guide on creating a reproducible example here: Minimum Reproducible Example.
Example Code for Inference with OpenVINO:
Here's a quick example of how to export your YOLOv8 model to OpenVINO and run inference on a video:
import cv2 from ultralytics import YOLO # Load a YOLOv8n PyTorch model model = YOLO("yolov8n.pt") # Export the model to OpenVINO format model.export(format="openvino") # creates 'yolov8n_openvino_model/' # Load the exported OpenVINO model ov_model = YOLO("yolov8n_openvino_model/") # Open the video file video_path = "path/to/your/video.mp4" cap = cv2.VideoCapture(video_path) # Loop through the video frames while cap.isOpened(): ret, frame = cap.read() if not ret: break # Run inference on the frame results = ov_model(frame) # Visualize the results on the frame annotated_frame = results[0].plot() # Display the annotated frame cv2.imshow("YOLOv8 OpenVINO Inference", annotated_frame) # Break the loop if 'q' is pressed if cv2.waitKey(1) & 0xFF == ord('q'): break # Release the video capture object and close the display window cap.release() cv2.destroyAllWindows()For more detailed information on exporting and using OpenVINO, please refer to our OpenVINO Integration Guide.
Feel free to reach out if you have any more questions or need further assistance. Happy coding! 🚀
-
YA12SHYAM
Hi @glenn-jocher , what if i want to use intel GPU's for the inference, using device=GPU doesn't seems to works , it looks for cuda i.e nvidia gpu
Glenn JocherUltralytics(تم التعديل)To use Intel GPUs for inference, export your YOLOv8 model to OpenVINO format with
model.export(format="openvino"), then run inference with the exported model and select the GPU withdevice="intel:gpu", for exampleov_model("bus.jpg", device="intel:gpu"). For more details, please refer to the OpenVINO integration guide.YA12SHYAM
ok, just to confirm i can't use ultralytics python api for inference with intel gpu like i usually do within the ultralytics ecosystem for example ?
from ultralytics import YOLO model = YOLO(path/to/model)here the path/to/model works with onnx, engine, opnevino;s xml , but it use cpu in case of openvino , i want to use my intel GPU
Glenn JocherUltralytics(تم التعديل)@YA12SHYAM to use Intel GPUs with YOLOv8, export your model to OpenVINO format and select the GPU at inference with
device="intel:gpu", e.g.model("bus.jpg", device="intel:gpu"). For detailed steps, refer to the OpenVINO integration guide.
kanishkasw
Hi Im getting the following error when attempting to convert the model to openVino. Tried with both 2024.1.0 and 2024.0.0. Im on ubuntu 20.04 with python 3.8 $ yolo export model=runs/classify/train/weights/best.pt format=openvino Ultralytics YOLOv8.2.31 🚀 Python-3.8.10 torch-2.3.1+cu121 CPU (Intel Core(TM) i9-7900X 3.30GHz) YOLOv8n-cls summary (fused): 73 layers, 1438723 parameters, 0 gradients, 3.3 GFLOPs
PyTorch: starting from 'runs/classify/train/weights/best.pt' with input shape (1, 3, 320, 320) BCHW and output shape(s) (1, 3) (2.8 MB) OpenVINO: export failure ❌ 0.0s: module 'openvino' has no attribute 'version' Traceback (most recent call last): File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/bin/yolo", line 8, in sys.exit(entrypoint()) File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/cfg/init.py", line 591, in entrypoint getattr(model, mode)(**overrides) # default args from model File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/engine/model.py", line 602, in export return Exporter(overrides=args, _callbacks=self.callbacks)(model=self.model) File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/torch/utils/_contextlib.py", line 115, in decorate_context return func(*args, **kwargs) File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/engine/exporter.py", line 308, in call f[3], _ = self.export_openvino() File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/engine/exporter.py", line 142, in outer_func raise e File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/engine/exporter.py", line 137, in outer_func f, model = inner_func(*args, **kwargs) File "/home/Kanishka/v5.0/YOLOV8_classification/.venv/lib/python3.8/site-packages/ultralytics/engine/exporter.py", line 454, in export_openvino LOGGER.info(f"\n{prefix} starting export with openvino {ov.version}...") AttributeError: module 'openvino' has no attribute 'version'
Paula DerrengerUltralytics(تم التعديل)@kanishkasw hi there,
Thank you for reaching out and providing detailed information about the issue you're encountering. It looks like you're experiencing an error when attempting to export your model to OpenVINO format. Let's work through this together.
First, let's ensure that you are using the latest versions of
torchandultralytics. Please run the following commands to update your packages:pip install --upgrade torch ultralyticsNext, it seems the error is related to the OpenVINO package. The error message
module 'openvino' has no attribute '__version__'suggests there might be an issue with the OpenVINO installation. Please make sure you have a recent version of OpenVINO installed (Ultralytics requiresopenvino>=2024.0.0). You can install it using the following command:pip install -U openvinoOnce you've updated the packages, try exporting the model again:
yolo export model=runs/classify/train/weights/best.pt format=openvinoIf the issue persists, could you please provide a minimum reproducible example? This will help us investigate the problem more effectively. You can find guidance on creating a minimum reproducible example here: Minimum Reproducible Example.
Additionally, here's a Python example to ensure everything is set up correctly:
from ultralytics import YOLO # Load a YOLOv8n PyTorch model model = YOLO("runs/classify/train/weights/best.pt") # Export the model to OpenVINO format model.export(format="openvino") # creates 'best_openvino_model/' # Load the exported OpenVINO model ov_model = YOLO("best_openvino_model/") # Run inference results = ov_model("https://ultralytics.com/images/bus.jpg")For more detailed instructions on using OpenVINO, please refer to our OpenVINO Integration Guide.
Feel free to reach out if you have any further questions or run into any other issues. We're here to help! 😊
renato-rodrig
hello everything is fine? I have a question about the results exposed in the article above. Is the time shown in the graphs in relation to the inference time that the model takes to return the detections or is it the time for image reading, image pre-processing and model inference? I ask this because on my computer (intel core i7 12 generation CPU) the yolov8n model ran with an inference time of 40ms and the gain from using OpenVINO was not that great.
Paula DerrengerUltralytics@renato-rodrig hello! 👋 Regarding your question about the times shown in the graphs, they typically refer to the total inference time, which includes the actual model inference as well as the time taken for pre-processing the input data (like image reading and resizing).
The difference you observed with OpenVINO on your Intel Core i7 may vary due to several factors such as the specific configuration of your system, the type of tasks being run, and the optimizations that the YOLOv8n model can leverage on that platform. Generally, OpenVINO tends to show more significant performance gains on integrated Intel GPUs and some specific CPU configurations.
If you haven't seen a major performance improvement, you might want to look into further tuning your OpenVINO deployment or explore using other optimization techniques provided by OpenVINO. Additionally, ensure all drivers and software components are up to date for optimal performance.
Here’s a quick example of ensuring you're using the model in the most optimized manner:
from ultralytics import YOLO # Load YOLOv8n PyTorch model model = YOLO('yolov8n.pt') # Export the model to OpenVINO model.export(format='openvino') # Creates 'yolov8n_openvino_model/' # Load the exported OpenVINO model ov_model = YOLO('yolov8n_openvino_model/') # Run inference to see if performance improves results = ov_model('https://ultralytics.com/images/bus.jpg')Feel free to experiment with different configurations and settings! 😊
1
YouROS12
I wanna do inferences with my exported pre-trained yolov8 model using Raspberry PI with a Neural Network Computing 2 (NCS2) plugged in.. but its doesn't support opset 11 or above.. only opset10.. I specified onnx opset to 10 and convert it to Openvino but it didn't work.
Anyway please to export openvino model directly in opset10 ? Does even yolov8 support this specified opset format ?
Thank you.
Glenn JocherUltralytics(تم التعديل)@YouROS12 the current OpenVINO export no longer goes through ONNX: Ultralytics converts the PyTorch model directly to OpenVINO IR with
openvino.convert_model, so the ONNXopsetargument does not apply and the oldmoModel Optimizer step isn't needed. Export with:from ultralytics import YOLO # Load a pretrained YOLOv8 model model = YOLO('yolov8n.pt') # Export the model to OpenVINO model.export(format='openvino') # creates 'yolov8n_openvino_model/'The export requires
openvino>=2024.0.0. If your target requires an older OpenVINO that cannot load these models, you can still trymodel.export(format='onnx', opset=10)and convert the ONNX file with that toolkit's own tools, but some YOLOv8 operations may not be supported in older opsets, which could lead to errors during export or inference.YouROS12
Where can I find documentation about YOLOv8's operations with opset 10 ? Updating OpenVINO toolkit is not an option because NCS2 works only at opset 10 and lower.
Paula DerrengerUltralytics@YouROS12 the documentation for ONNX opset versions and the operations they support can be found on the ONNX GitHub repository or the official ONNX documentation. However, there isn't specific documentation for YOLOv8's operations with opset 10, as this would be a combination of YOLOv8's implementation details and ONNX's opset specifications.
To check which operations are supported in opset 10, you can refer to the ONNX Operators documentation for that specific version. This documentation lists all the operators available in opset 10 and their details.
For YOLOv8, you would need to look at the model's architecture and identify which operations are used. Then, cross-reference these operations with the ONNX opset 10 documentation to see if they are supported. If certain operations are not supported in opset 10, you might need to modify the model or the export script to use alternative operations that are compatible with opset 10.
Since updating OpenVINO is not an option for you, if you find that YOLOv8 uses operations not supported in opset 10, you might need to consider using a different model architecture that is compatible with opset 10, or reach out to the community or Ultralytics for further assistance on how to proceed with your specific use case and hardware constraints.
