Intel OpenVINO التصدير

في هذا الدليل، نغطي تصدير نماذج YOLOv8 إلى OpenVINO والذي يمكن أن يوفر ما يصل إلى 3 أضعاف CPU 3 أضعاف، بالإضافة إلى تسريع استدلال YOLO على Intel GPU وأجهزة NPU.

OpenVINOوهي اختصار لـ Open Visual Inference & Neural Network Optimization Toolkit، وهي مجموعة أدوات شاملة لتحسين ونشر نماذج الاستدلال بالذكاء الاصطناعي. على الرغم من أن الاسم يحتوي على Visual، إلا أن OpenVINO يدعم أيضًا العديد من المهام الإضافية المختلفة بما في ذلك اللغة والصوت والسلاسل الزمنية وما إلى ذلك.

شاهد: كيفية تصدير وتحسين نموذج Ultralytics YOLOv8 للاستدلال باستخدام OpenVINO.

أمثلة على الاستخدام

تصدير نموذج YOLOv8n إلى صيغة OpenVINO وتشغيل الاستدلال باستخدام النموذج المُصدَّر.

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

الحجج

فوائد OpenVINO

1. الأداء: OpenVINO يوفر استنتاجاً عالي الأداء من خلال الاستفادة من قوة وحدات المعالجة المركزية Intel ووحدات معالجة الرسومات المدمجة والمنفصلة ووحدات معالجة الرسومات FPGA.
2. دعم التنفيذ غير المتجانس: OpenVINO يوفر واجهة برمجة تطبيقات للكتابة مرة واحدة والنشر على أي أجهزة Intel مدعومة (CPU ، GPU ، FPGA، VPU، إلخ).
3. مُحسِّن النماذج: OpenVINO يوفر مُحسِّن النماذج الذي يقوم باستيراد النماذج وتحويلها وتحسينها من أطر التعلم العميق الشائعة مثل PyTorch, TensorFlowTensorFlow Lite و Keras و ONNX و PaddlePaddle و Caffe.
4. سهولة الاستخدام: تأتي مجموعة الأدوات مع أكثر من 80 دفتر ملاحظات تعليمي (بما في ذلك التحسينYOLOv8 ) لتعليم جوانب مختلفة من مجموعة الأدوات.

OpenVINO هيكل التصدير

عند تصدير نموذج إلى تنسيق OpenVINO ، ينتج عن ذلك دليل يحتوي على ما يلي:

1. ملف XML: يصف طوبولوجيا الشبكة.
2. ملف BIN: يحتوي على البيانات الثنائية weights and biases .
3. ملف التعيين: يحتفظ بتعيين مجلدات مخرجات النموذج الأصلي إلى OpenVINO tensor الأسماء.

يمكنك استخدام هذه الملفات لتشغيل الاستدلال باستخدام محرك الاستدلال OpenVINO .

استخدام OpenVINO التصدير في النشر

بمجرد حصولك على ملفات OpenVINO ، يمكنك استخدام OpenVINO Runtime لتشغيل النموذج. يوفر وقت التشغيل واجهة برمجة تطبيقات موحدة للاستدلال عبر جميع الأجهزة المدعومة Intel . كما يوفر إمكانيات متقدمة مثل موازنة التحميل عبر Intel الأجهزة والتنفيذ غير المتزامن. لمزيد من المعلومات حول تشغيل الاستدلال، راجع دليل الاستدلال باستخدام OpenVINO وقت التشغيل.

تذكّر أنك ستحتاج إلى ملفات XML و BIN بالإضافة إلى أي إعدادات خاصة بالتطبيق مثل حجم الإدخال، ومعامل القياس للتطبيع، وما إلى ذلك، لإعداد النموذج واستخدامه بشكل صحيح مع وقت التشغيل.

في تطبيق النشر الخاص بك، عادةً ما تقوم بالخطوات التالية:

1. تهيئة OpenVINO بإنشاء عن طريق إنشاء core = Core().
2. قم بتحميل النموذج باستخدام core.read_model() الطريقة.
3. قم بتجميع النموذج باستخدام core.compile_model() الوظيفة.
4. قم بإعداد المدخلات (صورة، نص، نص، صوت، إلخ).
5. تشغيل الاستدلال باستخدام compiled_model(input_data).

للمزيد من الخطوات التفصيلية ومقتطفات التعليمات البرمجية، راجع وثائقOpenVINO أو البرنامج التعليمي لواجهة برمجة التطبيقات.

OpenVINO YOLOv8 المعايير

YOLOv8 تم تشغيل المعايير أدناه من قبل فريق Ultralytics على 4 نماذج مختلفة لقياس السرعة والدقة: PyTorch و TorchScript و ONNX و OpenVINO. تم تشغيل المعايير على وحدات معالجة الرسومات Intel Flex و Arc، وعلى وحدات المعالجة المركزية Intel Xeon على FP32 الدقة (مع half=False حجة).

Intel فليكس GPU

تعد سلسلة Intel® Data Center GPU Flex حلاً متعدد الاستخدامات وقويًا مصممًا للسحابة المرئية الذكية. يدعم هذا GPU مجموعة واسعة من أعباء العمل بما في ذلك تدفق الوسائط، والألعاب السحابية، والاستدلال المرئي بالذكاء الاصطناعي، وأعباء عمل البنية التحتية لسطح المكتب الافتراضي. وهي تتميز بهيكلها المفتوح ودعمها المدمج لتشفير AV1، مما يوفر حزمة برمجيات قائمة على المعايير لتطبيقات عالية الأداء ومتعددة البنى. تم تحسين سلسلة Flex Series GPU من أجل الكثافة والجودة، مما يوفر موثوقية وتوافر وقابلية توسع عالية.

يتم تشغيل المعايير أدناه على Intel® Data Center GPU Flex 170 بدقة FP32.

يمثل هذا الجدول النتائج المعيارية لخمسة نماذج مختلفة (YOLOv8n ، YOLOv8s ، ، YOLOv8m ، YOLOv8l ، YOLOv8x) عبر أربعة نماذج مختلفة (PyTorch ، TorchScript ، ONNX ، OpenVINO)، مع إعطائنا الحالة والحجم ومقياس mAP50-95(B) وزمن الاستدلال لكل مجموعة.

Intel القوس GPU

وتمثل Intel® Arc™ غزوة Intel® Arc™ Intel في سوق الحواسيب المخصصة GPU . صُممت سلسلة Arc™، المصممة لمنافسة الشركات الرائدة GPU المصنعة مثل AMD و NVIDIA ، لتلبية احتياجات كل من أسواق أجهزة الكمبيوتر المحمولة والمكتبية. وتتضمن السلسلة إصدارات محمولة للأجهزة المدمجة مثل الحواسيب المحمولة، وإصدارات أكبر وأكثر قوة لأجهزة الكمبيوتر المكتبية.

تنقسم سلسلة Arc™ إلى ثلاث فئات: Arc ™ 3 و Arc ™ 5 و Arc ™ 7، ويشير كل رقم إلى مستوى الأداء. تتضمن كل فئة عدة موديلات، ويشير الحرف "M" في اسم الموديل GPU إلى متغير متنقل ومتكامل.

وقد أشادت المراجعات المبكرة بسلسلة Arc™، خاصةً A770M GPU المدمجة، لأدائها المذهل في الرسومات. ويختلف مدى توفر سلسلة ™Arc™ حسب المنطقة، ومن المتوقع أن يتم إصدار طرازات إضافية قريباً. توفر وحدات معالجة الرسومات Intel® Arc™ Arc™ حلولاً عالية الأداء لمجموعة من احتياجات الحوسبة، بدءاً من الألعاب وصولاً إلى إنشاء المحتوى.

يتم تشغيل المعايير أدناه على Intel® Arc 770 GPU بدقة FP32.

Intel زيون CPU

إن معالج Intel® Xeon® CPU هو معالج عالي الأداء من فئة الخوادم مصمم لأعباء العمل المعقدة والمتطلبة. من الحوسبة السحابية المتطورة والمحاكاة الافتراضية إلى تطبيقات الذكاء الاصطناعي والتعلم الآلي، توفر وحدات المعالجة المركزية Xeon® CPU الطاقة والموثوقية والمرونة المطلوبة لمراكز البيانات الحالية.

وتجدر الإشارة إلى أن وحدات المعالجة المركزية Xeon® CPU توفر كثافة حوسبة عالية وقابلية للتوسع، مما يجعلها مثالية للشركات الصغيرة والمؤسسات الكبيرة على حد سواء. من خلال اختيار وحدات المعالجة المركزية Intel® Xeon® CPU، يمكن للمؤسسات التعامل بثقة مع مهام الحوسبة الأكثر تطلباً وتعزيز الابتكار مع الحفاظ على فعالية التكلفة والكفاءة التشغيلية.

يتم تشغيل المعايير أدناه على الجيل الرابع من Intel® Xeon® Scalable CPU بدقة FP32.

Intel الأساسيات CPU

سلسلة Intel® Core® Core® هي مجموعة من المعالجات عالية الأداء من Intel. وتتضمن المجموعة Core i3 (مستوى المبتدئين)، و Core i5 (متوسط المدى)، و Core i7 (عالي الأداء)، و Core i9 (أداء فائق). تلبي كل سلسلة احتياجات وميزانيات الحوسبة المختلفة، بدءًا من المهام اليومية إلى أعباء العمل الاحترافية الصعبة. مع كل جيل جديد، يتم إجراء تحسينات على الأداء وكفاءة الطاقة والميزات.

تعمل المعايير أدناه على الجيل الثالث عشر من Intel® Core® Core i7-13700H CPU بدقة FP32.

Intel Ultra 7 155H 155H بحيرة النيزك CPU

يمثل معالج Intel® Ultra ™ 7 155H معيارًا جديدًا في مجال الحوسبة عالية الأداء، وهو مصمم لتلبية احتياجات المستخدمين الأكثر تطلبًا، بدءًا من اللاعبين وحتى صانعي المحتوى. فمعالج Ultra ™ 7 Ultra 155H ليس مجرد CPU ؛ فهو يدمج بين شريحة واحدة GPU القوية ووحدة المعالجة العصبية المتقدمة (NPU) داخل شريحة واحدة، مما يوفر حلاً شاملاً لاحتياجات الحوسبة المتنوعة.

تسمح هذه البنية الهجينة لحاسب Ultra™ 7 155H بالتفوق في كل من المهام التقليدية CPU وأعباء العمل المتسارعة GPU ، بينما تعزز وحدة المعالجة العصبية العمليات التي تعتمد على الذكاء الاصطناعي، مما يتيح عمليات تعلم آلي أسرع وأكثر كفاءة. وهذا يجعل Ultra ™ 7 155H خيارًا متعدد الاستخدامات للتطبيقات التي تتطلب رسومات عالية الأداء وعمليات حسابية معقدة واستدلال الذكاء الاصطناعي.

تتضمن سلسلة Ultra ™ 7 طرازات متعددة، يقدم كل منها مستويات مختلفة من الأداء، حيث يشير الرمز "H" إلى متغير عالي الطاقة مناسب لأجهزة الكمبيوتر المحمولة والأجهزة المدمجة. وقد سلطت المعايير المبكرة الضوء على الأداء الاستثنائي لجهاز Ultra™ 7 155H، خاصة في بيئات تعدد المهام، حيث تؤدي القوة المدمجة للمعالج CPU و GPU ووحدة المعالجة العصبية إلى كفاءة وسرعة ملحوظتين.

كجزء من التزام Intel بالتكنولوجيا المتطورة، تم تصميم Ultra™ 7 155H لتلبية احتياجات الحوسبة المستقبلية، ومن المتوقع إصدار المزيد من الطرازات. ويختلف مدى توفر Ultra™ 7 155H من شريحة إلى أخرى حسب المنطقة، ولا يزال الجهاز يحظى بالثناء لتكامله مع ثلاث وحدات معالجة قوية في شريحة واحدة، مما يضع معايير جديدة في أداء الحوسبة.

يتم تشغيل المعايير أدناه على Intel® Ultra™ 7 155H بدقة FP32 و INT8.

المعايير

إنتل® آرك المدمج GPUIntel® Meteor Lake CPUوحدة المعالجة العصبية المعززة بالذكاء الاصطناعي المدمجة Intel® AI Boost NPU

الطراز	التنسيق	الدقة	الحالة	الحجم (ميغابايت)	المقاييس/خطة العمل 50-95 (ب)	زمن الاستدلال (م/م)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	35.95
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6117	8.32
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5791	9.88
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.72
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	13.37
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7086	9.96
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.05
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7331	28.07
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7259	21.11
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	393.37
YOLOv8l	OpenVINO	FP32	✅	167.0	0.0	52.73
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7861	28.11
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	610.71
YOLOv8x	OpenVINO	FP32	✅	260.6	0.748	73.51
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8085	51.71

الطراز	التنسيق	الدقة	الحالة	الحجم (ميغابايت)	المقاييس/خطة العمل 50-95 (ب)	زمن الاستدلال (م/م)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	34.69
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6092	39.06
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5968	18.37
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.9
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7136	82.6
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7083	29.51
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	202.43
YOLOv8m	OpenVINO	FP32	✅	99.1	0.728	181.27
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7285	51.25
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.87
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7551	347.75
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7675	91.66
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	603.63
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7479	516.39
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8119	142.42

الطراز	التنسيق	الدقة	الحالة	الحجم (ميغابايت)	المقاييس/خطة العمل 50-95 (ب)	زمن الاستدلال (م/م)
YOLOv8n	PyTorch	FP32	✅	6.2	0.6381	36.98
YOLOv8n	OpenVINO	FP32	✅	12.3	0.6103	16.68
YOLOv8n	OpenVINO	INT8	✅	3.6	0.5941	14.6
YOLOv8s	PyTorch	FP32	✅	21.5	0.6967	79.76
YOLOv8s	OpenVINO	FP32	✅	42.9	0.7144	32.89
YOLOv8s	OpenVINO	INT8	✅	11.2	0.7062	26.13
YOLOv8m	PyTorch	FP32	✅	49.7	0.737	201.44
YOLOv8m	OpenVINO	FP32	✅	99.1	0.7284	54.4
YOLOv8m	OpenVINO	INT8	✅	25.5	0.7268	30.76
YOLOv8l	PyTorch	FP32	✅	83.7	0.7769	385.46
YOLOv8l	OpenVINO	FP32	✅	167.0	0.7539	80.1
YOLOv8l	OpenVINO	INT8	✅	42.6	0.7508	52.25
YOLOv8x	PyTorch	FP32	✅	130.5	0.7759	609.4
YOLOv8x	OpenVINO	FP32	✅	260.6	0.7637	104.79
YOLOv8x	OpenVINO	INT8	✅	66.0	0.8077	64.96

إعادة إنتاج نتائجنا

لإعادة إنتاج معايير Ultralytics أعلاه على جميع تنسيقات التصدير قم بتشغيل هذا الرمز:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

الخاتمة

تُظهر نتائج القياس بوضوح فوائد تصدير نموذج YOLOv8 إلى صيغة OpenVINO . عبر مختلف النماذج ومنصات الأجهزة، يتفوق تنسيق OpenVINO باستمرار على التنسيقات الأخرى من حيث سرعة الاستدلال مع الحفاظ على دقة مماثلة.

بالنسبة إلى سلسلة Intel® Data Center GPU Flex Series، كان تنسيق OpenVINO قادرًا على توفير سرعات استدلال أسرع بعشر مرات تقريبًا من التنسيق الأصلي PyTorch . على Xeon CPU ، كان تنسيق OpenVINO أسرع بمرتين من تنسيق PyTorch . ظلت دقة النماذج متطابقة تقريبًا عبر التنسيقات المختلفة.

تؤكد المعايير على فعالية OpenVINO كأداة لنشر نماذج التعلم العميق. من خلال تحويل النماذج إلى تنسيق OpenVINO ، يمكن للمطورين تحقيق تحسينات كبيرة في الأداء، مما يسهل نشر هذه النماذج في تطبيقات العالم الحقيقي.

لمزيد من المعلومات والإرشادات التفصيلية حول استخدام OpenVINO ، راجع الوثائق الرسمية OpenVINO .

الأسئلة الشائعة

كيف يمكنني تصدير النماذج YOLOv8 إلى تنسيق OpenVINO ؟

يمكن أن يؤدي تصدير النماذج YOLOv8 إلى تنسيق OpenVINO إلى تحسين سرعة CPU بشكل كبير وتمكين تسريع GPU و NPU على أجهزة Intel . للتصدير، يمكنك استخدام إما Python أو CLI كما هو موضح أدناه:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="openvino")  # creates 'yolov8n_openvino_model/'

# Export a YOLOv8n PyTorch model to OpenVINO format
yolo export model=yolov8n.pt format=openvino  # creates 'yolov8n_openvino_model/'

لمزيد من المعلومات، راجع وثائق تنسيقات التصدير.

ما هي فوائد استخدام OpenVINO مع نماذج YOLOv8 ؟

يوفر استخدام مجموعة أدوات OpenVINO الخاصة بـ Intel' مع نماذج YOLOv8 العديد من الفوائد:

1. الأداء: تحقيق تسريع يصل إلى 3 أضعاف في الاستدلال CPU والاستفادة من وحدات معالجة الرسومات Intel ووحدات المعالجة العصبية للتسريع.
2. مُحسِّن النماذج: تحويل النماذج وتحسينها وتنفيذها من أطر العمل الشائعة مثل PyTorch و TensorFlow و ONNX.
3. سهولة الاستخدام: يتوفر أكثر من 80 دفتر ملاحظات تعليمي لمساعدة المستخدمين على بدء الاستخدام، بما في ذلك دفاتر YOLOv8.
4. تنفيذ غير متجانس: نشر النماذج على أجهزة مختلفة Intel باستخدام واجهة برمجة تطبيقات موحدة.

للحصول على مقارنات مفصّلة للأداء، تفضل بزيارة قسم المعايير لدينا.

كيف يمكنني تشغيل الاستدلال باستخدام نموذج YOLOv8 تم تصديره إلى OpenVINO ؟

بعد تصدير نموذج YOLOv8 إلى صيغة OpenVINO ، يمكنك تشغيل الاستدلال باستخدام Python أو CLI:

from ultralytics import YOLO

# Load the exported OpenVINO model
ov_model = YOLO("yolov8n_openvino_model/")

# Run inference
results = ov_model("https://ultralytics.com/images/bus.jpg")

# Run inference with the exported model
yolo predict model=yolov8n_openvino_model source='https://ultralytics.com/images/bus.jpg'

ارجع إلى وثائق الوضع التوقعي لمزيد من التفاصيل.

لماذا يجب أن أختار Ultralytics YOLOv8 على الموديلات الأخرى لتصدير OpenVINO ؟

Ultralytics YOLOv8 مُحسَّن للكشف عن الأجسام في الوقت الفعلي بدقة وسرعة عاليتين. وعلى وجه التحديد، عند دمجه مع OpenVINO ، يوفر YOLOv8 :

• تسريع يصل إلى 3 أضعاف السرعة على وحدات المعالجة المركزية Intel
• نشر سلس على وحدات معالجة الرسوميات ووحدات المعالجة العصبية Intel
• دقة متسقة وقابلة للمقارنة عبر تنسيقات التصدير المختلفة

للحصول على تحليل متعمق للأداء، راجع معاييرنا التفصيلية YOLOv8 على أجهزة مختلفة.

هل يمكنني قياس النماذج YOLOv8 على تنسيقات مختلفة مثل PyTorch و ONNX و OpenVINO ؟

نعم، يمكنك قياس أداء نماذج YOLOv8 بتنسيقات مختلفة بما في ذلك PyTorch و TorchScript و ONNX و OpenVINO. استخدم مقتطف التعليمات البرمجية التالية لتشغيل المعايير على مجموعة البيانات التي اخترتها:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and [accuracy](https://www.ultralytics.com/glossary/accuracy) on the COCO8 dataset for all export formats
results = model.benchmarks(data="coco8.yaml")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml

للحصول على نتائج معيارية مفصلة، راجع قسم المعايير ووثائق تنسيقات التصدير.

📅 تم إنشاؤها منذ 1 سنة مضت ✏️ تم التحديث منذ 2 شهر

التعليقات