ابدأ

تحسين الاستدلال باستخدام OpenVINO لـ YOLO

Intel OpenVINO toolkit ecosystem overview

مقدمة#

عند نشر نماذج التعلم العميق، ولا سيما نماذج اكتشاف الكائنات مثل نماذج Ultralytics YOLO، تحسّن الاستدلال عادةً إما لتحقيق زمن استجابة منخفض (استجابات سريعة للطلبات الفردية)، أو لزيادة الإنتاجية (معالجة طلبات كثيرة دفعة واحدة). يشرح هذا الدليل كيفية استخدام مجموعة أدوات OpenVINO من Intel لتحقيق كل هدف، من تطبيقات الأجهزة الاستهلاكية إلى عمليات النشر واسعة النطاق.

التحسين لزمن الاستجابة#

يُعد تحسين زمن الاستجابة أمراً أساسياً للتطبيقات التي تتطلب استجابة فورية من نموذج واحد عند تزويده بمدخل واحد، وهو أمر شائع في سيناريوهات الاستخدام الاستهلاكي. والهدف هو تقليل التأخير بين إدخال البيانات وظهور نتيجة الاستدلال. ومع ذلك، يتطلب تحقيق زمن استجابة منخفض دراسة متأنية، خصوصاً عند تشغيل عمليات استدلال متزامنة أو إدارة نماذج متعددة.

الاستراتيجيات الأساسية لتحسين زمن الاستجابة#

  • استدلال واحد لكل جهاز: أبسط طريقة لتحقيق زمن استجابة منخفض هي قصر كل جهاز على عملية استدلال واحدة في كل مرة. وغالباً ما يؤدي التزامن الإضافي إلى زيادة زمن الاستجابة.
  • الاستفادة من الأجهزة الفرعية: يمكن للأجهزة مثل وحدات CPU متعددة المقابس أو وحدات GPU متعددة الشرائح تنفيذ طلبات متعددة مع زيادة طفيفة في زمن الاستجابة، وذلك بالاستفادة من أجهزتها الفرعية الداخلية.
  • تلميحات أداء OpenVINO: يؤدي استخدام ov::LATENCY من OpenVINO لخاصية ov::performance_mode أثناء تجميع النموذج إلى تبسيط ضبط الأداء، ويوفر نهجاً مستقلاً عن الجهاز ومواكباً للمستقبل.

إدارة زمن استجابة الاستدلال الأول#

  • التخزين المؤقت للنموذج: للحد من تأثير وقت تحميل النموذج وتجميعه في زمن الاستجابة، استخدم التخزين المؤقت للنموذج متى أمكن. وفي الحالات التي يتعذر فيها التخزين المؤقت، توفر وحدات CPU عموماً أسرع أوقات تحميل للنماذج.
  • تعيين النموذج مقابل قراءته: لتقليل أوقات التحميل، استبدل OpenVINO قراءة النموذج بتعيينه إلى الذاكرة. ومع ذلك، إذا كان النموذج على محرك أقراص قابل للإزالة أو محرك شبكي، فاستخدم ov::enable_mmap(false) للعودة إلى القراءة.
  • اختيار الجهاز AUTO: يبدأ هذا الوضع الاستدلال على CPU، ثم ينتقل إلى مُسرِّع عند جهوزيته، ما يقلل زمن الاستدلال الأول.

التحسين لمعدل الإنتاجية#

يُعد تحسين الإنتاجية أمرًا بالغ الأهمية في السيناريوهات التي تعالج عددًا كبيرًا من طلبات الاستدلال في الوقت نفسه، إذ يزيد الاستفادة من الموارد دون التضحية كثيرًا بأداء الطلب الفردي.

أساليب تحسين معدل الإنتاجية#

  1. تلميحات أداء OpenVINO: طريقة عالية المستوى ومواكبة للمستقبل لتعزيز معدل الإنتاجية عبر الأجهزة باستخدام تلميحات الأداء.

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)
  2. التجميع الصريح وتدفقات التنفيذ: نهج أكثر تفصيلاً يتضمن التجميع الصريح واستخدام تدفقات التنفيذ لضبط الأداء المتقدم.

تصميم التطبيقات الموجّهة لمعدل الإنتاجية#

لتحقيق أقصى معدل إنتاجية، ينبغي للتطبيقات أن:

  • تعالج المدخلات بالتوازي، مع الاستفادة الكاملة من إمكانات الجهاز.
  • تقسّم تدفق البيانات إلى طلبات استدلال متزامنة، تُجدول للتنفيذ بالتوازي.
  • استخدم Async API مع دوال الاستدعاء للحفاظ على الكفاءة وتجنب تجويع الجهاز.

التنفيذ على أجهزة متعددة#

يسهّل وضع الأجهزة المتعددة في OpenVINO توسيع معدل الإنتاجية من خلال توزيع طلبات الاستدلال تلقائياً بين الأجهزة، دون الحاجة إلى إدارة الأجهزة على مستوى التطبيق.

تحسينات الأداء في الاستخدام الفعلي#

يمكن أن يؤدي تطبيق تحسينات OpenVINO على نماذج Ultralytics YOLO إلى تحسينات كبيرة في الأداء. وكما توضح المقاييس المرجعية، عملت نماذج OpenVINO INT8 بسرعة تزيد من 2.9 إلى 6.0 مرات على PyTorch في وحدات المعالجة المركزية Intel Core Ultra، كما عملت وحدات معالجة الرسومات المدمجة في المعالجات نفسها على نماذج FP32 بسرعة تزيد من 3.6 إلى 29.1 مرة مقارنةً بـ PyTorch على وحدة المعالجة المركزية. تتناول مقالة مدونة Intel Core Ultra Series 3 أحدث هذه المعالجات.

على سبيل المثال، عمل نموذج YOLO26n بصيغة INT8 على وحدة المعالجة المركزية لمعالج Intel Core Ultra X7 358H في 9.99 ms لكل صورة، مقابل 29.28 ms لـ PyTorch، وبلغت قيمة mAP50-95 مقدار 0.4720 مقابل 0.4765 على COCO128، مع انخفاض طفيف في الدقة.

التطبيق العملي#

لتصدير نموذج Ultralytics YOLO وتحسينه لـ OpenVINO، استخدم وظيفة التصدير:

from ultralytics import YOLO

# ⁨تحميل نموذج⁩
model = YOLO("yolo26n.pt")

# ⁨تصدير النموذج بتنسيق OpenVINO⁩
model.export(format="openvino", quantize=16)  # ⁨التصدير بدقة FP16⁩

بعد التصدير، يمكنك تشغيل الاستدلال باستخدام النموذج المحسّن:

# ⁨تحميل نموذج OpenVINO⁩
ov_model = YOLO("yolo26n_openvino_model/")

# ⁨تشغيل الاستدلال (تجمع Ultralytics نماذج OpenVINO باستخدام تلميح الأداء LATENCY)⁩
results = ov_model("https://ultralytics.com/images/bus.jpg", verbose=True)

الخلاصة#

يمكن أن يؤدي تحسين نماذج Ultralytics YOLO من حيث زمن الاستجابة أو معدل النقل باستخدام OpenVINO إلى تحسين أداء تطبيقك بدرجة كبيرة. ويعتمد الاختيار بين التحسين لزمن الاستجابة أو لمعدل النقل على احتياجات تطبيقك المحددة وخصائص بيئة النشر.

سواء كنت تحسّن الاستجابات الفورية أو تزيد الإنتاجية إلى أقصى حد للمعالجة واسعة النطاق، ابدأ بمتطلبات تطبيقك، واختر تلميح الأداء المناسب، ثم اختبر الأداء على الأجهزة المستهدفة.

الأسئلة الشائعة#

  • يتطلب تحسين نماذج Ultralytics YOLO لزمن استجابة منخفض تطبيق عدة استراتيجيات أساسية:

    1. استدلال واحد لكل جهاز: اقتصر على عملية استدلال واحدة في كل مرة لكل جهاز لتقليل التأخير.
    2. الاستفادة من الأجهزة الفرعية: استخدم أجهزة مثل وحدات CPU متعددة المقابس أو وحدات GPU متعددة البلاطات، التي يمكنها معالجة طلبات متعددة مع زيادة طفيفة في زمن الاستجابة.
    3. تلميحات أداء OpenVINO: استخدم ov::LATENCY من OpenVINO أثناء تجميع النموذج لإجراء ضبط مبسط ومستقل عن الجهاز.

    للاطلاع على مزيد من النصائح العملية لتحسين زمن الاستجابة، راجع قسم تحسين زمن الاستجابة في دليلنا.

  • يعزز OpenVINO معدل إنتاجية نماذج Ultralytics YOLO من خلال زيادة الاستفادة من موارد الجهاز إلى أقصى حد دون التضحية بالأداء. وتشمل الفوائد الأساسية:

    • تلميحات الأداء: ضبط أداء بسيط وعالي المستوى عبر الأجهزة.
    • التجميع الصريح وتدفقات التنفيذ: ضبط دقيق لتحسين الأداء المتقدم.
    • التنفيذ على أجهزة متعددة: موازنة تلقائية لأحمال الاستدلال، ما يسهّل الإدارة على مستوى التطبيق.

    مثال على الإعداد:

    import openvino as ov
    import openvino.properties.hint as hints
    
    core = ov.Core()
    model = core.read_model("yolo26n_openvino_model/yolo26n.xml")
    config = {hints.performance_mode: hints.PerformanceMode.THROUGHPUT}
    compiled_model = core.compile_model(model, "GPU", config)

    تعرّف على المزيد حول تحسين معدل الإنتاجية في قسم تحسين معدل الإنتاجية من دليلنا المفصل.

  • لتقليل زمن استجابة الاستدلال الأول، ضع في اعتبارك الممارسات التالية:

    1. التخزين المؤقت للنموذج: استخدم التخزين المؤقت للنموذج لتقليل وقت التحميل والتجميع.
    2. تعيين النموذج مقابل قراءته: استخدم التعيين (ov::enable_mmap(true)) افتراضياً، وانتقل إلى القراءة (ov::enable_mmap(false)) إذا كان النموذج على محرك أقراص قابل للإزالة أو محرك شبكي.
    3. اختيار الجهاز AUTO: استخدم وضع AUTO لبدء الاستدلال على CPU والانتقال إلى مُسرِّع عند جهوزيته.

    للاطلاع على استراتيجيات مفصلة لإدارة زمن استجابة الاستدلال الأول، راجع قسم إدارة زمن استجابة الاستدلال الأول.

  • يتطلب تحقيق التوازن بين تحسين زمن الاستجابة ومعدل الإنتاجية فهم احتياجات تطبيقك:

    • تحسين زمن الاستجابة: مثالي للتطبيقات الآنية التي تتطلب استجابات فورية (مثل تطبيقات المستهلكين).
    • تحسين معدل الإنتاجية: الأنسب للسيناريوهات التي تتضمن العديد من عمليات الاستدلال المتزامنة، مع زيادة الاستفادة من الموارد إلى أقصى حد (مثل عمليات النشر واسعة النطاق).

    يمكن أن يساعد استخدام تلميحات الأداء عالية المستوى وأوضاع الأجهزة المتعددة في OpenVINO على تحقيق التوازن المناسب. اختر تلميحات أداء OpenVINO المناسبة وفقاً لمتطلباتك المحددة.

  • نعم، يمكن تصدير نماذج Ultralytics YOLO إلى العديد من بيئات التشغيل الأخرى. تشمل الخيارات:

    استكشف مزيداً من عمليات التكامل في صفحة عمليات تكامل Ultralytics.

التعليقات2

اطرح سؤالًا، وشارك نتائجك، أو ساعد شخصًا آخر.

  1. KvsoniGitHub

    Is it possible to use the in built classes and functions of ultralytics to do pre-processing and post-processing and using openVINO for the inference part?

    1. Paula DerrengerUltralytics(تم التعديل)

      @Kvsoni hi there!

      Yes, that's possible, and the simplest way is to let Ultralytics do it all: export the model to OpenVINO and load the exported folder with YOLO. Ultralytics then handles the pre-processing (resizing, normalization), runs inference with OpenVINO, and does the post-processing (decoding the output into boxes):

      from ultralytics import YOLO
      
      model = YOLO("yolo26n.pt")
      model.export(format="openvino")  # creates 'yolo26n_openvino_model/'
      
      ov_model = YOLO("yolo26n_openvino_model/")
      results = ov_model("path/to/image.jpg")
      results[0].show()

      If you want to run the OpenVINO runtime yourself, note that YOLO model objects do not expose preprocess() or postprocess(); those steps live in the predictor classes (e.g. ultralytics.models.yolo.detect.DetectionPredictor).

      For more detailed guidance on optimizing your model with OpenVINO, including strategies for latency and throughput, please refer to our guide: Optimizing OpenVINO Inference for Ultralytics YOLO Models.

      Feel free to reach out if you have any more questions or need further assistance! 😊