تصدير TensorRT لنماذج YOLO26#

قد يتطلب نشر نماذج الرؤية الحاسوبية في بيئات عالية الأداء تنسيقًا يزيد السرعة والكفاءة إلى أقصى حد. وينطبق ذلك خصوصًا عند نشر نموذجك على وحدات معالجة الرسومات NVIDIA.

باستخدام تنسيق تصدير TensorRT، يمكنك تحسين نماذج Ultralytics YOLO26 للاستدلال السريع والفعال على أجهزة NVIDIA. سيقدم لك هذا الدليل خطوات سهلة الاتباع لعملية التحويل، ويساعدك على تحقيق أقصى استفادة من تقنية NVIDIA المتقدمة في مشاريع التعلم العميق.

TensorRT#

إن TensorRT، الذي طورته NVIDIA، هو حزمة متقدمة لتطوير البرمجيات (SDK) مصممة للاستدلال عالي السرعة في التعلم العميق. وهو ملائم تمامًا للتطبيقات في الوقت الفعلي مثل اكتشاف الكائنات.

تعمل هذه الأدوات على تحسين نماذج التعلم العميق لوحدات معالجة الرسومات NVIDIA، ما ينتج عنه عمليات أسرع وأكثر كفاءة. تخضع نماذج TensorRT لتحسين TensorRT، الذي يتضمن تقنيات مثل دمج الطبقات، ومعايرة الدقة (INT8 وFP16)، والإدارة الديناميكية لذاكرة الموترات، والضبط التلقائي للنوى. ويتيح تحويل نماذج التعلم العميق إلى تنسيق TensorRT للمطورين الاستفادة الكاملة من إمكانات وحدات معالجة الرسومات NVIDIA.

يُعرف TensorRT بتوافقه مع تنسيقات نماذج متعددة، بما في ذلك TensorFlow وPyTorch وONNX، ما يوفر للمطورين حلًا مرنًا لدمج النماذج وتحسينها من أطر عمل مختلفة. ويتيح هذا التنوع نشر النماذج بكفاءة عبر بيئات متنوعة من الأجهزة والبرمجيات.

الميزات الرئيسية لنماذج TensorRT#

توفر نماذج TensorRT مجموعة من الميزات الرئيسية التي تسهم في كفاءتها وفعاليتها في الاستدلال عالي السرعة للتعلم العميق:

• معايرة الدقة: يدعم TensorRT معايرة الدقة، ما يتيح ضبط النماذج بدقة لتلبية متطلبات محددة. ويشمل ذلك دعم تنسيقات الدقة المخفضة مثل INT8 وFP16، التي يمكن أن تزيد سرعة الاستدلال مع الحفاظ على مستويات دقة مقبولة.

• دمج الطبقات: تتضمن عملية تحسين TensorRT دمج الطبقات، حيث تُدمج طبقات متعددة من شبكة عصبية في عملية واحدة. ويقلل ذلك الحمل الحسابي الزائد ويحسن سرعة الاستدلال من خلال تقليل الوصول إلى الذاكرة والحسابات.

• الإدارة الديناميكية لذاكرة الموترات: يدير TensorRT استخدام ذاكرة الموترات بكفاءة أثناء الاستدلال، ما يقلل الحمل الزائد على الذاكرة ويحسن تخصيصها. وينتج عن ذلك استخدام أكثر كفاءة لذاكرة وحدة معالجة الرسومات.

• الضبط التلقائي للنوى: يطبق TensorRT ضبطًا تلقائيًا للنوى لاختيار نواة وحدة معالجة الرسومات الأكثر تحسينًا لكل طبقة من طبقات النموذج. ويضمن هذا النهج التكيفي استفادة النموذج الكاملة من القدرة الحسابية لوحدة معالجة الرسومات.

خيارات النشر في TensorRT#

قبل استعراض شفرة تصدير نماذج YOLO26 إلى تنسيق TensorRT، لنتعرف إلى المواضع التي تُستخدم فيها نماذج TensorRT عادةً.

يوفر TensorRT عدة خيارات للنشر، ويوازن كل خيار بين سهولة الدمج وتحسين الأداء والمرونة بطريقة مختلفة:

• النشر ضمن TensorFlow: تدمج هذه الطريقة TensorRT في TensorFlow، ما يتيح تشغيل النماذج المحسنة ضمن بيئة TensorFlow المألوفة. وهي مفيدة للنماذج التي تجمع بين طبقات مدعومة وأخرى غير مدعومة، إذ يستطيع TF-TRT التعامل معها بكفاءة.

• واجهة برمجة تطبيقات وقت تشغيل TensorRT المستقلة: توفر تحكمًا دقيقًا، ما يجعلها مثالية للتطبيقات الحرجة من حيث الأداء. وهي أكثر تعقيدًا، لكنها تتيح تنفيذًا مخصصًا للمشغلات غير المدعومة.

• خادم استدلال NVIDIA Triton: خيار يدعم نماذج من أطر عمل متنوعة. وهو ملائم خصوصًا للاستدلال السحابي أو الطرفي، إذ يوفر ميزات مثل التنفيذ المتزامن للنماذج وتحليلها.

المهام المدعومة#

يدعم تصدير TensorRT جميع مهام Ultralytics السبع. ولا يتوفر التقسيم الدلالي وتقدير العمق إلا مع YOLO26، وهي العائلة الوحيدة التي تأتي بهذه الرؤوس.

تصدير نماذج YOLO26 إلى TensorRT#

يمكنك تحسين كفاءة التنفيذ والأداء من خلال تحويل نماذج YOLO26 إلى تنسيق TensorRT.

التثبيت#

لتثبيت الحزمة المطلوبة، نفّذ:

# Install the required package for YOLO26
pip install ultralytics

للحصول على إرشادات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، راجع دليل تثبيت YOLO26. إذا واجهت أي صعوبات أثناء تثبيت الحزم المطلوبة لـ YOLO26، فراجع دليل المشكلات الشائعة للاطلاع على الحلول والنصائح.

الاستخدام#

قبل التعمق في تعليمات الاستخدام، احرص على استكشاف مجموعة نماذج YOLO26 التي تقدمها Ultralytics. سيساعدك ذلك على اختيار النموذج الأنسب لمتطلبات مشروعك.

يدعم تنسيق TensorRT أوضاع التصدير والتنبؤ والتحقق. ويتطلب الاستدلال والتحقق وحدة معالجة رسومات NVIDIA. صدّر نموذجك، ثم حمّل النموذج المُصدّر لإجراء الاستدلال أو التحقق من دقته.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

وسائط التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضل بزيارة صفحة توثيق Ultralytics حول التصدير.

تصدير TensorRT مع تكميم INT8#

يؤدي تصدير نماذج Ultralytics YOLO باستخدام TensorRT بدقة precision INT8 إلى تنفيذ تكميم ما بعد التدريب (PTQ). تستخدم TensorRT المعايرة لتكميم ما بعد التدريب (PTQ)، والتي تقيس توزيع التنشيطات داخل كل موتر تنشيط أثناء قيام نموذج YOLO بمعالجة الاستدلال على بيانات إدخال ممثلة، ثم تستخدم هذا التوزيع لتقدير قيم المقاييس لكل موتر. كل موتر تنشيط يكون مرشحاً للتكميم له مقياس مرتبط يتم استنتاجه بواسطة عملية معايرة. نقطة التحقق التي تم ضبطها بدقة باستخدام quantize=8 من خلال quantization-aware training تحلل مسبقاً نطاقات INT8 الخاصة بها، لذا يستخدم تصديرها هذه النطاقات ويتخطى المعايرة.

عند معالجة الشبكات المكممة ضمنيًا، يستخدم TensorRT INT8 بصورة انتهازية لتحسين زمن تنفيذ الطبقة. فإذا كانت الطبقة تعمل بسرعة أكبر في INT8 ولها مقاييس تكميم معينة على مدخلات بياناتها ومخرجاتها، تُعيَّن لها نواة بدقة INT8؛ وإلا يختار TensorRT للنواة دقة FP32 أو FP16 وفقًا لما يحقق زمن تنفيذ أسرع لتلك الطبقة.

تهيئة تصدير INT8#

ستؤثر الوسائط المقدمة عند استخدام التصدير لنموذج Ultralytics YOLO تأثيرًا كبيرًا في أداء النموذج المُصدّر. كما يجب اختيارها بناءً على موارد الجهاز المتاحة، إلا أن الوسائط الافتراضية ينبغي أن تعمل مع معظم وحدات معالجة الرسومات NVIDIA المنفصلة من Ampere (أو الأحدث). خوارزمية المعايرة المستخدمة هي "MINMAX_CALIBRATION" لتصديرات GPU، بينما تستخدم تصديرات DLA على NVIDIA Jetson الخوارزمية "ENTROPY_CALIBRATION_2". يمكنك قراءة مزيد من التفاصيل حول الخيارات المتاحة في دليل مطوري TensorRT. وجدت اختبارات Ultralytics أن "MINMAX_CALIBRATION" هو الخيار الأفضل لتصديرات GPU، وتُختار الخوارزمية تلقائيًا بناءً على جهاز التصدير.

• workspace : يتحكم في حجم تخصيص ذاكرة الجهاز (بوحدة GiB) أثناء تحويل أوزان النموذج.

  • اضبط قيمة workspace وفقًا لاحتياجات المعايرة وتوفر الموارد لديك. قد يؤدي استخدام workspace أكبر إلى زيادة زمن المعايرة، لكنه يتيح لـ TensorRT استكشاف نطاق أوسع من أساليب التحسين، ما قد يحسن أداء النموذج ودقته. وعلى العكس، يمكن أن يقلل workspace الأصغر زمن المعايرة، لكنه قد يحد من استراتيجيات التحسين، ما يؤثر في جودة النموذج المكمم.

  • القيمة الافتراضية هي workspace=None، ما يتيح لـ TensorRT تخصيص الذاكرة تلقائيًا. وعند التهيئة اليدوية، قد يلزم زيادة هذه القيمة إذا تعطلت المعايرة (خرجت دون تحذير).

  • سيُبلغ TensorRT عن UNSUPPORTED_STATE أثناء التصدير إذا كانت قيمة workspace أكبر من الذاكرة المتاحة للجهاز، ما يعني ضرورة خفض قيمة workspace أو تعيينها إلى None.

  • إذا تم تعيين workspace إلى القيمة القصوى وفشلت المعايرة أو تعطلت، ففكر في استخدام None للتخصيص التلقائي، أو خفض قيم imgsz وbatch لتقليل متطلبات الذاكرة.

  • تذكّر أن معايرة INT8 خاصة بكل جهاز، فقد يؤدي استعارة وحدة معالجة رسومات «عالية الأداء» للمعايرة إلى أداء ضعيف عند إجراء الاستدلال على جهاز آخر.

• batch : حجم الدفعة الأقصى الذي سيُستخدم للاستدلال. يمكن استخدام دفعات أصغر أثناء الاستدلال، لكن الاستدلال لن يقبل دفعات أكبر من الحجم المحدد.

أدت التجربة من قبل NVIDIA إلى توصيتهم باستخدام ما لا يقل عن 500 صورة معايرة تكون ممثلة للبيانات الخاصة بنموذجك، مع معايرة تكميم INT8. هذا إرشادي وليس متطلباً صارماً، وستحتاج إلى التجربة بما هو مطلوب للأداء الجيد لمجموعة البيانات الخاصة بك. نظراً لأن بيانات المعايرة مطلوبة لمعايرة INT8 باستخدام TensorRT، تأكد من استخدام الوسيط data عند تصدير نقطة تحقق لم يتم تدريبها باستخدام quantize=8 (تكميم ما بعد التدريب) عند quantize=8 لـ TensorRT، واستخدم data="my_dataset.yaml"، والذي سيستخدم الصور من validation للمعايرة بها. تتخطى نقطة التحقق المدربة باستخدام quantize=8 المعايرة، لذا احذف data لها. عندما لا يتم تمرير أي قيمة لـ data مع التصدير إلى TensorRT باستخدام تكميم INT8، ستكون القيمة الافتراضية هي استخدام إحدى "small" example datasets based on the model task بدلاً من إلقاء خطأ.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

مزايا استخدام YOLO مع TensorRT INT8#

• تقليل حجم النموذج: يمكن أن يقلل التكميم من FP32 إلى INT8 حجم النموذج بمقدار 4 أضعاف (على القرص أو في الذاكرة)، ما يؤدي إلى أوقات تنزيل أسرع ومتطلبات تخزين أقل وبصمة ذاكرة أصغر عند نشر النموذج.

• خفض استهلاك الطاقة: يمكن أن تستهلك عمليات الدقة المخفضة لنماذج YOLO المُصدّرة بدقة INT8 طاقة أقل مقارنةً بنماذج FP32، ولا سيما على الأجهزة التي تعمل بالبطارية.

• تحسين سرعات الاستدلال: يعمل TensorRT على تحسين النموذج للأجهزة المستهدفة، ما قد يؤدي إلى سرعات استدلال أعلى على وحدات معالجة الرسومات والأجهزة المضمنة والمسرّعات.

عيوب استخدام YOLO مع TensorRT INT8#

• انخفاض مقاييس التقييم: تعني الدقة الأقل أن mAP أو Precision أو Recall أو أي مقياس آخر يُستخدم لتقييم أداء النموذج سيكون على الأرجح أسوأ إلى حد ما. تُحافظ طبقات Sigmoid على دقة أعلى للحفاظ على معايرة الدرجات، لكن INT8 قد يغير قيم الثقة، لذا اختر عتبة التشغيل من منحنى F1 الخاص بنموذج INT8 نفسه. راجع قسم نتائج الأداء لمقارنة الفروق في mAP50 وmAP50-95 عند التصدير باستخدام INT8 على عينة صغيرة من الأجهزة المختلفة.

• زيادة أوقات التطوير: قد يتطلب العثور على الإعدادات «المثلى» لمعايرة INT8 لمجموعة البيانات والجهاز قدرًا كبيرًا من الاختبارات.

• الاعتماد على الأجهزة: قد تعتمد المعايرة ومكاسب الأداء بدرجة كبيرة على الأجهزة، كما أن أوزان النموذج تصبح أقل قابلية للنقل.

أداء تصدير Ultralytics YOLO إلى TensorRT#

NVIDIA A100#

وحدات معالجة الرسومات للمستهلكين#

الأجهزة المضمنة#

أساليب التقييم#

وسّع الأقسام أدناه للحصول على معلومات حول كيفية تصدير هذه النماذج واختبارها.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

نشر نماذج YOLO26 المُصدَّرة بصيغة TensorRT#

بعد تصدير نماذج Ultralytics YOLO26 بنجاح إلى صيغة TensorRT، أصبحت الآن جاهزًا لنشرها. للحصول على إرشادات معمّقة حول نشر نماذج TensorRT في إعدادات متنوعة، اطلع على الموارد التالية:

• نشر Ultralytics باستخدام خادم Triton: دليلنا حول كيفية استخدام خادم Triton للاستدلال من NVIDIA (المعروف سابقًا باسم خادم TensorRT للاستدلال) تحديدًا مع نماذج Ultralytics YOLO.

• نشر الشبكات العصبية العميقة باستخدام NVIDIA TensorRT: تشرح هذه المقالة كيفية استخدام NVIDIA TensorRT لنشر الشبكات العصبية العميقة بكفاءة على منصات النشر المعتمدة على GPU.

• الذكاء الاصطناعي الشامل لأجهزة الكمبيوتر المستندة إلى NVIDIA: نشر NVIDIA TensorRT: يشرح منشور المدونة هذا استخدام NVIDIA TensorRT لتحسين نماذج الذكاء الاصطناعي ونشرها على أجهزة الكمبيوتر المستندة إلى NVIDIA.

• مستودع GitHub الخاص بـ NVIDIA TensorRT: هذا هو مستودع GitHub الرسمي الذي يحتوي على الكود المصدر والوثائق الخاصة بـ NVIDIA TensorRT.

الملخص#

ركزنا في هذا الدليل على تحويل نماذج Ultralytics YOLO26 إلى صيغة نماذج TensorRT من NVIDIA. تُعد خطوة التحويل هذه ضرورية لتحسين كفاءة نماذج YOLO26 وسرعتها، مما يجعلها أكثر فاعلية وملاءمة لبيئات النشر المتنوعة.

لمزيد من المعلومات حول تفاصيل الاستخدام، اطلع على الوثائق الرسمية لـ TensorRT.

إذا كنت مهتمًا بعمليات التكامل الإضافية لـ Ultralytics YOLO26، فإن صفحة دليل عمليات التكامل لدينا توفر مجموعة واسعة من الموارد والمعلومات المفيدة.

الأسئلة الشائعة#