تصدير YOLO26 إلى TensorRT#

قد يتطلب نشر نماذج الرؤية الحاسوبية في بيئات عالية الأداء تنسيقاً يحقق أقصى سرعة وكفاءة. وينطبق ذلك بوجه خاص عند نشر النموذج على وحدات GPU من NVIDIA.

باستخدام تنسيق التصدير TensorRT، يمكنك تحسين نماذج Ultralytics YOLO26 لتوفير استدلال سريع وفعّال على أجهزة NVIDIA. يقدم لك هذا الدليل خطوات سهلة الاتباع لعملية التحويل، ويساعدك على الاستفادة القصوى من تقنية NVIDIA المتقدمة في مشاريع التعلّم العميق.

TensorRT#

إن TensorRT، الذي طورته NVIDIA، حزمة تطوير برمجيات متقدمة (SDK) مصممة لاستدلال التعلّم العميق عالي السرعة. وهي مناسبة تماماً للتطبيقات الآنية مثل اكتشاف الكائنات.

تحسّن مجموعة الأدوات هذه نماذج التعلّم العميق لوحدات GPU من NVIDIA، ما يؤدي إلى عمليات أسرع وأكثر كفاءة. وتخضع نماذج TensorRT للتحسين باستخدام TensorRT، الذي يشمل تقنيات مثل دمج الطبقات، ومعايرة الدقة (INT8 وFP16)، وإدارة ذاكرة الموترات الديناميكية، والضبط التلقائي للنوى. ويتيح تحويل نماذج التعلّم العميق إلى تنسيق TensorRT للمطورين الاستفادة الكاملة من إمكانات وحدات GPU من NVIDIA.

تشتهر TensorRT بتوافقها مع تنسيقات نماذج متعددة، منها TensorFlow وPyTorch وONNX، ما يوفر للمطورين حلاً مرناً لدمج النماذج من أطر عمل مختلفة وتحسينها. وتتيح هذه المرونة نشر النماذج بكفاءة عبر بيئات متنوعة من الأجهزة والبرمجيات.

الميزات الرئيسية لنماذج TensorRT#

توفر نماذج TensorRT مجموعة من الميزات الرئيسية التي تسهم في كفاءتها وفاعليتها في استدلال التعلّم العميق عالي السرعة:

• معايرة الدقة: تدعم TensorRT معايرة الدقة، ما يتيح ضبط النماذج بدقة لتلبية متطلبات محددة. ويشمل ذلك دعم تنسيقات الدقة المخفّضة مثل INT8 وFP16، التي يمكنها زيادة سرعة الاستدلال مع الحفاظ على مستويات دقة مقبولة.

• دمج الطبقات: تشمل عملية التحسين في TensorRT دمج الطبقات، حيث تُدمج طبقات متعددة من الشبكة العصبية في عملية واحدة. ويقلل هذا من العبء الحسابي ويحسّن سرعة الاستدلال عن طريق الحد من الوصول إلى الذاكرة والحسابات.

• إدارة ذاكرة الموترات الديناميكية: تدير TensorRT استخدام ذاكرة الموترات بكفاءة أثناء الاستدلال، ما يقلل العبء على الذاكرة ويحسّن تخصيصها. وينتج عن ذلك استخدام أكثر كفاءة لذاكرة GPU.

• الضبط التلقائي للنوى: تطبق TensorRT ضبطاً تلقائياً للنوى لاختيار نواة GPU المثلى لكل طبقة من النموذج. ويضمن هذا النهج التكيفي استفادة النموذج استفادة كاملة من القدرة الحسابية لوحدة GPU.

خيارات النشر في TensorRT#

قبل الاطلاع على الشيفرة اللازمة لتصدير نماذج YOLO26 إلى تنسيق TensorRT، دعنا نفهم المواضع التي تُستخدم فيها نماذج TensorRT عادةً.

توفر TensorRT عدة خيارات للنشر، ويوازن كل خيار بين سهولة الدمج وتحسين الأداء والمرونة على نحو مختلف:

• النشر ضمن TensorFlow: تدمج هذه الطريقة TensorRT مع TensorFlow، ما يتيح تشغيل النماذج المحسّنة في بيئة TensorFlow مألوفة. وهي مفيدة للنماذج التي تجمع بين طبقات مدعومة وأخرى غير مدعومة، إذ يستطيع TF-TRT التعامل معها بكفاءة.

• واجهة برمجة تطبيقات بيئة تشغيل TensorRT المستقلة: توفر تحكماً دقيقاً، وهي مثالية للتطبيقات الحساسة للأداء. وتتميز بتعقيد أكبر، لكنها تتيح تنفيذ عوامل تشغيل غير مدعومة بطريقة مخصصة.

• خادم الاستدلال NVIDIA Triton: خيار يدعم نماذج من أطر عمل متنوعة. وهو مناسب بوجه خاص للاستدلال السحابي أو الطرفي، ويوفر ميزات مثل التنفيذ المتزامن للنماذج وتحليلها.

المهام المدعومة#

يدعم تصدير TensorRT مهام Ultralytics السبعة كلها. ولا يتوفر التجزؤ الدلالي وتقدير العمق إلا مع YOLO26، وهي العائلة الوحيدة التي تتضمن رأسيْ هاتين المهمتين.

تصدير نماذج YOLO26 إلى TensorRT#

يمكنك تحسين كفاءة التنفيذ والأداء بتحويل نماذج YOLO26 إلى تنسيق TensorRT.

التثبيت#

لتثبيت الحزمة المطلوبة، شغّل:

# Install the required package for YOLO26
pip install ultralytics

للحصول على تعليمات مفصلة وأفضل الممارسات المتعلقة بعملية التثبيت، راجع دليل تثبيت YOLO26. وإذا واجهت أي صعوبات أثناء تثبيت الحزم المطلوبة لـ YOLO26، فاستعن بـدليل المشكلات الشائعة للاطلاع على الحلول والنصائح.

الاستخدام#

قبل التعمق في تعليمات الاستخدام، احرص على الاطلاع على مجموعة نماذج YOLO26 التي تقدمها Ultralytics. سيساعدك ذلك على اختيار النموذج الأنسب لمتطلبات مشروعك.

يدعم تنسيق TensorRT أوضاع التصدير والتنبؤ والتحقق. ويتطلب الاستدلال والتحقق وحدة GPU من NVIDIA. صدّر النموذج، ثم حمّل النموذج المُصدّر لإجراء الاستدلال أو التحقق من دقته.

from ultralytics import YOLO

# ⁨تحميل نموذج YOLO26⁩
model = YOLO("yolo26n.pt")

# ⁨صدّر النموذج إلى تنسيق TensorRT⁩
model.export(format="engine")  # ⁨ينشئ 'yolo26n.engine'⁩

from ultralytics import YOLO

# ⁨تحميل نموذج TensorRT المُصدَّر⁩
model = YOLO("yolo26n.engine")

# ⁨تنفيذ الاستدلال⁩
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# ⁨تحميل نموذج TensorRT المُصدَّر⁩
model = YOLO("yolo26n.engine")

# ⁨# التحقق من الدقة على مجموعة بيانات COCO8⁩
metrics = model.val(data="coco8.yaml")

وسيطات التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضّل بزيارة صفحة وثائق Ultralytics حول التصدير.

تصدير TensorRT باستخدام تكميم INT8#

ينفّذ تصدير نماذج Ultralytics YOLO باستخدام TensorRT بدقة INT8 تكميم ما بعد التدريب (PTQ). تستخدم TensorRT المعايرة في PTQ لقياس توزيع التنشيطات داخل كل موتر تنشيط أثناء معالجة نموذج YOLO للاستدلال على بيانات إدخال تمثيلية، ثم تستخدم ذلك التوزيع لتقدير قيم المقياس لكل موتر. ولكل موتر تنشيط مرشح للتكميم مقياس مرتبط به، تحدده عملية المعايرة. أما نقطة التحقق التي ضُبطت بدقة باستخدام quantize=8 عبر التدريب الواعي بالتكميم، فتحمل بالفعل نطاقات INT8 الخاصة بها؛ لذا يستخدمها التصدير ويتجاوز المعايرة.

عند معالجة الشبكات المكمّمة ضمنياً، تستخدم TensorRT دقة INT8 عند الحاجة لتحسين زمن تنفيذ الطبقة. فإذا كان تنفيذ طبقة ما أسرع بدقة INT8 وكانت مقاييس التكميم معيّنة لمدخلات بياناتها ومخرجاتها، فستُخصّص لتلك الطبقة نواة بدقة INT8؛ وإلا فتختار TensorRT للنواة دقة FP32 أو FP16، وفقاً للخيار الذي يحقق زمناً أسرع لتنفيذ تلك الطبقة.

إعداد تصدير INT8#

ستؤثر الوسائط المقدمة عند استخدام التصدير لنموذج Ultralytics YOLO تأثيراً كبيراً في أداء النموذج المُصدّر. ويجب أيضاً اختيارها بناءً على موارد الجهاز المتاحة، إلا أن الوسائط الافتراضية يفترض أن تكون مناسبة لمعظم وحدات GPU المنفصلة من NVIDIA بمعمارية Ampere أو أحدث. خوارزمية المعايرة المستخدمة هي "MINMAX_CALIBRATION" عند التصدير إلى GPU، بينما تستخدم عمليات التصدير إلى DLA على أجهزة NVIDIA Jetson الخوارزمية "ENTROPY_CALIBRATION_2". يمكنك قراءة مزيد من التفاصيل حول الخيارات المتاحة في دليل مطوري TensorRT. وجدت اختبارات Ultralytics أن "MINMAX_CALIBRATION" هو الخيار الأفضل للتصدير إلى GPU، وتُحدَّد الخوارزمية تلقائياً بناءً على جهاز التصدير.

• workspace : يتحكم في حجم تخصيص ذاكرة الجهاز (بوحدة GiB) أثناء تحويل أوزان النموذج.

  • اضبط قيمة workspace وفقاً لاحتياجات المعايرة والموارد المتاحة. قد يؤدي استخدام قيمة أكبر لـworkspace إلى زيادة زمن المعايرة، لكنه يتيح لـTensorRT استكشاف نطاق أوسع من أساليب التحسين، ما قد يعزز أداء النموذج ودقته. وعلى النقيض، يمكن أن تقلل قيمة أصغر لـworkspace زمن المعايرة، لكنها قد تحد من استراتيجيات التحسين، ما يؤثر في جودة النموذج المكمّم.

  • القيمة الافتراضية هي workspace=None، ما يسمح لـTensorRT بتخصيص الذاكرة تلقائياً. وعند إعداد هذه القيمة يدوياً، قد يلزم زيادتها إذا تعطلت المعايرة (أي توقفت من دون تحذير).

  • ستُبلغ TensorRT عن UNSUPPORTED_STATE أثناء التصدير إذا تجاوزت قيمة workspace الذاكرة المتاحة للجهاز؛ وهذا يعني ضرورة خفض قيمة workspace أو ضبطها على None.

  • إذا ضُبط workspace على القيمة القصوى وفشلت المعايرة أو تعطلت، ففكّر في استخدام None للتخصيص التلقائي، أو خفض قيمتي imgsz وbatch لتقليل متطلبات الذاكرة.

  • تذكّر أن معايرة INT8 خاصة بكل جهاز؛ لذا فإن استعارة وحدة GPU «عالية الأداء» للمعايرة قد تؤدي إلى أداء ضعيف عند إجراء الاستدلال على جهاز آخر.

• batch : الحد الأقصى لحجم الدفعة المستخدم في الاستدلال. مع dynamic=True، يمكن استخدام دفعات أصغر أثناء الاستدلال، لكن الاستدلال لن يقبل دفعات أكبر من الحجم المحدد.

قادَت تجارب NVIDIA إلى التوصية باستخدام 500 صورة معايرة على الأقل، تمثل بيانات نموذجك، عند معايرة التكميم INT8. وهذه إرشادات وليست شرطاً صارماً، وستحتاج إلى اختبار ما يلزم لتحقيق أداء جيد مع مجموعة بياناتك. وبما أن بيانات المعايرة مطلوبة لمعايرة INT8 باستخدام TensorRT، احرص على استخدام الوسيطة data عند تصدير نقطة تحقق لم تُدرّب باستخدام quantize=8 (تكميم ما بعد التدريب) عند ضبط quantize=8 على TensorRT، واستخدم data="my_dataset.yaml" للاستعانة بصور التحقق في المعايرة. وتتجاوز نقطة التحقق التي دُرّبت باستخدام quantize=8 المعايرة؛ لذا احذف الوسيطة data عند استخدامها. وإذا لم تُمرّر قيمة لـdata عند التصدير إلى TensorRT مع تكميم INT8، فستُستخدم افتراضياً إحدى مجموعات البيانات النموذجية «الصغيرة» وفقاً لمهمة النموذج بدلاً من إظهار خطأ.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# ⁨تحميل نموذج TensorRT INT8 المُصدّر⁩
model = YOLO("yolo26n.engine", task="detect")

# ⁨تنفيذ الاستدلال⁩
result = model.predict("https://ultralytics.com/images/bus.jpg")

مزايا استخدام YOLO مع TensorRT INT8#

• تقليل حجم النموذج: يمكن أن يؤدي التكميم من FP32 إلى INT8 إلى تقليل حجم النموذج بمقدار 4 أضعاف (على القرص أو في الذاكرة)، ما يسرّع التنزيل ويقلل متطلبات التخزين وبصمة الذاكرة عند نشر النموذج.

• استهلاك أقل للطاقة: يمكن أن تستهلك العمليات ذات الدقة المنخفضة لنماذج YOLO المُصدَّرة بصيغة INT8 طاقة أقل مقارنةً بنماذج FP32، ولا سيما على الأجهزة التي تعمل بالبطارية.

• تحسين سرعات الاستدلال: يعمل TensorRT على تحسين النموذج ليتوافق مع الأجهزة المستهدفة، ما قد يؤدي إلى تسريع الاستدلال على وحدات GPU والأجهزة المضمنة والمسرّعات.

عيوب استخدام YOLO مع TensorRT INT8#

• انخفاض مقاييس التقييم: تعني الدقة الأقل أن mAP أو Precision أو Recall أو أي مقياس آخر يُستخدم لتقييم أداء النموذج قد يكون أسوأ بعض الشيء. تُحافَظ على دقة طبقات Sigmoid الأعلى للحفاظ على معايرة الدرجات، لكن INT8 قد يغيّر قيم الثقة؛ لذا اختر عتبة التشغيل من منحنى F1 الخاص بنموذج INT8 نفسه. راجع قسم نتائج الأداء لمقارنة الاختلافات في mAP50 وmAP50-95 عند التصدير باستخدام INT8 على عينة صغيرة من أجهزة مختلفة.

• زيادة وقت التطوير: قد يستغرق العثور على إعدادات "مثلى" لمعايرة INT8 لمجموعة البيانات والجهاز وقتًا طويلًا من الاختبارات.

• الاعتماد على العتاد: قد تعتمد المعايرة ومكاسب الأداء بدرجة كبيرة على العتاد، كما أن أوزان النموذج أقل قابلية للنقل.

أداء تصدير Ultralytics YOLO إلى TensorRT#

NVIDIA A100#

وحدات GPU الاستهلاكية#

الأجهزة المضمنة#

أساليب التقييم#

وسّع الأقسام أدناه لمعرفة كيفية تصدير هذه النماذج واختبارها.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# ⁨TensorRT INT8 مع `data` للمعايرة (أي COCO أو ImageNet أو DOTAv1 لمهمة النموذج المناسبة)⁩
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # ⁨COCO أو ImageNet أو DOTAv1 لمهمة النموذج المناسبة⁩
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

نشر نماذج YOLO26 المُصدَّرة إلى TensorRT#

بعد تصدير نماذج Ultralytics YOLO26 بنجاح إلى تنسيق TensorRT، تصبح جاهزًا لنشرها. للاطلاع على تعليمات مفصلة حول نشر نماذج TensorRT في إعدادات مختلفة، راجع الموارد التالية:

• نشر Ultralytics باستخدام خادم Triton: يشرح دليلنا كيفية استخدام NVIDIA Triton Inference Server (المعروف سابقًا باسم TensorRT Inference Server) خصيصًا مع نماذج Ultralytics YOLO.

• نشر الشبكات العصبية العميقة باستخدام NVIDIA TensorRT: تشرح هذه المقالة كيفية استخدام NVIDIA TensorRT لنشر الشبكات العصبية العميقة بكفاءة على منصات النشر المعتمدة على GPU.

• ذكاء اصطناعي شامل لأجهزة الكمبيوتر المعتمدة على NVIDIA: النشر باستخدام NVIDIA TensorRT: يشرح منشور المدونة هذا استخدام NVIDIA TensorRT لتحسين نماذج الذكاء الاصطناعي ونشرها على أجهزة الكمبيوتر المعتمدة على NVIDIA.

• مستودع NVIDIA TensorRT على GitHub: هذا هو مستودع GitHub الرسمي الذي يحتوي على الشيفرة المصدرية والوثائق الخاصة بـ NVIDIA TensorRT.

الملخص#

ركزنا في هذا الدليل على تحويل نماذج Ultralytics YOLO26 إلى تنسيق نماذج NVIDIA TensorRT. وتُعد خطوة التحويل هذه أساسية لتحسين كفاءة نماذج YOLO26 وسرعتها، ما يجعلها أكثر فاعلية وملاءمة لبيئات النشر المتنوعة.

لمزيد من المعلومات حول تفاصيل الاستخدام، راجع الوثائق الرسمية لـ TensorRT.

إذا كنت ترغب في معرفة المزيد عن تكاملات Ultralytics YOLO26 الإضافية، فستجد في صفحة دليل التكامل مجموعة واسعة من الموارد المفيدة والرؤى.

الأسئلة الشائعة#