تصدير TensorRT لنماذج YOLO26#

قد يتطلب نشر نماذج computer vision في بيئات عالية الأداء تنسيقاً يعظم السرعة والكفاءة. ينطبق هذا بشكل خاص عند نشر نموذجك على وحدات معالجة الرسومات من NVIDIA.

باستخدام تنسيق تصدير TensorRT، يمكنك تحسين نماذج Ultralytics YOLO26 الخاصة بك للاستدلال السريع والفعال على أجهزة NVIDIA. سيوفر لك هذا الدليل خطوات سهلة المتابعة لعملية التحويل ويساعدك على تحقيق أقصى استفادة من تقنية NVIDIA المتقدمة في مشاريع deep learning الخاصة بك.

TensorRT#

TensorRT، الذي ططوره NVIDIA، هو مجموعة تطوير برمجيات متقدمة (SDK) مصممة للاستدلال السريع بالتعلم العميق. وهو مناسب تماماً للتطبيقات في الوقت الفعلي مثل object detection.

تعمل هذه المجموعة من الأدوات على تحسين نماذج التعلم العميق لوحدات معالجة الرسومات من NVIDIA وتؤدي إلى عمليات أسرع وأكثر كفاءة. تخضع نماذج TensorRT لتحسين TensorRT، والذي يتضمن تقنيات مثل دمج الطبقات (layer fusion)، ومعايرة الدقة (INT8 و FP16)، وإدارة ذاكرة الموتر الديناميكية، والضبط التلقائي للنواة (kernel auto-tuning). يتيح تحويل نماذج التعلم العميق إلى تنسيق TensorRT للمطورين إدراك إمكانات وحدات معالجة الرسومات من NVIDIA بالكامل.

تشتهر TensorRT بتوافقها مع تنسيقات النماذج المختلفة، بما في ذلك TensorFlow وPyTorch وONNX، مما يوفر للمطورين حلاً مرناً لدمج وتحسين النماذج من أطر عمل مختلفة. تتيح هذه التعددية إمكانية model deployment بكفاءة عبر بيئات الأجهزة والبرمجيات المتنوعة.

الميزات الرئيسية لنماذج TensorRT#

توفر نماذج TensorRT مجموعة من الميزات الرئيسية التي تساهم في كفاءتها وفعاليتها في استنتاج التعلم العميق عالي السرعة:

• معايرة الدقة (Precision Calibration): يدعم TensorRT معايرة الدقة، مما يسمح بضبط النماذج لتلبية متطلبات دقة محددة. يتضمن ذلك دعم تنسيقات الدقة المنخفضة مثل INT8 و FP16، والتي يمكن أن تعزز سرعة الاستنتاج مع الحفاظ على مستويات دقة مقبولة.

• دمج الطبقات: تتضمن عملية تحسين TensorRT دمج الطبقات، حيث يتم الجمع بين طبقات متعددة من neural network في عملية واحدة. يقلل هذا من العبء الحسابي ويحسن سرعة الاستدلال عن طريق تقليل الوصول إلى الذاكرة والحوسبة.

• إدارة ذاكرة الموتر الديناميكية (Dynamic Tensor Memory Management): يدير TensorRT استخدام ذاكرة الموتر بكفاءة أثناء الاستنتاج، مما يقلل من عبء الذاكرة ويحسن تخصيص الذاكرة. ينتج عن هذا استخدام أكثر كفاءة لذاكرة GPU.

• الضبط التلقائي للنواة (Automatic Kernel Tuning): يطبق TensorRT الضبط التلقائي للنواة لاختيار نواة GPU الأكثر تحسيناً لكل طبقة من النموذج. يضمن هذا النهج التكيفي أن النموذج يستفيد بالكامل من القوة الحسابية لـ GPU.

خيارات النشر في TensorRT#

قبل أن ننظر إلى الكود الخاص بتصدير نماذج YOLO26 إلى تنسيق TensorRT، دعنا نفهم أين تُستخدم نماذج TensorRT عادةً.

يوفر TensorRT العديد من خيارات النشر، ويوازن كل خيار بين سهولة التكامل وتحسين الأداء والمرونة بشكل مختلف:

• النشر داخل TensorFlow: تدمج هذه الطريقة TensorRT في TensorFlow، مما يسمح للنماذج المحسنة بالعمل في بيئة TensorFlow مألوفة. وهي مفيدة للنماذج التي تحتوي على مزيج من الطبقات المدعومة وغير المدعومة، حيث يمكن لـ TF-TRT التعامل مع هذه بكفاءة.

• واجهة برمجة تطبيقات وقت التشغيل المستقلة (Standalone TensorRT Runtime API): توفر تحكماً دقيقاً، وهي مثالية للتطبيقات الحساسة للأداء. إنها أكثر تعقيداً ولكنها تسمح بتنفيذ مخصص للمشغلين غير المدعومين.

• خادم استنتاج NVIDIA Triton (NVIDIA Triton Inference Server): خيار يدعم النماذج من أطر عمل مختلفة. وهو مناسب بشكل خاص للاستنتاج السحابي أو على الحافة (edge)، حيث يوفر ميزات مثل تنفيذ النموذج المتزامن وتحليل النموذج.

المهام المدعومة#

يدعم تصدير TensorRT جميع مهام Ultralytics السبع. تتوفّر التجزئة الدلالية وتقدير العمق حصرياً مع YOLO26، وهي العائلة الوحيدة التي توفّر تلك الرؤوس.

تصدير نماذج YOLO26 إلى TensorRT#

يمكنك تحسين كفاءة التنفيذ وتعزيز الأداء عن طريق تحويل نماذج YOLO26 إلى تنسيق TensorRT.

التثبيت#

لتثبيت الحزمة المطلوبة، قم بتشغيل:

# Install the required package for YOLO26
pip install ultralytics

للحصول على إرشادات تفصيلية وأفضل الممارسات المتعلقة بعملية التثبيت، راجع دليل تثبيت YOLO26. أثناء تثبيت الحزم المطلوبة لـ YOLO26، إذا واجهت أي صعوبات، فاستشر دليل المشكلات الشائعة للحصول على الحلول والنصائح.

الاستخدام#

قبل الغوص في إرشادات الاستخدام، تأكد من الاطلاع على مجموعة نماذج YOLO26 التي توفرها Ultralytics. سيساعدك هذا في اختيار النموذج الأنسب لمتطلبات مشروعك.

يدعم تنسيق TensorRT أوضاع Export وPredict وValidate. يتطلب الاستدلال والتحقق وحدة معالجة رسومات NVIDIA. قم بتصدير نموذجك، ثم قم بتحميل النموذج المصدر لتشغيل الاستدلال أو التحقق من دقته.

from ultralytics import YOLO

# Load a YOLO26 model
model = YOLO("yolo26n.pt")

# Export the model to TensorRT format
model.export(format="engine")  # creates 'yolo26n.engine'

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Run inference
results = model("https://ultralytics.com/images/bus.jpg")

from ultralytics import YOLO

# Load the exported TensorRT model
model = YOLO("yolo26n.engine")

# Validate accuracy on the COCO8 dataset
metrics = model.val(data="coco8.yaml")

وسائط التصدير#

لمزيد من التفاصيل حول عملية التصدير، تفضل بزيارة صفحة وثائق Ultralytics حول التصدير.

تصدير TensorRT مع تكميم INT8#

يؤدي تصدير نماذج Ultralytics YOLO باستخدام TensorRT بدقة precision INT8 إلى تنفيذ الكمية بعد التدريب (PTQ). تستخدم TensorRT المعايرة لـ PTQ، والتي تقيس توزيع التنشيطات داخل كل موتر تنشيط أثناء قيام نموذج YOLO بمعالجة الاستدلال على بيانات إدخال ممثلة، ثم تستخدم هذا التوزيع لتقدير قيم القياس لكل موتر. كل موتر تنشيط مرشح للكمية له مقياس مرتب يتم استنتاجه بواسطة عملية معايرة.

عند معالجة الشبكات المكممة ضمنياً، يستخدم TensorRT تقنية INT8 بشكل انتهازي لتحسين وقت تنفيذ الطبقة. إذا كانت الطبقة تعمل بشكل أسرع في INT8 ولديها مقاييس تكميم معينة على مدخلات ومخرجات بياناتها، فسيتم تعيين نواة بدقة INT8 لتلك الطبقة، وإلا يختار TensorRT دقة إما FP32 أو FP16 للنواة بناءً على أيهما ينتج وقت تنفيذ أسرع لتلك الطبقة.

تكوين تصدير INT8#

الوسائط المتوفرة عند استخدام export لنموذج Ultralytics YOLO ستؤثر بشكل كبير على أداء النموذج المصدر. ستحتاج أيضاً إلى اختيارها بناءً على موارد الجهاز المتاحة، ومع ذلك يجب أن تعمل الوسائط الافتراضية مع معظم Ampere (or newer) NVIDIA discrete GPUs. خوارزمية المعايرة المستخدمة هي "MINMAX_CALIBRATION" لصادرات وحدة معالجة الرسومات، بينما تستخدم صادرات DLA على NVIDIA Jetson "ENTROPY_CALIBRATION_2". يمكنك قراءة المزيد من التفاصيل حول الخيارات المتاحة in the TensorRT Developer Guide. وجدت اختبارات Ultralytics أن "MINMAX_CALIBRATION" هو الخيار الأفضل لصادرات وحدة معالجة الرسومات، ويتم اختيار الخوارزمية تلقائياً بناءً على جهاز التصدير.

• workspace : يتحكم في حجم (بـ GiB) تخصيص ذاكرة الجهاز أثناء تحويل أوزان النموذج.

  • اضبط قيمة workspace وفقاً لاحتياجات المعايرة وتوفر الموارد. بينما قد تؤدي workspace الأكبر إلى زيادة وقت المعايرة، إلا أنها تسمح لـ TensorRT باكتشاف نطاق أوسع من تكتيكات التحسين، مما قد يعزز أداء النموذج وaccuracy. على العكس من ذلك، يمكن أن تقلل workspace الأصغر وقت المعايرة ولكنها قد تقيد استراتيجيات التحسين، مما يؤثر على جودة النموذج الكمي.

  • الافتراضي هو workspace=None، والذي سيسمح لـ TensorRT بتخصيص الذاكرة تلقائياً، عند التكوين يدويًا، قد تحتاج هذه القيمة إلى الزيادة في حالة تعطل المعايرة (الخروج بدون تحذير).

  • ستبلغ TensorRT عن UNSUPPORTED_STATE أثناء التصدير إذا كانت قيمة workspace أكبر من الذاكرة المتاحة للجهاز، مما يعني أنه يجب خفض قيمة workspace أو ضبطها على None.

  • إذا تم ضبط workspace على الحد الأقصى وفشلت/تعطلت المعايرة، ففكر في استخدام None للتخصيص التلقائي أو عن طريق تقليل قيم imgsz وbatch لتقليل متطلبات الذاكرة.

  • تذكر أن المعايرة لـ INT8 خاصة بكل جهاز، حيث أن استعارة GPU "عالي الأداء" للمعايرة قد يؤدي إلى ضعف الأداء عند تشغيل الاستنتاج على جهاز آخر.

• batch : الحد الأقصى لحجم الدفعة الذي سيتم استخدامه للاستدلال. أثناء الاستدلال، يمكن استخدام دفعات أصغر، لكن الاستدلال لن يقبل دفعات أكبر من المحددة.

أدت تجارب NVIDIA إلى التوصية باستخدام ما لا يقل عن 500 صورة معايرة ممثلة لبيانات نموذجك، مع معايرة كمية INT8. هذا إرشادي وليس متطلباً صارماً، وستحتاج إلى التجربة لمعرفة ما هو مطلوب للعمل بشكل جيد لمجموعة البيانات الخاصة بك. نظراً لأن بيانات المعايرة مطلوبة لمعايرة INT8 مع TensorRT، فتأكد من استخدام وسيط data عندما يكون quantize=8 لـ TensorRT واستخدام data="my_dataset.yaml"، والذي سيستخدم الصور من validation للمعايرة بها. عندما لا يتم تمرير أي قيمة لـ data مع التصدير إلى TensorRT مع كمية INT8، سيكون الافتراضي هو استخدام إحدى "small" example datasets based on the model task بدلاً من طرح خطأ.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")
model.export(
    format="engine",
    dynamic=True,  # (1)!
    batch=8,  # (2)!
    workspace=4,  # (3)!
    quantize=8,
    data="coco.yaml",  # (4)!
)

# Load the exported TensorRT INT8 model
model = YOLO("yolo26n.engine", task="detect")

# Run inference
result = model.predict("https://ultralytics.com/images/bus.jpg")

مزايا استخدام YOLO مع TensorRT INT8#

• حجم نموذج أصغر: يمكن أن يؤدي التكميم من FP32 إلى INT8 إلى تقليل حجم النموذج بمقدار 4 مرات (على القرص أو في الذاكرة)، مما يؤدي إلى أوقات تنزيل أسرع، ومتطلبات تخزين أقل، وتقليل بصمة الذاكرة عند نشر النموذج.

• استهلاك أقل للطاقة: يمكن لعمليات الدقة المنخفضة لنماذج YOLO المصدرة بتنسيق INT8 أن تستهلك طاقة أقل مقارنة بنماذج FP32، خاصة للأجهزة التي تعمل بالبطارية.

• سرعات استنتاج محسنة: يعمل TensorRT على تحسين النموذج للأجهزة المستهدفة، مما قد يؤدي إلى سرعات استنتاج أسرع على وحدات معالجة الرسومات والأجهزة المدمجة والمسرعات.

عيوب استخدام YOLO مع TensorRT INT8#

• انخفاض مقاييس التقييم: استخدام دقة أقل يعني أن mAP أو Precision أو Recall أو أي other metric used to evaluate model performance من المرجح أن يكون أسوأ إلى حد ما. يتم الاحتفاظ بطبقات السيجمويد بدقة أعلى للحفاظ على معايرة النتائج، ولكن يمكن لـ INT8 أن تظل تغير قيم الثقة، لذا حدد عتبة التشغيل من منحنى F1 الخاص بنموذج INT8. راجع Performance results section لمقارنة الاختلافات في mAP50 وmAP50-95 عند التصدير باستخدام INT8 على عينة صغيرة من الأجهزة المختلفة.

• زيادة أوقات التطوير: قد يستغرق العثور على الإعدادات "المثالية" لمعايرة INT8 لمجموعة البيانات والجهاز قدراً كبيراً من الاختبار.

• التبعية على الأجهزة: قد تكون مكاسب المعايرة والأداء معتمدة بشكل كبير على الأجهزة، وتكون أوزان النموذج أقل قابلية للنقل.

أداء تصدير Ultralytics YOLO TensorRT#

NVIDIA A100#

وحدات معالجة الرسومات للمستهلكين#

أجهزة مضمنة#

طرق التقييم#

قم بتوسيع الأقسام أدناه للحصول على معلومات حول كيفية تصدير هذه النماذج واختبارها.

from ultralytics import YOLO

model = YOLO("yolo26n.pt")

# TensorRT FP32
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2)

# TensorRT FP16
out = model.export(format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=16)

# TensorRT INT8 with calibration `data` (i.e. COCO, ImageNet, or DOTAv1 for appropriate model task)
out = model.export(
    format="engine", imgsz=640, dynamic=True, verbose=False, batch=8, workspace=2, quantize=8, data="coco8.yaml"
)

import cv2

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
img = cv2.imread("path/to/image.jpg")

for _ in range(100):
    result = model.predict(
        [img] * 8,  # batch=8 of the same image
        verbose=False,
        device="cuda",
    )

from ultralytics import YOLO

model = YOLO("yolo26n.engine")
results = model.val(
    data="data.yaml",  # COCO, ImageNet, or DOTAv1 for appropriate model task
    batch=1,
    imgsz=640,
    verbose=False,
    device="cuda",
)

نشر نماذج YOLO26 المصدرة إلى TensorRT#

بعد تصدير نماذج Ultralytics YOLO26 الخاصة بك بنجاح إلى تنسيق TensorRT، أنت الآن جاهز لنشرها. للحصول على تعليمات مفصلة حول نشر نماذج TensorRT الخاصة بك في بيئات مختلفة، ألقِ نظرة على الموارد التالية:

• Deploy Ultralytics with a Triton Server: دليلنا حول كيفية استخدام خادم NVIDIA Triton Inference (TensorRT Inference سابقاً) خصيصاً للاستخدام مع نماذج Ultralytics YOLO.

• Deploying Deep Neural Networks with NVIDIA TensorRT: تشرح هذه المقالة كيفية استخدام NVIDIA TensorRT لنشر شبكات عصبية عميقة بكفاءة على منصات النشر القائمة على وحدة معالجة الرسومات.

• End-to-End AI for NVIDIA-Based PCs: NVIDIA TensorRT Deployment: توضح هذه المقالة استخدام NVIDIA TensorRT لتحسين ونشر نماذج الذكاء الاصطناعي على أجهزة الكمبيوتر التي تعمل بنظام NVIDIA.

• GitHub Repository for NVIDIA TensorRT:: هذا هو مستودع GitHub الرسمي الذي يحتوي على الكود المصدري والتوثيق لـ NVIDIA TensorRT.

ملخص#

في هذا الدليل، ركزنا على تحويل نماذج Ultralytics YOLO26 إلى تنسيق نموذج TensorRT الخاص بـ NVIDIA. تعد خطوة التحويل هذه حاسمة لتحسين كفاءة وسرعة نماذج YOLO26، مما يجعلها أكثر فاعلية ومناسبة لبيئات النشر المتنوعة.

لمزيد من المعلومات حول تفاصيل الاستخدام، ألق نظرة على TensorRT official documentation.

إذا كنت مهتماً بتكاملات Ultralytics YOLO26 الإضافية، فإن integration guide page الخاصة بنا توفر مجموعة واسعة من الموارد والمعلومات المفيدة.

الأسئلة الشائعة#