Link to this sectionUltralytics YOLO26 على NVIDIA Jetson باستخدام DeepStream SDK و TensorRT#

يقدم هذا الدليل الشامل شرحاً مفصلاً لنشر نماذج Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT. نستخدم هنا TensorRT لتعظيم أداء الاستنتاج على منصة Jetson.

يستعرض هذا الدليل تكوين DeepStream لـ YOLO26، ومعايرة INT8، وإعداد البث المتعدد، ونتائج القياس.

Link to this sectionما هو NVIDIA DeepStream؟#

NVIDIA's DeepStream SDK عبارة عن مجموعة أدوات متكاملة لتحليلات البث تعتمد على GStreamer لمعالجة المستشعرات المتعددة المستندة إلى الذكاء الاصطناعي، وفهم الفيديو، والصوت، والصور. إنها مثالية لمطوري رؤية الحاسوب بالذكاء الاصطناعي، وشركاء البرمجيات، والشركات الناشئة، ومصنعي المعدات الأصلية (OEMs) الذين يبنون تطبيقات وخدمات IVA (تحليلات الفيديو الذكية). يمكنك الآن إنشاء خطوط أنابيب لمعالجة البث تدمج الشبكات العصبية ومهام معالجة معقدة أخرى مثل التتبع، وترميز/فك ترميز الفيديو، وعرض الفيديو. تتيح خطوط الأنابيب هذه إجراء تحليلات في الوقت الفعلي على بيانات الفيديو والصور والمستشعرات. يمنحك دعم DeepStream متعدد المنصات طريقة أسرع وأسهل لتطوير تطبيقات وخدمات رؤية الذكاء الاصطناعي محلياً، وعند الحافة، وفي السحابة.

Link to this sectionالمتطلبات الأساسية#

قبل البدء في اتباع هذا الدليل:

• تفضل بزيارة وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO26 لإعداد جهاز NVIDIA Jetson الخاص بك مع Ultralytics YOLO26
• قم بتثبيت DeepStream SDK وفقاً لإصدار JetPack
  • بالنسبة لـ JetPack 4.6.4، قم بتثبيت DeepStream 6.0.1
  • بالنسبة لـ JetPack 5.1.3، قم بتثبيت DeepStream 6.3
  • بالنسبة لـ JetPack 6.1، قم بتثبيت DeepStream 7.1
  • بالنسبة لـ JetPack 7.1، قم بتثبيت DeepStream 9.0

Link to this sectionتهيئة DeepStream لـ YOLO26#

نستخدم هنا مستودع GitHub الخاص بـ marcoslucianops/DeepStream-Yolo والذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO. نقدر جهود marcoslucianops لمساهماته!

1. تثبيت Ultralytics مع التبعيات اللازمة

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. استنساخ مستودع DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. انسخ ملف export_yolo26.py من دليل DeepStream-Yolo/utils إلى مجلد ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. قم بتنزيل نموذج الكشف Ultralytics YOLO26 (.pt) الذي تختاره من إصدارات YOLO26. نستخدم هنا yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. تحويل النموذج إلى ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. انسخ ملف النموذج المُنشأ .onnx وملف labels.txt إلى مجلد DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. اضبط إصدار CUDA وفقاً لإصدار JetPack المثبت

   بالنسبة لـ JetPack 4.6.4:

   export CUDA_VER=10.2

   بالنسبة لـ JetPack 5.1.3:

   export CUDA_VER=11.4

   بالنسبة لـ JetPack 6.1:

   export CUDA_VER=12.6

8. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. قم بتحرير ملف config_infer_primary_yolo26.txt وفقاً لنموذجك (بالنسبة لـ YOLO26s مع 80 فئة)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. قم بتحرير ملف deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. يمكنك أيضاً تغيير مصدر الفيديو في ملف deepstream_app_config. هنا، يتم تحميل ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

Link to this sectionتشغيل الاستنتاج#

deepstream-app -c deepstream_app_config.txt

Link to this sectionمعايرة INT8#

إذا كنت ترغب في استخدام دقة INT8 للاستنتاج، فأنت بحاجة إلى اتباع الخطوات أدناه:

1. اضبط متغير البيئة OPENCV

   export OPENCV=1

2. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. بالنسبة لمجموعة بيانات COCO، قم بتنزيل val2017، واستخرج الملفات، وانقلها إلى مجلد DeepStream-Yolo

4. أنشئ دليلاً جديداً لصور المعايرة

   mkdir calibration

5. قم بتشغيل ما يلي لاختيار 1000 صورة عشوائية من مجموعة بيانات COCO لتشغيل المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. أنشئ ملف calibration.txt مع جميع الصور المحددة

   realpath calibration/*jpg > calibration.txt

7. اضبط متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. قم بتحديث ملف config_infer_primary_yolo26.txt

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

Link to this sectionتشغيل استنتاج INT8#

قم بتشغيل نفس الأمر لبناء محرك INT8 وبدء الاستنتاج:

deepstream-app -c deepstream_app_config.txt

Link to this sectionإعداد البث المتعدد#

لإعداد تدفقات متعددة ضمن تطبيق DeepStream واحد، قم بإجراء التغييرات التالية على ملف deepstream_app_config.txt:

1. قم بتغيير الصفوف والأعمدة لبناء عرض شبكي وفقاً لعدد التدفقات التي تريد الحصول عليها. على سبيل المثال، لـ 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2

2. أضف مجموعة [sourceN] منفصلة لكل بث، مع تحديد uri و num-sources=1 خاص بكل منها.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

Link to this sectionتشغيل استنتاج البث المتعدد#

قم بتشغيل نفس الأمر لتشغيل كافة التدفقات في شاشة العرض المبلطة:

deepstream-app -c deepstream_app_config.txt

Link to this sectionنتائج القياس المرجعي#

تلخص المقاييس التالية كيفية أداء نماذج YOLO11 عند مستويات دقة TensorRT المختلفة مع حجم مدخلات 640x640 على NVIDIA Jetson Orin NX 16GB. يستخدم YOLO26 نفس سير عمل التصدير والاستنتاج في DeepStream الموصوف أعلاه.

Link to this sectionمخطط المقارنة#

Link to this sectionجدول مقارنة مفصل#

Link to this sectionشكر وتقدير#

تم إنشاء هذا الدليل في البداية بواسطة أصدقائنا في Seeed Studio، Lakshantha و Elaine.

Link to this sectionالأسئلة الشائعة#

Link to this sectionكيف أقوم بإعداد Ultralytics YOLO26 على جهاز NVIDIA Jetson؟#

لإعداد Ultralytics YOLO26 على جهاز NVIDIA Jetson، تحتاج أولاً إلى تثبيت DeepStream SDK المتوافق مع إصدار JetPack الخاص بك. اتبع الدليل خطوة بخطوة في دليل البدء السريع لتهيئة NVIDIA Jetson الخاص بك لنشر YOLO26.

Link to this sectionما هي فائدة استخدام TensorRT مع YOLO26 على NVIDIA Jetson؟#

يؤدي استخدام TensorRT مع YOLO26 إلى تحسين النموذج للاستنتاج، مما يقلل بشكل كبير من التأخير ويحسن الإنتاجية على أجهزة NVIDIA Jetson. يوفر TensorRT استنتاج تعلم عميق عالي الأداء ومنخفض التأخير من خلال دمج الطبقات، ومعايرة الدقة، والضبط التلقائي للنواة. يؤدي هذا إلى تنفيذ أسرع وأكثر كفاءة، وهو مفيد بشكل خاص للتطبيقات في الوقت الفعلي مثل تحليلات الفيديو والآلات المستقلة.

Link to this sectionهل يمكنني تشغيل Ultralytics YOLO26 باستخدام DeepStream SDK عبر أجهزة NVIDIA Jetson المختلفة؟#

نعم، دليل نشر Ultralytics YOLO26 مع DeepStream SDK و TensorRT متوافق عبر مجموعة أجهزة NVIDIA Jetson بالكامل. يتضمن ذلك أجهزة مثل Jetson Orin NX 16GB مع JetPack 5.1.3 و Jetson Nano 4GB مع JetPack 4.6.4. راجع قسم تهيئة DeepStream لـ YOLO26 للحصول على خطوات مفصلة.

Link to this sectionكيف يمكنني تحويل نموذج YOLO26 إلى ONNX لـ DeepStream؟#

لتحويل نموذج YOLO26 إلى تنسيق ONNX للنشر مع DeepStream، استخدم البرنامج النصي utils/export_yolo26.py من مستودع DeepStream-Yolo.

إليك مثال على الأمر:

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

لمزيد من التفاصيل حول تحويل النموذج، تحقق من قسم تصدير النموذج الخاص بنا.

Link to this sectionكيف يمكنني تشغيل استنتاج INT8 باستخدام YOLO26 على DeepStream؟#

لتشغيل استنتاج INT8، قم بمعايرة النموذج على مجموعة صور تمثيلية وقم بتبديل تكوين DeepStream إلى وضع INT8. قم بتنزيل صور COCO val2017، واختر حوالي 1000 صورة للمعايرة، وقم بتعيين متغيرات البيئة INT8_CALIB_IMG_PATH و INT8_CALIB_BATCH_SIZE، ثم قم بتحديث config_infer_primary_yolo26.txt باستخدام model-engine-file=model_b1_gpu0_int8.engine و int8-calib-file=calib.table و network-mode=1. راجع قسم معايرة INT8 للحصول على الخطوات الكاملة. تتطلب INT8 حالياً إصدار TensorRT 8.x.

Link to this sectionكيف يمكنني تشغيل عدة تدفقات كاميرا مع DeepStream على Jetson؟#

لمعالجة تدفقات متعددة في تطبيق DeepStream واحد، قم بتحرير ملف deepstream_app_config.txt لإضافة شبكة عرض مبلطة وإدراج كل مصدر URI. قم بتعيين rows و columns تحت [tiled-display] لبناء الشبكة، وأضف مجموعة [sourceN] منفصلة لكل تدفق مع تحديد uri و num-sources=1 خاص به، واضبط الشبكة لتناسب عدد التدفقات. راجع قسم إعداد البث المتعدد للحصول على مثال كامل.

Link to this sectionما هي مقاييس الأداء لـ YOLO على NVIDIA Jetson Orin NX؟#

يختلف أداء نماذج YOLO11 على NVIDIA Jetson Orin NX 16GB بناءً على مستويات دقة TensorRT. على سبيل المثال، تحقق نماذج YOLO11s ما يلي:

• دقة FP32: 14.53 مللي ثانية/صورة، 68.8 إطار في الثانية
• دقة FP16: 7.91 مللي ثانية/صورة، 126 إطار في الثانية
• دقة INT8: 6.05 مللي ثانية/صورة، 165 إطار في الثانية

تؤكد هذه المقاييس كفاءة وقدرة استخدام نماذج YOLO11 المحسنة بواسطة TensorRT على أجهزة NVIDIA Jetson. لمزيد من التفاصيل، راجع قسم نتائج القياس الخاص بنا.