Ultralytics YOLO26 على NVIDIA Jetson باستخدام DeepStream SDK و TensorRT#

يقدم هذا الدليل الشامل شرحاً مفصلاً لنشر نماذج Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT. نستخدم هنا TensorRT لتعظيم أداء الاستدلال على منصة Jetson.

يستعرض هذا الدليل إعداد DeepStream لنموذج YOLO26، ومعايرة INT8، وإعداد التدفقات المتعددة، ونتائج المقارنة المعيارية.

ما هو NVIDIA DeepStream؟#

حزمة أدوات DeepStream SDK من NVIDIA هي مجموعة أدوات تحليل تدفق متكاملة تعتمد على GStreamer لمعالجة المستشعرات المتعددة المستندة إلى الذكاء الاصطناعي، وفهم الفيديو والصوت والصور. وهي مثالية لمطوري رؤية الذكاء الاصطناعي، والشركاء البرمجيين، والشركات الناشئة، ومصنعي المعدات الأصلية الذين يبنون تطبيقات وخدمات تحليل الفيديو الذكي (IVA). يمكنك الآن إنشاء خطوط أنابيب معالجة التدفقات التي تدمج الشبكات العصبية ومهام المعالجة المعقدة الأخرى مثل التتبع، وترميز/فك ترميز الفيديو، وعرض الفيديو. تتيح خطوط الأنابيب هذه إجراء تحليلات في الوقت الفعلي على بيانات الفيديو والصور والمستشعرات. يمنحك دعم DeepStream متعدد المنصات طريقتنا الأسرع والأسهل لتطوير تطبيقات وخدمات رؤية الذكاء الاصطناعي محلياً، وعلى الحافة، وفي السحابة.

المتطلبات الأساسية#

قبل البدء في اتباع هذا الدليل:

• تفضل بزيارة وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO26 لإعداد جهاز NVIDIA Jetson الخاص بك باستخدام Ultralytics YOLO26
• قم بتثبيت DeepStream SDK وفقاً لإصدار JetPack
  • بالنسبة لـ JetPack 4.6.4، قم بتثبيت DeepStream 6.0.1
  • بالنسبة لـ JetPack 5.1.3، قم بتثبيت DeepStream 6.3
  • بالنسبة لـ JetPack 6.1، قم بتثبيت DeepStream 7.1
  • بالنسبة لـ JetPack 7.1، قم بتثبيت DeepStream 9.0

تهيئة DeepStream لـ YOLO26#

نستخدم هنا مستودع GitHub marcoslucianops/DeepStream-Yolo الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO. نحن نقدر جهود marcoslucianops على مساهماته!

1. تثبيت Ultralytics مع التبعيات اللازمة

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. استنساخ مستودع DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. انسخ ملف export_yolo26.py من الدليل DeepStream-Yolo/utils إلى المجلد ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. قم بتنزيل نموذج اكتشاف Ultralytics YOLO26 (.pt) الذي تختاره من مشروع YOLO26. نستخدم هنا yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. تحويل النموذج إلى ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. انسخ ملف نموذج .onnx المُنشأ وملف labels.txt إلى المجلد DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. اضبط إصدار CUDA وفقاً لإصدار JetPack المثبت

   بالنسبة لـ JetPack 4.6.4:

   export CUDA_VER=10.2

   بالنسبة لـ JetPack 5.1.3:

   export CUDA_VER=11.4

   بالنسبة لـ JetPack 6.1:

   export CUDA_VER=12.6

8. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. قم بتعديل ملف config_infer_primary_yolo26.txt وفقاً لنموذجك (لـ YOLO26s مع 80 فئة)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

10. قم بتعديل ملف deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. يمكنك أيضاً تغيير مصدر الفيديو في ملف deepstream_app_config. هنا، يتم تحميل ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

تشغيل الاستنتاج#

deepstream-app -c deepstream_app_config.txt

معايرة INT8#

إذا كنت ترغب في استخدام دقة INT8 للاستنتاج، فأنت بحاجة إلى اتباع الخطوات أدناه:

1. قم بتعيين متغير البيئة OPENCV

   export OPENCV=1

2. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. بالنسبة لمجموعة بيانات COCO، قم بتنزيل val2017، وفك الضغط، وانتقل إلى المجلد DeepStream-Yolo

4. أنشئ دليلاً جديداً لصور المعايرة

   mkdir calibration

5. قم بتشغيل ما يلي لاختيار 1000 صورة عشوائية من مجموعة بيانات COCO لتشغيل المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. أنشئ ملف calibration.txt بكل الصور المحددة

   realpath calibration/*jpg > calibration.txt

7. اضبط متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. قم بتحديث ملف config_infer_primary_yolo26.txt

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

تشغيل استنتاج INT8#

قم بتشغيل نفس الأمر لبناء محرك INT8 وبدء الاستنتاج:

deepstream-app -c deepstream_app_config.txt

إعداد البث المتعدد#

لإعداد تدفقات متعددة تحت تطبيق DeepStream واحد، قم بالدفع بالتغييرات التالية على ملف deepstream_app_config.txt:

1. قم بتغيير الصفوف والأعمدة لبناء عرض شبكي وفقاً لعدد التدفقات التي تريد الحصول عليها. على سبيل المثال، لـ 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2

2. أضف مجموعة [sourceN] منفصلة لكل تدفق، ولكل منها uri و num-sources=1 الخاص بها.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

تشغيل استنتاج البث المتعدد#

قم بتشغيل نفس الأمر لتشغيل كافة التدفقات في شاشة العرض المبلطة:

deepstream-app -c deepstream_app_config.txt

نتائج القياس المرجعي#

تلخص المقارنات المعيارية التالية كيفية أداء نماذج YOLO11 في مستويات دقة TensorRT المختلفة مع حجم إدخال 640x640 على NVIDIA Jetson Orin NX 16GB. يستخدم YOLO26 نفس سير عمل التصدير والاستدلال لـ DeepStream الموضح أعلاه.

مخطط المقارنة#

جدول مقارنة مفصل#

شكر وتقدير#

تم إنشاء هذا الدليل في البداية بواسطة أصدقائنا في Seeed Studio، Lakshantha و Elaine.

الأسئلة الشائعة#