Ultralytics YOLO26 على NVIDIA Jetson باستخدام DeepStream SDK وTensorRT#

يقدم هذا الدليل الشامل شرحًا تفصيليًا لنشر Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK وTensorRT. نستخدم هنا TensorRT لتحقيق أقصى أداء للاستدلال على منصة Jetson.

يشرح هذا الدليل خطوات إعداد DeepStream لـ YOLO26، ومعايرة INT8، وإعداد تدفقات متعددة، ونتائج الاختبارات المعيارية.

ما هو NVIDIA DeepStream؟#

إن DeepStream SDK من NVIDIA مجموعة أدوات متكاملة لتحليلات التدفق، مبنية على GStreamer لمعالجة عدة مستشعرات بالذكاء الاصطناعي وفهم الفيديو والصوت والصور. وهي مثالية لمطوري الذكاء الاصطناعي البصري وشركاء البرمجيات والشركات الناشئة ومصنعي المعدات الأصلية الذين يطورون تطبيقات وخدمات IVA (تحليلات الفيديو الذكية). ويمكنك الآن إنشاء مسارات معالجة للتدفق تدمج الشبكات العصبية ومهام المعالجة المعقدة الأخرى، مثل التتبع وترميز الفيديو وفك ترميزه وعرضه. تتيح هذه المسارات إجراء تحليلات آنية لبيانات الفيديو والصور والمستشعرات. ويوفر دعم DeepStream للمنصات المتعددة طريقة أسرع وأسهل لتطوير تطبيقات وخدمات الذكاء الاصطناعي البصري محليًا، وعلى الحافة، وفي السحابة.

المتطلبات الأساسية#

قبل البدء باتباع هذا الدليل:

• زر وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO26، لإعداد جهاز NVIDIA Jetson باستخدام Ultralytics YOLO26
• ثبّت DeepStream SDK وفقًا لإصدار JetPack
  • بالنسبة إلى JetPack 4.6.4، ثبّت DeepStream 6.0.1
  • بالنسبة إلى JetPack 5.1.3، ثبّت DeepStream 6.3
  • بالنسبة إلى JetPack 6.1، ثبّت DeepStream 7.1
  • بالنسبة إلى JetPack 7.1، ثبّت DeepStream 9.0

إعداد DeepStream لـ YOLO26#

نستخدم هنا مستودع GitHub marcoslucianops/DeepStream-Yolo، الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO. ونقدّر جهود marcoslucianops ومساهماته!

1. ثبّت Ultralytics مع التبعيات اللازمة

   pip install ultralytics onnx onnxslim

2. استنسخ مستودع DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. نزّل نموذج كشف Ultralytics YOLO26 (.pt) الذي تختاره من مشروع YOLO26. نستخدم هنا yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. حوّل النموذج إلى ONNX وأنشئ الملف labels.txt الذي يقرأ DeepStream منه أسماء الفئات

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # ⁨ينشئ 'yolo26s.onnx'⁩
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. انسخ ملف النموذج المُنشأ .onnx والملف labels.txt إلى المجلد DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. اضبط إصدار CUDA وفقًا لإصدار JetPack المثبّت

   بالنسبة إلى JetPack 4.6.4:

   export CUDA_VER=10.2

   بالنسبة إلى JetPack 5.1.3:

   export CUDA_VER=11.4

   بالنسبة إلى JetPack 6.1:

   export CUDA_VER=12.6

   بالنسبة إلى JetPack 7.1:

   export CUDA_VER=13.0

7. جمّع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. عدّل الملف config_infer_primary_yolo26.txt وفقًا لنموذجك (لـ YOLO26s ذي 80 فئة)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. عدّل الملف deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. يمكنك أيضًا تغيير مصدر الفيديو في الملف deepstream_app_config. يُحمّل هنا ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

تشغيل الاستدلال#

deepstream-app -c deepstream_app_config.txt

معايرة INT8#

إذا أردت استخدام دقة INT8 للاستدلال، فاتبع الخطوات التالية:

1. اضبط متغير البيئة OPENCV

   export OPENCV=1

2. جمّع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. لمجموعة بيانات COCO، نزّل val2017، وفك ضغطه، وانقله إلى المجلد DeepStream-Yolo

4. أنشئ دليلًا جديدًا لصور المعايرة

   mkdir calibration

5. نفّذ الأمر التالي لاختيار 1000 صورة عشوائية من مجموعة بيانات COCO لإجراء المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. أنشئ الملف calibration.txt متضمنًا جميع الصور المحددة

   realpath calibration/*jpg > calibration.txt

7. اضبط متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. حدّث الملف config_infer_primary_yolo26.txt

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

تشغيل استدلال INT8#

نفّذ الأمر نفسه لإنشاء محرك INT8 وبدء الاستدلال:

deepstream-app -c deepstream_app_config.txt

إعداد تدفقات متعددة#

لإعداد عدة تدفقات ضمن تطبيق DeepStream واحد، أجرِ التغييرات التالية على الملف deepstream_app_config.txt:

1. غيّر عدد الصفوف والأعمدة لإنشاء عرض شبكي يتناسب مع عدد التدفقات المطلوبة. على سبيل المثال، لإضافة 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2

2. أضف مجموعة [sourceN] منفصلة لكل تدفق، مع uri وnum-sources=1 خاصين به.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

تشغيل الاستدلال متعدد التدفقات#

نفّذ الأمر نفسه لتشغيل جميع التدفقات في العرض الشبكي:

deepstream-app -c deepstream_app_config.txt

نتائج الاختبارات المعيارية#

تلخص الاختبارات المعيارية التالية أداء نماذج YOLO11 بمستويات دقة TensorRT المختلفة، مع حجم إدخال 640x640 على NVIDIA Jetson Orin NX بسعة 16GB. يستخدم YOLO26 سير عمل التصدير والاستدلال في DeepStream نفسه الموضح أعلاه.

رسم بياني للمقارنة#

جدول مقارنة مفصل#

شكر وتقدير#

أُعدّ هذا الدليل في البداية بمساهمة صديقينا Lakshantha وElaine من Seeed Studio.

الأسئلة الشائعة#