Ultralytics YOLO26 على NVIDIA Jetson باستخدام DeepStream SDK وTensorRT#

يقدّم هذا الدليل الشامل شرحًا تفصيليًا لنشر Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK وTensorRT. نستخدم هنا TensorRT لتعظيم أداء الاستدلال على منصة Jetson.

يستعرض هذا الدليل إعداد DeepStream لـ YOLO26، ومعايرة INT8، وإعداد التدفقات المتعددة، ونتائج القياس.

ما هو NVIDIA DeepStream؟#

إن NVIDIA's DeepStream SDK عبارة عن مجموعة أدوات متكاملة لتحليلات التدفق، مبنية على GStreamer لمعالجة متعددة المستشعرات بالاعتماد على الذكاء الاصطناعي، وفهم الفيديو والصوت والصور. وهي مثالية لمطوّري الذكاء الاصطناعي للرؤية، وشركاء البرمجيات، والشركات الناشئة، ومصنّعي المعدات الأصلية الذين يطوّرون تطبيقات وخدمات تحليلات الفيديو الذكية (IVA). يمكنك الآن إنشاء مسارات لمعالجة التدفقات تدمج الشبكات العصبية ومهام معالجة معقدة أخرى مثل التتبّع، وترميز الفيديو وفك ترميزه، وعرض الفيديو. تتيح هذه المسارات إجراء تحليلات آنية لبيانات الفيديو والصور والمستشعرات. ويوفّر دعم DeepStream المتعدد المنصات طريقة أسرع وأسهل لتطوير تطبيقات وخدمات الذكاء الاصطناعي للرؤية في بيئات العمل المحلية، وعلى الحافة، وفي السحابة.

المتطلبات الأساسية#

قبل البدء باتباع هذا الدليل:

• زُر وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO26، لإعداد جهاز NVIDIA Jetson لديك باستخدام Ultralytics YOLO26
• ثبّت DeepStream SDK وفقًا لإصدار JetPack
  • بالنسبة إلى JetPack 4.6.4، ثبّت DeepStream 6.0.1
  • بالنسبة إلى JetPack 5.1.3، ثبّت DeepStream 6.3
  • بالنسبة إلى JetPack 6.1، ثبّت DeepStream 7.1
  • بالنسبة إلى JetPack 7.1، ثبّت DeepStream 9.0

إعداد DeepStream لـ YOLO26#

نستخدم هنا مستودع GitHub ‏marcoslucianops/DeepStream-Yolo، الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO. نُقدّر جهود marcoslucianops وإسهاماته!

1. تثبيت Ultralytics مع التبعيات اللازمة

   pip install ultralytics onnx onnxslim

2. استنساخ مستودع DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. نزّل نموذج كشف Ultralytics YOLO26 ‏(.pt) الذي تختاره من مشروع YOLO26. نستخدم هنا yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

4. قم بتحويل النموذج إلى ONNX واكتب ملف labels.txt الذي تقرأ منه DeepStream أسماء الفئات

   from ultralytics import YOLO
   
   model = YOLO("yolo26s.pt")
   model.export(format="onnx", nms=False, agnostic_nms=True)  # creates 'yolo26s.onnx'
   with open("labels.txt", "w") as f:
       f.write("\n".join(model.names.values()))

5. انسخ ملف النموذج المُنشأ .onnx والملف labels.txt إلى المجلد DeepStream-Yolo

   cp yolo26s.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

6. اضبط إصدار CUDA وفقًا لإصدار JetPack المثبّت

   بالنسبة إلى JetPack 4.6.4:

   export CUDA_VER=10.2

   بالنسبة إلى JetPack 5.1.3:

   export CUDA_VER=11.4

   بالنسبة إلى JetPack 6.1:

   export CUDA_VER=12.6

   لإصدار JetPack 7.1:

   export CUDA_VER=13.0

7. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

8. حرّر الملف config_infer_primary_yolo26.txt وفقًا لنموذجك (بالنسبة إلى YOLO26s مع 80 فئة)

   [property]
   ...
   onnx-file=yolo26s.onnx
   ...
   num-detected-classes=80
   ...
   parse-bbox-func-name=NvDsInferParseYolo
   ...

[property]
...
maintain-aspect-ratio=1
symmetric-padding=1
cluster-mode=4
...

9. حرّر الملف deepstream_app_config

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yolo26.txt

10. يمكنك أيضًا تغيير مصدر الفيديو في الملف deepstream_app_config. يُحمّل هنا ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

تشغيل الاستدلال#

deepstream-app -c deepstream_app_config.txt

معايرة INT8#

إذا أردت استخدام دقة INT8 للاستدلال، فعليك اتباع الخطوات التالية:

1. اضبط متغير البيئة OPENCV

   export OPENCV=1

2. ترجمة المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. بالنسبة إلى مجموعة بيانات COCO، نزّل val2017، وفك الضغط، وانقل الملفات إلى المجلد DeepStream-Yolo

4. أنشئ دليلًا جديدًا لصور المعايرة

   mkdir calibration

5. نفّذ ما يلي لتحديد 1000 صورة عشوائية من مجموعة بيانات COCO لإجراء المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. أنشئ الملف calibration.txt مع جميع الصور المحددة

   realpath calibration/*jpg > calibration.txt

7. اضبط متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. حدّث الملف config_infer_primary_yolo26.txt

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

تشغيل استدلال INT8#

نفّذ الأمر نفسه لإنشاء محرك INT8 وبدء الاستدلال:

deepstream-app -c deepstream_app_config.txt

إعداد التدفقات المتعددة#

لإعداد عدة تدفقات ضمن تطبيق DeepStream واحد، أجرِ التغييرات التالية على الملف deepstream_app_config.txt:

1. غيّر الصفوف والأعمدة لإنشاء عرض شبكي وفقًا لعدد التدفقات التي تريدها. فمثلًا، بالنسبة إلى 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2

2. أضف مجموعة [sourceN] منفصلة لكل تدفق، مع uri وnum-sources=1 الخاصين به.

   [source0]
   enable=1
   type=3
   uri=file:///path/to/video1.mp4
   num-sources=1
   
   [source1]
   enable=1
   type=3
   uri=file:///path/to/video2.mp4
   num-sources=1
   
   [source2]
   enable=1
   type=3
   uri=file:///path/to/video3.mp4
   num-sources=1
   
   [source3]
   enable=1
   type=3
   uri=file:///path/to/video4.mp4
   num-sources=1

تشغيل استدلال التدفقات المتعددة#

نفّذ الأمر نفسه لتشغيل جميع التدفقات في العرض المبلّط:

deepstream-app -c deepstream_app_config.txt

نتائج القياس#

تلخّص اختبارات الأداء التالية أداء نماذج YOLO11 عند مستويات دقة TensorRT المختلفة، بحجم إدخال 640x640 على NVIDIA Jetson Orin NX بسعة 16GB. يستخدم YOLO26 سير العمل نفسه لتصدير النموذج والاستدلال الموضح أعلاه.

مخطط المقارنة#

جدول المقارنة التفصيلي#

شكر وتقدير#

أُنشئ هذا الدليل في الأصل بواسطة صديقينا في Seeed Studio، Lakshantha وElaine.

الأسئلة الشائعة#