Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT

يوفر هذا الدليل الشامل شرحاً مفصلاً لنشر نماذج Ultralytics YOLO26 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT. نستخدم هنا TensorRT لتحقيق أقصى أداء استنتاج على منصة Jetson.

ما هو NVIDIA DeepStream؟

NVIDIA's DeepStream SDK هو مجموعة أدوات تحليل البث الكاملة القائمة على GStreamer لمعالجة البيانات متعددة المستشعرات المستندة إلى الذكاء الاصطناعي، وفهم الفيديو، والصوت، والصور. وهو مثالي لمطوري رؤية الحاسوب، وشركاء البرمجيات، والشركات الناشئة، ومصنعي المعدات الأصلية الذين يبنون تطبيقات وخدمات تحليل الفيديو الذكي (IVA). يمكنك الآن إنشاء خطوط معالجة للبث تدمج الشبكات العصبية ومهام معالجة معقدة أخرى مثل التتبع، وترميز/فك ترميز الفيديو، وعرض الفيديو. تتيح خطوط المعالجة هذه إجراء تحليلات في الوقت الفعلي على بيانات الفيديو والصور والمستشعرات. يمنحك دعم DeepStream للمنصات المتعددة طريقة أسرع وأسهل لتطوير تطبيقات وخدمات رؤية الذكاء الاصطناعي محلياً، وعند الحافة، وفي السحابة.

المتطلبات الأساسية

قبل البدء في اتباع هذا الدليل:

• قم بزيارة وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO26 لإعداد جهاز NVIDIA Jetson الخاص بك باستخدام Ultralytics YOLO26
• قم بتثبيت DeepStream SDK وفقاً لإصدار JetPack
  • لإصدار JetPack 4.6.4، قم بتثبيت DeepStream 6.0.1
  • لإصدار JetPack 5.1.3، قم بتثبيت DeepStream 6.3
  • لإصدار JetPack 6.1، قم بتثبيت DeepStream 7.1
  • لإصدار JetPack 7.1، قم بتثبيت DeepStream 9.0

تهيئة DeepStream لـ YOLO26

نستخدم هنا مستودع GitHub marcoslucianops/DeepStream-Yolo الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO. نشكر جهود marcoslucianops على مساهماته!

1. تثبيت Ultralytics مع التبعيات اللازمة

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim

2. استنساخ مستودع DeepStream-Yolo

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo

3. انسخ ملف export_yolo26.py من دليل DeepStream-Yolo/utils إلى مجلد ultralytics

   cp ~/DeepStream-Yolo/utils/export_yolo26.py ~/ultralytics
   cd ultralytics

4. قم بتنزيل نموذج الكشف Ultralytics YOLO26 (.pt) الذي تختاره من إصدارات YOLO26. نستخدم هنا yolo26s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.4.0/yolo26s.pt

5. تحويل النموذج إلى ONNX

   python3 export_yolo26.py -w yolo26s.pt

--opset 12

-s SIZE
--size SIZE
-s HEIGHT WIDTH
--size HEIGHT WIDTH

-s 1280
or
-s 1280 1280

--simplify

--dynamic

--batch 4

6. انسخ ملف النموذج .onnx الذي تم إنشاؤه وملف labels.txt إلى مجلد DeepStream-Yolo

   cp yolo26s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo

7. قم بتعيين إصدار CUDA وفقاً لإصدار JetPack المثبت

   لإصدار JetPack 4.6.4:

   export CUDA_VER=10.2

   لإصدار JetPack 5.1.3:

   export CUDA_VER=11.4

   لإصدار JetPack 6.1:

   export CUDA_VER=12.6

8. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

9. قم بتحرير ملف config_infer_primary_yolo26.txt وفقاً لنموذجك (لـ YOLO26s مع 80 فئة)

   [property]
   ...
   onnx-file=yolo26s.pt.onnx
   ...
   num-detected-classes=80
   ...

10. قم بتحرير ملف deepstream_app_config

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yolo26.txt

11. يمكنك أيضاً تغيير مصدر الفيديو في ملف deepstream_app_config. هنا، يتم تحميل ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4

تشغيل الاستنتاج

deepstream-app -c deepstream_app_config.txt

معايرة INT8

إذا كنت ترغب في استخدام دقة INT8 للاستنتاج، فأنت بحاجة إلى اتباع الخطوات أدناه:

1. ضبط متغير البيئة OPENCV

   export OPENCV=1

2. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo

3. بالنسبة لمجموعة بيانات COCO، قم بتنزيل val2017، واستخرج الملف، وانقله إلى مجلد DeepStream-Yolo

4. قم بإنشاء دليل جديد لصور المعايرة

   mkdir calibration

5. قم بتشغيل ما يلي لاختيار 1000 صورة عشوائية من مجموعة بيانات COCO لتشغيل المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do
     cp ${jpg} calibration/
   done

6. قم بإنشاء ملف calibration.txt مع جميع الصور المختارة

   realpath calibration/*jpg > calibration.txt

7. ضبط متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1

8. قم بتحديث ملف config_infer_primary_yolo26.txt

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...

تشغيل الاستنتاج

deepstream-app -c deepstream_app_config.txt

إعداد البث المتعدد

لإعداد تدفقات متعددة تحت تطبيق DeepStream واحد، قم بإجراء التغييرات التالية على ملف deepstream_app_config.txt:

1. قم بتغيير الصفوف والأعمدة لبناء عرض شبكي وفقاً لعدد التدفقات التي تريد الحصول عليها. على سبيل المثال، لـ 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2

2. قم بضبط num-sources=4 وأضف إدخالات uri لجميع التدفقات الأربعة.

   [source0]
   enable=1
   type=3
   uri=path/to/video1.jpg
   uri=path/to/video2.jpg
   uri=path/to/video3.jpg
   uri=path/to/video4.jpg
   num-sources=4

تشغيل الاستنتاج

deepstream-app -c deepstream_app_config.txt

نتائج القياس المعياري

تلخص المعايير التالية كيفية أداء نماذج YOLO26 عند مستويات دقة TensorRT المختلفة مع حجم إدخال 640x640 على NVIDIA Jetson Orin NX 16GB.

جدول المقارنة

جدول مقارنة مفصل

شكر وتقدير

تم إنشاء هذا الدليل في الأصل بواسطة أصدقائنا في Seeed Studio، لاكشانثا وإيلين.

الأسئلة الشائعة

كيف يمكنني إعداد Ultralytics YOLO26 على جهاز NVIDIA Jetson؟

لإعداد Ultralytics YOLO26 على جهاز NVIDIA Jetson، تحتاج أولاً إلى تثبيت DeepStream SDK المتوافق مع إصدار JetPack الخاص بك. اتبع الدليل خطوة بخطوة في دليل البدء السريع لتهيئة NVIDIA Jetson لنشر YOLO26.

ما فائدة استخدام TensorRT مع YOLO26 على NVIDIA Jetson؟

يؤدي استخدام TensorRT مع YOLO26 إلى تحسين النموذج للاستنتاج، مما يقلل بشكل كبير من زمن الوصول ويحسن الإنتاجية على أجهزة NVIDIA Jetson. يوفر TensorRT استنتاج تعلم عميق عالي الأداء ومنخفض زمن الوصول من خلال دمج الطبقات، ومعايرة الدقة، والضبط التلقائي للنواة. يؤدي هذا إلى تنفيذ أسرع وأكثر كفاءة، وهو مفيد بشكل خاص للتطبيقات في الوقت الفعلي مثل تحليلات الفيديو والآلات المستقلة.

هل يمكنني تشغيل Ultralytics YOLO26 باستخدام DeepStream SDK عبر أجهزة NVIDIA Jetson المختلفة؟

نعم، دليل نشر Ultralytics YOLO26 باستخدام DeepStream SDK و TensorRT متوافق مع جميع أجهزة NVIDIA Jetson. يشمل ذلك أجهزة مثل Jetson Orin NX 16GB مع JetPack 5.1.3 و Jetson Nano 4GB مع JetPack 4.6.4. ارجع إلى قسم تهيئة DeepStream لـ YOLO26 للحصول على خطوات مفصلة.

كيف يمكنني تحويل نموذج YOLO26 إلى ONNX لـ DeepStream؟

لتحويل نموذج YOLO26 إلى تنسيق ONNX للنشر باستخدام DeepStream، استخدم البرنامج النصي utils/export_yolo26.py من مستودع DeepStream-Yolo.

إليك مثال على الأمر:

python3 utils/export_yolo26.py -w yolo26s.pt --opset 12 --simplify

لمزيد من التفاصيل حول تحويل النموذج، راجع قسم تصدير النموذج الخاص بنا.

ما هي معايير الأداء لـ YOLO على NVIDIA Jetson Orin NX؟

يختلف أداء نماذج YOLO26 على NVIDIA Jetson Orin NX 16GB بناءً على مستويات دقة TensorRT. على سبيل المثال، تحقق نماذج YOLO26s ما يلي:

• دقة FP32: 14.6 مللي ثانية/صورة، 68.5 إطار في الثانية
• دقة FP16: 7.94 مللي ثانية/صورة، 126 إطار في الثانية
• دقة INT8: 5.95 مللي ثانية/صورة، 168 إطار في الثانية

تؤكد هذه المعايير كفاءة وقدرة استخدام نماذج YOLO26 المحسنة بواسطة TensorRT على أجهزة NVIDIA Jetson. لمزيد من التفاصيل، راجع قسم نتائج القياس المعياري الخاص بنا.