Ultralytics YOLO11 على NVIDIA جيتسون باستخدام مجموعة أدوات تطوير البرمجيات DeepStream SDK و TensorRT

شاهد: كيفية تشغيل تدفقات متعددة باستخدام DeepStream SDK على Jetson Nano باستخدام Ultralytics YOLO11

يقدم هذا الدليل الشامل شرحًا تفصيليًا لنشر Ultralytics YOLO11 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT. نستخدم هنا TensorRT لزيادة أداء الاستدلال على منصة Jetson.

ما هو NVIDIA DeepStream؟

NVIDIAإن مجموعة أدوات DeepStream SDK الخاصة ب DeepStream عبارة عن مجموعة أدوات كاملة لتحليلات البث تعتمد على GStreamer لمعالجة متعددة أجهزة الاستشعار القائمة على الذكاء الاصطناعي والفيديو والصوت وفهم الصور. إنها مثالية لمطوري الذكاء الاصطناعي للرؤية وشركاء البرامج والشركات الناشئة ومصنعي المعدات الأصلية الذين يقومون ببناء تطبيقات وخدمات تحليلات الفيديو الذكية (IVA). يمكنك الآن إنشاء خطوط أنابيب لمعالجة البث تتضمن شبكات عصبية ومهام معالجة معقدة أخرى مثل التتبع وتشفير/فك تشفير الفيديو وعرض الفيديو. تمكّن خطوط الأنابيب هذه من إجراء تحليلات في الوقت الفعلي على بيانات الفيديو والصور وبيانات المستشعرات. يمنحك دعم DeepStream متعدد المنصات طريقة أسرع وأسهل لتطوير تطبيقات وخدمات الذكاء الاصطناعي للرؤية في مكان العمل وعلى الحافة وفي السحابة.

المتطلبات الأساسية

قبل البدء في اتباع هذا الدليل

• قم بزيارة وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO11 لإعداد جهاز NVIDIA Jetson الخاص بك Jetson مع Ultralytics YOLO11

• قم بتثبيت DeepStream SDK وفقًا لإصدار JetPack

  • بالنسبة ل JetPack 4.6.4، قم بتثبيت DeepStream 6.0.1
  • بالنسبة إلى JetPack 5.1.3، قم بتثبيت DeepStream 6.3

تهيئة DeepStream لـ YOLO11

نحن هنا نستخدم مستودع Marcoslucianops/DeepStream-Yolo GitHub الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO . نحن نقدر جهود marcoslucianops على مساهماته!

1. تثبيت التبعيات

   pip install cmake
   pip install onnxsim
   

2. استنساخ المستودع التالي

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. قم بتنزيل Ultralytics YOLO11 نموذج الكشف (.pt) من اختيارك من إصداراتYOLO11 . نستخدم هنا yolov8s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   ملاحظة

   يمكنك أيضًا استخدام نموذج YOLO11 مدرب مخصص.

4. تحويل النموذج إلى ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   مرر الوسيطات التالية إلى الأمر أعلاه

   بالنسبة إلى DeepStream 6.0.1، استخدم مجموعة العمليات 12 أو أقل. مجموعة العمليات الافتراضية هي 16.

   --opset 12
   

   لتغيير حجم الاستدلال (الافتراضي: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   مثال على 1280:

   -s 1280
   or
   -s 1280 1280
   

   لتبسيط نموذج ONNX (DeepStream >= 6.0)

   --simplify
   

   لاستخدام حجم الدُفعات الديناميكي (DeepStream >= 6.1)

   --dynamic
   

   لاستخدام حجم الدفعة الثابت (مثال لحجم الدفعة الثابتة = 4)

   --batch 4
   

5. قم بتعيين الإصدار CUDA وفقًا لإصدار JetPack المثبت

   بالنسبة إلى JetPack 4.6.4:

   export CUDA_VER=10.2
   

   بالنسبة إلى JetPack 5.1.3:

   export CUDA_VER=11.4
   

6. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. تحرير config_infer_primary_yoloV8.txt ملف وفقًا للنموذج الخاص بك (لـ YOLOv8s مع 80 فئة)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. تحرير deepstream_app_config الملف

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. يمكنك أيضًا تغيير مصدر الفيديو في deepstream_app_config ملف. هنا يتم تحميل ملف فيديو افتراضي

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

معايرة INT8

إذا كنت ترغب في استخدام دقة INT8 للاستدلال، عليك اتباع الخطوات التالية

1. مجموعة OPENCV متغير البيئة

   export OPENCV=1
   

2. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. بالنسبة لمجموعة بيانات COCO، قم بتنزيل فال2017واستخرج، وانتقل إلى DeepStream-Yolo المجلد

4. إنشاء دليل جديد لصور المعايرة

   mkdir calibration
   

5. قم بتشغيل ما يلي لتحديد 1000 صورة عشوائية من مجموعة بيانات COCO لتشغيل المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   ملاحظة

   NVIDIA يوصي بما لا يقل عن 500 صورة للحصول على دقة جيدة. في هذا المثال، تم اختيار 1000 صورة للحصول على دقة أفضل (المزيد من الصور = دقة أكبر). يمكنك ضبطه من الرأس -1000. على سبيل المثال، لـ 2000 صورة، الرأس -2000. قد تستغرق هذه العملية وقتًا طويلاً.

6. إنشاء calibration.txt ملف يحتوي على جميع الصور المحددة

   realpath calibration/*jpg > calibration.txt
   

7. تعيين متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   ملاحظة

   ستؤدي قيم INT8_CALIB_BATCH_SIZE الأعلى إلى دقة أكبر وسرعة معايرة أسرع. اضبطها وفقًا لذاكرتك GPU .

8. تحديث config_infer_primary_yoloV8.txt الملف

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

إعداد البث المتعدد

لإعداد تدفقات متعددة ضمن تطبيق واحد عميق، يمكنك إجراء التغييرات التالية على deepstream_app_config.txt الملف

1. قم بتغيير الصفوف والأعمدة لإنشاء عرض الشبكة وفقًا لعدد التدفقات التي تريدها. على سبيل المثال، لـ 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2
   

2. مجموعة num-sources=4 وإضافة uri من جميع التدفقات الأربعة

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

النتائج المعيارية

يلخص الجدول التالي كيفية أداء نماذج YOLOv8s على مستويات مختلفة من الدقة TensorRT مع حجم إدخال 640 × 640 على NVIDIA Jetson Orin NX 16GB.

شكر وتقدير

تم إنشاء هذا الدليل في البداية من قبل أصدقائنا في Seeed Studio، لاكشانتا وإلين.

الأسئلة الشائعة

كيف أقوم بإعداد Ultralytics YOLO11 على جهاز NVIDIA جيتسون؟

لإعداد Ultralytics YOLO11 على جهاز NVIDIA Jetson، تحتاج أولاً إلى تثبيت DeepStream SDK المتوافق مع إصدار JetPack الخاص بك. اتبع الدليل التفصيلي خطوة بخطوة في دليل البدء السريع لتهيئة جهازك NVIDIA Jetson للنشر YOLO11 .

ما هي الفائدة من استخدام TensorRT مع YOLO11 على NVIDIA جيتسون ؟

يؤدي استخدام TensorRT مع YOLO11 إلى تحسين نموذج الاستدلال، مما يقلل بشكل كبير من زمن الاستجابة ويحسن الإنتاجية على أجهزة NVIDIA Jetson. TensorRT يوفر استنتاج التعلم العميق عالي الأداء ومنخفض زمن الاستجابة من خلال دمج الطبقات والمعايرة الدقيقة والضبط التلقائي للنواة. ويؤدي ذلك إلى تنفيذ أسرع وأكثر كفاءة، وهو أمر مفيد بشكل خاص لتطبيقات الوقت الحقيقي مثل تحليلات الفيديو والآلات المستقلة.

هل يمكنني تشغيل Ultralytics YOLO11 باستخدام DeepStream SDK عبر أجهزة NVIDIA Jetson مختلفة؟

نعم، يتوافق دليل النشر Ultralytics YOLO11 مع DeepStream SDK و TensorRT عبر مجموعة NVIDIA Jetson بأكملها Jetson. وهذا يشمل أجهزة مثل Jetson Orin Orin NX 16GB مع JetPack 5.1.3 و Jetson Nano 4GB مع JetPack 4.6.4. ارجع إلى قسم تهيئة DeepStream لـ YOLO11 للاطلاع على الخطوات التفصيلية.

كيف يمكنني تحويل نموذج YOLO11 إلى ONNX لـ DeepStream؟

لتحويل نموذج YOLO11 إلى تنسيق ONNX للنشر باستخدام DeepStream، استخدم utils/export_yoloV8.py نص من ديب ستريم-Yolo المستودع.

إليك مثال على ذلك الأمر

python3 utils/export_yoloV8.py -w yolov8s.pt --opset 12 --simplify

لمزيد من التفاصيل حول تحويل النماذج، راجع قسم تصدير النماذج لدينا.

ما هي معايير الأداء YOLO على NVIDIA Jetson Orin NX؟

يختلف أداء الطرازات YOLO11 على NVIDIA Jetson Orin NX 16GB بناءً على مستويات الدقة TensorRT . على سبيل المثال، تحقق موديلات YOLOv8s

• دقة FP32: 15.63 مترًا في الثانية، 64 إطارًا في الثانية
• الدقة FP16: 7.94 متر/متر، 126 إطارًا في الثانية
• الدقة INT8: 5.53 متر/متر، 181 إطارًا في الثانية

تؤكد هذه المعايير على كفاءة وقدرة استخدام نماذج YOLO11 المحسّنة TensorRT على أجهزة NVIDIA Jetson . لمزيد من التفاصيل، راجع قسم النتائج المعيارية.

📅 تم إنشاؤها قبل 5 أشهر ✏️ تم التحديث منذ 2 أشهر

التعليقات