Ultralytics YOLO11 على NVIDIA جيتسون باستخدام مجموعة أدوات تطوير البرمجيات DeepStream SDK و TensorRT

شاهد: كيفية تشغيل تدفقات متعددة باستخدام DeepStream SDK على Jetson Nano باستخدام Ultralytics YOLO11

يقدم هذا الدليل الشامل شرحًا تفصيليًا لنشر Ultralytics YOLO11 على أجهزة NVIDIA Jetson باستخدام DeepStream SDK و TensorRT. نستخدم هنا TensorRT لزيادة أداء الاستدلال على منصة Jetson.

ما هو NVIDIA DeepStream؟

NVIDIAإن مجموعة أدوات DeepStream SDK الخاصة ب DeepStream عبارة عن مجموعة أدوات كاملة لتحليلات البث تعتمد على GStreamer لمعالجة متعددة أجهزة الاستشعار القائمة على الذكاء الاصطناعي والفيديو والصوت وفهم الصور. إنها مثالية لمطوري الذكاء الاصطناعي للرؤية وشركاء البرامج والشركات الناشئة ومصنعي المعدات الأصلية الذين يقومون ببناء تطبيقات وخدمات تحليلات الفيديو الذكية (IVA). يمكنك الآن إنشاء خطوط أنابيب لمعالجة البث تتضمن شبكات عصبية ومهام معالجة معقدة أخرى مثل التتبع وتشفير/فك تشفير الفيديو وعرض الفيديو. تمكّن خطوط الأنابيب هذه من إجراء تحليلات في الوقت الفعلي على بيانات الفيديو والصور وبيانات المستشعرات. يمنحك دعم DeepStream متعدد المنصات طريقة أسرع وأسهل لتطوير تطبيقات وخدمات الذكاء الاصطناعي للرؤية في مكان العمل وعلى الحافة وفي السحابة.

المتطلبات الأساسية

قبل البدء في اتباع هذا الدليل

• قم بزيارة وثائقنا، دليل البدء السريع: NVIDIA Jetson مع Ultralytics YOLO11 لإعداد جهاز NVIDIA Jetson الخاص بك Jetson مع Ultralytics YOLO11

• قم بتثبيت DeepStream SDK وفقًا لإصدار JetPack

  • بالنسبة ل JetPack 4.6.4، قم بتثبيت DeepStream 6.0.1
  • بالنسبة إلى JetPack 5.1.3، قم بتثبيت DeepStream 6.3
  • For JetPack 6.1, install DeepStream 7.1

تهيئة DeepStream لـ YOLO11

نحن هنا نستخدم مستودع Marcoslucianops/DeepStream-Yolo GitHub الذي يتضمن دعم NVIDIA DeepStream SDK لنماذج YOLO . نحن نقدر جهود marcoslucianops على مساهماته!

1. Install Ultralytics with necessary dependencies

   cd ~
   pip install -U pip
   git clone https://github.com/ultralytics/ultralytics
   cd ultralytics
   pip install -e ".[export]" onnxslim
   

2. Clone the DeepStream-Yolo repository

   cd ~
   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   

3. Copy the export_yoloV8.py file from DeepStream-Yolo/utils directory to the ultralytics المجلد

   cp ~/DeepStream-Yolo/utils/export_yoloV8.py ~/ultralytics
   cd ultralytics
   

   ملاحظة

   export_yoloV8.py works for both YOLOv8 and YOLO11 models.

4. Download Ultralytics YOLO11 detection model (.pt) of your choice from YOLO11 releases. Here we use yolo11s.pt.

   wget https://github.com/ultralytics/assets/releases/download/v8.3.0/yolo11s.pt
   

   ملاحظة

   يمكنك أيضًا استخدام نموذج YOLO11 مدرب مخصص.

5. تحويل النموذج إلى ONNX

   python3 export_yoloV8.py -w yolo11s.pt
   

   مرر الوسيطات التالية إلى الأمر أعلاه

   بالنسبة إلى DeepStream 6.0.1، استخدم مجموعة العمليات 12 أو أقل. مجموعة العمليات الافتراضية هي 16.

   --opset 12
   

   لتغيير حجم الاستدلال (الافتراضي: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   مثال على 1280:

   -s 1280
   or
   -s 1280 1280
   

   لتبسيط نموذج ONNX (DeepStream >= 6.0)

   --simplify
   

   لاستخدام حجم الدُفعات الديناميكي (DeepStream >= 6.1)

   --dynamic
   

   لاستخدام حجم الدفعة الثابت (مثال لحجم الدفعة الثابتة = 4)

   --batch 4
   

6. Copy the generated .onnx model file and labels.txt file to the DeepStream-Yolo المجلد

   cp yolo11s.pt.onnx labels.txt ~/DeepStream-Yolo
   cd ~/DeepStream-Yolo
   

7. قم بتعيين الإصدار CUDA وفقًا لإصدار JetPack المثبت

   بالنسبة إلى JetPack 4.6.4:

   export CUDA_VER=10.2
   

   بالنسبة إلى JetPack 5.1.3:

   export CUDA_VER=11.4
   

   For Jetpack 6.1:

   export CUDA_VER=12.6
   

8. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

9. تحرير config_infer_primary_yoloV8.txt file according to your model (for YOLO11s with 80 classes)

   [property]
   ...
   onnx-file=yolo11s.pt.onnx
   ...
   num-detected-classes=80
   ...
   

10. تحرير deepstream_app_config الملف

    ...
    [primary-gie]
    ...
    config-file=config_infer_primary_yoloV8.txt
    

11. يمكنك أيضًا تغيير مصدر الفيديو في deepstream_app_config ملف. هنا يتم تحميل ملف فيديو افتراضي

    ...
    [source0]
    ...
    uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
    

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

معايرة INT8

إذا كنت ترغب في استخدام دقة INT8 للاستدلال، عليك اتباع الخطوات التالية

1. مجموعة OPENCV متغير البيئة

   export OPENCV=1
   

2. تجميع المكتبة

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. بالنسبة لمجموعة بيانات COCO، قم بتنزيل فال2017واستخرج، وانتقل إلى DeepStream-Yolo المجلد

4. إنشاء دليل جديد لصور المعايرة

   mkdir calibration
   

5. قم بتشغيل ما يلي لتحديد 1000 صورة عشوائية من مجموعة بيانات COCO لتشغيل المعايرة

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   ملاحظة

   NVIDIA يوصي بما لا يقل عن 500 صورة للحصول على دقة جيدة. في هذا المثال، تم اختيار 1000 صورة للحصول على دقة أفضل (المزيد من الصور = دقة أكبر). يمكنك ضبطه من الرأس -1000. على سبيل المثال، لـ 2000 صورة، الرأس -2000. قد تستغرق هذه العملية وقتًا طويلاً.

6. إنشاء calibration.txt ملف يحتوي على جميع الصور المحددة

   realpath calibration/*jpg > calibration.txt
   

7. تعيين متغيرات البيئة

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   ملاحظة

   ستؤدي قيم INT8_CALIB_BATCH_SIZE الأعلى إلى دقة أكبر وسرعة معايرة أسرع. اضبطها وفقًا لذاكرتك GPU .

8. تحديث config_infer_primary_yoloV8.txt الملف

   من

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   إلى

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

إعداد البث المتعدد

لإعداد تدفقات متعددة ضمن تطبيق واحد عميق، يمكنك إجراء التغييرات التالية على deepstream_app_config.txt الملف

1. قم بتغيير الصفوف والأعمدة لإنشاء عرض الشبكة وفقًا لعدد التدفقات التي تريدها. على سبيل المثال، لـ 4 تدفقات، يمكننا إضافة صفين وعمودين.

   [tiled-display]
   rows=2
   columns=2
   

2. مجموعة num-sources=4 وإضافة uri من جميع التدفقات الأربعة

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

تشغيل الاستدلال

deepstream-app -c deepstream_app_config.txt

النتائج المعيارية

The following benchmarks summarizes how YOLO11 models perform at different TensorRT precision levels with an input size of 640x640 on NVIDIA Jetson Orin NX 16GB.

رسم بياني للمقارنة

جدول المقارنة التفصيلي

شكر وتقدير

تم إنشاء هذا الدليل في البداية من قبل أصدقائنا في Seeed Studio، لاكشانتا وإلين.

الأسئلة الشائعة

كيف أقوم بإعداد Ultralytics YOLO11 على جهاز NVIDIA جيتسون؟

لإعداد Ultralytics YOLO11 على جهاز NVIDIA Jetson، تحتاج أولاً إلى تثبيت DeepStream SDK المتوافق مع إصدار JetPack الخاص بك. اتبع الدليل التفصيلي خطوة بخطوة في دليل البدء السريع لتهيئة جهازك NVIDIA Jetson للنشر YOLO11 .

ما هي الفائدة من استخدام TensorRT مع YOLO11 على NVIDIA جيتسون ؟

يؤدي استخدام TensorRT مع YOLO11 إلى تحسين نموذج الاستدلال، مما يقلل بشكل كبير من زمن الاستجابة ويحسن الإنتاجية على أجهزة NVIDIA Jetson. TensorRT يوفر استنتاج التعلم العميق عالي الأداء ومنخفض زمن الاستجابة من خلال دمج الطبقات والمعايرة الدقيقة والضبط التلقائي للنواة. ويؤدي ذلك إلى تنفيذ أسرع وأكثر كفاءة، وهو أمر مفيد بشكل خاص لتطبيقات الوقت الحقيقي مثل تحليلات الفيديو والآلات المستقلة.

هل يمكنني تشغيل Ultralytics YOLO11 باستخدام DeepStream SDK عبر أجهزة NVIDIA Jetson مختلفة؟

نعم، يتوافق دليل النشر Ultralytics YOLO11 مع DeepStream SDK و TensorRT عبر مجموعة NVIDIA Jetson بأكملها Jetson. وهذا يشمل أجهزة مثل Jetson Orin Orin NX 16GB مع JetPack 5.1.3 و Jetson Nano 4GB مع JetPack 4.6.4. ارجع إلى قسم تهيئة DeepStream لـ YOLO11 للاطلاع على الخطوات التفصيلية.

كيف يمكنني تحويل نموذج YOLO11 إلى ONNX لـ DeepStream؟

لتحويل نموذج YOLO11 إلى تنسيق ONNX للنشر باستخدام DeepStream، استخدم utils/export_yoloV8.py نص من ديب ستريم-Yolo المستودع.

إليك مثال على ذلك الأمر

python3 utils/export_yoloV8.py -w yolo11s.pt --opset 12 --simplify

لمزيد من التفاصيل حول تحويل النماذج، راجع قسم تصدير النماذج لدينا.

ما هي معايير الأداء YOLO على NVIDIA Jetson Orin NX؟

The performance of YOLO11 models on NVIDIA Jetson Orin NX 16GB varies based on TensorRT precision levels. For example, YOLO11s models achieve:

• FP32 Precision: 14.6 ms/im, 68.5 FPS
• الدقة FP16: 7.94 متر/متر، 126 إطارًا في الثانية
• INT8 Precision: 5.95 ms/im, 168 FPS

تؤكد هذه المعايير على كفاءة وقدرة استخدام نماذج YOLO11 المحسّنة TensorRT على أجهزة NVIDIA Jetson . لمزيد من التفاصيل، راجع قسم النتائج المعيارية.

📅 تم إنشاؤها قبل 6 أشهر ✏️ تم التحديث منذ 3 أيام

التعليقات