Ultralytics YOLOv8 NVIDIA Jetson पर DeepStream SDK का उपयोग करके और TensorRT

यह व्यापक मार्गदर्शिका परिनियोजन के लिए एक विस्तृत पूर्वाभ्यास प्रदान करती है Ultralytics YOLOv8 डीपस्ट्रीम एसडीके का उपयोग करने वाले NVIDIA Jetson उपकरणों पर और TensorRT. येथे आम्ही वापरले TensorRT Jetson प्लेटफॉर्म पर अनुमान प्रदर्शन को अधिकतम करने के लिए।

NVIDIA डीपस्ट्रीम क्या है?

NVIDIA का DeepStream SDK AI-आधारित मल्टी-सेंसर प्रोसेसिंग, वीडियो, ऑडियो और इमेज समझ के लिए GStreamer पर आधारित एक संपूर्ण स्ट्रीमिंग एनालिटिक्स टूलकिट है। यह दृष्टि एआई डेवलपर्स, सॉफ्टवेयर पार्टनर्स, स्टार्टअप और आईवीए (इंटेलिजेंट वीडियो एनालिटिक्स) ऐप और सेवाओं का निर्माण करने वाले ओईएम के लिए आदर्श है। अब आप स्ट्रीम-प्रोसेसिंग पाइपलाइन बना सकते हैं जो तंत्रिका नेटवर्क और ट्रैकिंग, वीडियो एन्कोडिंग / डिकोडिंग और वीडियो रेंडरिंग जैसे अन्य जटिल प्रसंस्करण कार्यों को शामिल करते हैं। ये पाइपलाइन वीडियो, छवि और सेंसर डेटा पर रीयल-टाइम एनालिटिक्स सक्षम करती हैं। डीपस्ट्रीम का मल्टी-प्लेटफ़ॉर्म सपोर्ट आपको विज़न एआई एप्लिकेशन और सेवाओं को ऑन-प्रिमाइसेस, किनारे पर और क्लाउड में विकसित करने का एक तेज़, आसान तरीका देता है।

आवश्यकताएँ

इससे पहले कि आप इस गाइड का पालन करना शुरू करें:

• हमारे दस्तावेज़ीकरण पर जाएँ, द्रुत सुरुवात गाइड: NVIDIA Jetson संग Ultralytics YOLOv8 अपने NVIDIA Jetson डिवाइस को इसके साथ सेट करने के लिए Ultralytics YOLOv8

• जेटपैक संस्करण के अनुसार डीपस्ट्रीम एसडीके स्थापित करें

  • जेटपैक 4.6.4 के लिए, डीपस्ट्रीम 6.0.1 स्थापित करें
  • जेटपैक 5.1.3 के लिए, डीपस्ट्रीम 6.3 स्थापित करें

के लिए DeepStream कॉन्फ़िगरेशन YOLOv8

यहाँ हम उपयोग कर रहे हैं मार्कोस्लुसियानोप्स/डीपस्ट्रीम-Yolo GitHub रिपॉजिटरी जिसमें NVIDIA DeepStream SDK सपोर्ट शामिल है YOLO मॉडल। हम उनके योगदान के लिए मार्कोस्लुसियानोप्स के प्रयासों की सराहना करते हैं!

1. निर्भरताएँ स्थापित करें

   pip install cmake
   pip install onnxsim
   

2. निम्नलिखित रिपॉजिटरी को क्लोन करें

   git clone https://github.com/marcoslucianops/DeepStream-Yolo
   cd DeepStream-Yolo
   

3. डाउनलोड Ultralytics YOLOv8 से अपनी पसंद का डिटेक्शन मॉडल (.pt) YOLOv8 विज्ञप्ति। येथे आम्ही वापरले yolov8s.पं.

   wget https://github.com/ultralytics/assets/releases/download/v8.2.0/yolov8s.pt
   

   नोट

   आप एक का भी उपयोग कर सकते हैं कस्टम प्रशिक्षित YOLOv8 नमूना।

4. मॉडल को में बदलें ONNX

   python3 utils/export_yoloV8.py -w yolov8s.pt
   

   उपरोक्त आदेश के लिए नीचे दिए गए तर्कों को पास करें

   डीपस्ट्रीम 6.0.1 के लिए, ऑपसेट 12 या उससे कम का उपयोग करें। डिफ़ॉल्ट ऑपसेट 16 है।

   --opset 12
   

   अनुमान आकार परिवर्तित करने के लिए (डिफ़ॉल्ट: 640)

   -s SIZE
   --size SIZE
   -s HEIGHT WIDTH
   --size HEIGHT WIDTH
   

   1280 के लिए उदाहरण:

   -s 1280
   or
   -s 1280 1280
   

   को सरल बनाने के लिए ONNX मॉडल (डीपस्ट्रीम >= 6.0)

   --simplify
   

   डायनेमिक बैच-आकार का उपयोग करने के लिए (डीपस्ट्रीम >= 6.1)

   --dynamic
   

   स्थिर बैच-आकार का उपयोग करने के लिए (उदाहरण बैच-आकार = 4)

   --batch 4
   

5. स्थापित जेटपैक संस्करण के अनुसार CUDA संस्करण सेट करें

   जेटपैक 4.6.4 के लिए:

   export CUDA_VER=10.2
   

   जेटपैक 5.1.3 के लिए:

   export CUDA_VER=11.4
   

6. लाइब्रेरी संकलित करें

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

7. संपादित करें config_infer_primary_yoloV8.txt अपने मॉडल के अनुसार फ़ाइल (के लिए YOLOv8s 80 कक्षाओं के साथ)

   [property]
   ...
   onnx-file=yolov8s.onnx
   ...
   num-detected-classes=80
   ...
   

8. संपादित करें deepstream_app_config रेती

   ...
   [primary-gie]
   ...
   config-file=config_infer_primary_yoloV8.txt
   

9. आप वीडियो स्रोत को भी बदल सकते हैं deepstream_app_config रेती। यहां एक डिफ़ॉल्ट वीडियो फ़ाइल लोड की गई है

   ...
   [source0]
   ...
   uri=file:///opt/nvidia/deepstream/deepstream/samples/streams/sample_1080p_h264.mp4
   

रन इनफरेंस

deepstream-app -c deepstream_app_config.txt

INT8 अंशांकन

यदि आप अनुमान के लिए INT8 परिशुद्धता का उपयोग करना चाहते हैं, तो आपको नीचे दिए गए चरणों का पालन करना होगा

1. अस्त हो OPENCV पर्यावरण चर

   export OPENCV=1
   

2. लाइब्रेरी संकलित करें

   make -C nvdsinfer_custom_impl_Yolo clean && make -C nvdsinfer_custom_impl_Yolo
   

3. COCO डेटासेट के लिए, डाउनलोड करें वैल2017, निकालें, और करने के लिए ले जाएँ DeepStream-Yolo फ़ोल्डर

4. अंशांकन छवियों के लिए एक नई निर्देशिका बनाएं

   mkdir calibration
   

5. अंशांकन चलाने के लिए COCO डेटासेट से 1000 यादृच्छिक छवियों का चयन करने के लिए निम्नलिखित चलाएँ

   for jpg in $(ls -1 val2017/*.jpg | sort -R | head -1000); do \
       cp ${jpg} calibration/; \
   done
   

   नोट

   NVIDIA अच्छी सटीकता प्राप्त करने के लिए कम से कम 500 छवियों की अनुशंसा करता है। इस उदाहरण पर, बेहतर सटीकता प्राप्त करने के लिए 1000 छवियों को चुना जाता है (अधिक छवियां = अधिक सटीकता)। आप इसे हेड -1000 से सेट कर सकते हैं। उदाहरण के लिए, 2000 छवियों के लिए, सिर -2000। इस प्रक्रिया में लंबा समय लग सकता है।

6. बनाएँ calibration.txt सभी चयनित छवियों के साथ फ़ाइल

   realpath calibration/*jpg > calibration.txt
   

7. पर्यावरण चर सेट करें

   export INT8_CALIB_IMG_PATH=calibration.txt
   export INT8_CALIB_BATCH_SIZE=1
   

   नोट

   उच्च INT8_CALIB_BATCH_SIZE मूल्यों के परिणामस्वरूप अधिक सटीकता और तेज अंशांकन गति होगी। इसे अपने GPU मेमोरी के अनुसार सेट करें।

8. अपडेट करें config_infer_primary_yoloV8.txt रेती

   से

   ...
   model-engine-file=model_b1_gpu0_fp32.engine
   #int8-calib-file=calib.table
   ...
   network-mode=0
   ...
   

   तक

   ...
   model-engine-file=model_b1_gpu0_int8.engine
   int8-calib-file=calib.table
   ...
   network-mode=1
   ...
   

रन इनफरेंस

deepstream-app -c deepstream_app_config.txt

मल्टीस्ट्रीम सेटअप

एक एकल डीपस्ट्रीम एप्लिकेशन के तहत कई स्ट्रीम सेट करने के लिए, आप निम्न परिवर्तन कर सकते हैं deepstream_app_config.txt रेती

1. ग्रिड डिस्प्ले बनाने के लिए पंक्तियों और स्तंभों को उन धाराओं की संख्या के अनुसार बदलें जिन्हें आप चाहते हैं। उदाहरण के लिए, 4 स्ट्रीम के लिए, हम 2 rows और 2 कॉलम जोड़ सकते हैं।

   [tiled-display]
   rows=2
   columns=2
   

2. अस्त हो num-sources=4 और जोड़ें uri सभी 4 धाराओं में से

   [source0]
   enable=1
   type=3
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   uri=<path_to_video>
   num-sources=4
   

रन इनफरेंस

deepstream-app -c deepstream_app_config.txt

बेंचमार्क परिणाम

निम्न तालिका सारांशित करती है कि कैसे YOLOv8s मॉडल अलग-अलग प्रदर्शन करते हैं TensorRT NVIDIA Jetson Orin NX 640GB पर 640x16 के इनपुट आकार के साथ सटीक स्तर।

स्वीकृतियाँ

यह गाइड शुरू में सीड स्टूडियो, लक्षंथा और ऐलेन में हमारे दोस्तों द्वारा बनाई गई थी।

टिप्पणियाँ