क्विक स्टार्ट गाइड: NVIDIA Jetson के साथ Ultralytics YOLOv8

यह व्यापक मार्गदर्शिका परिनियोजित करने के लिए एक विस्तृत पूर्वाभ्यास प्रदान करती है Ultralytics YOLOv8 NVIDIA Jetson उपकरणों पर। इसके अतिरिक्त, यह की क्षमताओं को प्रदर्शित करने के लिए प्रदर्शन बेंचमार्क दिखाता हैYOLOv8 इन छोटे और शक्तिशाली उपकरणों पर।

NVIDIA Jetson क्या है?

NVIDIA Jetson एम्बेडेड कंप्यूटिंग बोर्डों की एक श्रृंखला है जिसे त्वरित AI (कृत्रिम बुद्धिमत्ता) कंप्यूटिंग को किनारे के उपकरणों में लाने के लिए डिज़ाइन किया गया है। ये कॉम्पैक्ट और शक्तिशाली डिवाइस NVIDIA के GPU आर्किटेक्चर के आसपास बनाए गए हैं और क्लाउड कंप्यूटिंग संसाधनों पर भरोसा किए बिना सीधे डिवाइस पर जटिल AI एल्गोरिदम और डीप लर्निंग मॉडल चलाने में सक्षम हैं। जेटसन बोर्ड अक्सर रोबोटिक्स, स्वायत्त वाहनों, औद्योगिक स्वचालन और अन्य अनुप्रयोगों में उपयोग किए जाते हैं जहां एआई अनुमान को कम विलंबता और उच्च दक्षता के साथ स्थानीय रूप से प्रदर्शन करने की आवश्यकता होती है। इसके अतिरिक्त, ये बोर्ड ARM64 आर्किटेक्चर पर आधारित हैं और पारंपरिक GPU कंप्यूटिंग उपकरणों की तुलना में कम शक्ति पर चलते हैं।

NVIDIA Jetson सीरीज तुलना

जेटसन ओरिन एनवीआईडीआईए एम्पीयर आर्किटेक्चर पर आधारित एनवीआईडीआईए जेटसन परिवार का नवीनतम पुनरावृत्ति है जो पिछली पीढ़ियों की तुलना में एआई प्रदर्शन में काफी सुधार लाता है। नीचे दी गई तालिका ने पारिस्थितिकी तंत्र में कुछ जेटसन उपकरणों की तुलना की।

अधिक विस्तृत तुलना तालिका के लिए, कृपया आधिकारिक NVIDIA Jetson पृष्ठ के तकनीकी विनिर्देश अनुभाग पर जाएँ।

NVIDIA जेटपैक क्या है?

NVIDIA JetPack SDK Jetson मॉड्यूल को शक्ति प्रदान करना सबसे व्यापक समाधान है और एंड-टू-एंड त्वरित AI अनुप्रयोगों के निर्माण के लिए पूर्ण विकास वातावरण प्रदान करता है और बाजार में समय कम करता है। जेटपैक में बूटलोडर, लिनक्स कर्नेल, उबंटू डेस्कटॉप वातावरण के साथ जेटसन लिनक्स और जीपीयू कंप्यूटिंग, मल्टीमीडिया, ग्राफिक्स और कंप्यूटर दृष्टि के त्वरण के लिए पुस्तकालयों का एक पूरा सेट शामिल है। इसमें होस्ट कंप्यूटर और डेवलपर किट दोनों के लिए नमूने, प्रलेखन और डेवलपर टूल भी शामिल हैं, और उच्च स्तरीय एसडीके का समर्थन करता है जैसे कि वीडियो एनालिटिक्स स्ट्रीमिंग के लिए डीपस्ट्रीम, रोबोटिक्स के लिए इसहाक और संवादी एआई के लिए रीवा।

NVIDIA Jetson के लिए JetPack फ्लैश करें

NVIDIA Jetson डिवाइस पर अपना हाथ रखने के बाद पहला कदम डिवाइस पर NVIDIA JetPack को फ्लैश करना है। NVIDIA Jetson उपकरणों को चमकाने के कई अलग-अलग तरीके हैं।

1. यदि आपके पास जेटसन ओरिन नैनो डेवलपर किट जैसी आधिकारिक एनवीआईडीआईए डेवलपमेंट किट है, तो आप एक छवि डाउनलोड करने और डिवाइस को बूट करने के लिए जेटपैक के साथ एसडी कार्ड तैयार करने के लिए इस लिंक पर जा सकते हैं।
2. यदि आपके पास कोई अन्य NVIDIA डेवलपमेंट किट है, तो आप SDK Manager का उपयोग करके डिवाइस पर JetPack को फ्लैश करने के लिए इस लिंक पर जा सकते हैं।
3. यदि आपके पास Seeed Studio reComputer J4012 डिवाइस है, तो आप JetPack को शामिल SSD में फ़्लैश करने के लिए इस लिंक पर जा सकते हैं।
4. यदि आप NVIDIA Jetson मॉड्यूल द्वारा संचालित किसी अन्य तृतीय पक्ष डिवाइस के मालिक हैं, तो इस लिंक पर जाकर कमांड-लाइन फ्लैशिंग का पालन करने की अनुशंसा की जाती है।

तैयार करना Ultralytics

स्थापित करने के दो तरीके हैं Ultralytics अपना अगला कंप्यूटर विजन प्रोजेक्ट बनाने के लिए NVIDIA Jetson पर पैकेज। आप उनमें से किसी एक का उपयोग कर सकते हैं।

• डॉकर से शुरू करें
• डॉकर के बिना शुरू करें

डॉकर से शुरू करें

आरंभ करने का सबसे तेज़ तरीका Ultralytics YOLOv8 NVIDIA Jetson पर Jetson के लिए पूर्व-निर्मित डॉकर छवि के साथ चलना है।

डॉकर कंटेनर को खींचने और जेटसन पर चलाने के लिए नीचे दिए गए कमांड को निष्पादित करें। यह पर आधारित है एल4टी-pytorch docker छवि जिसमें शामिल हैं PyTorch और एक Python3 वातावरण में Torchvision।

t=ultralytics/ultralytics:latest-jetson && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

यह हो जाने के बाद, पर जाएं प्रयोग TensorRT NVIDIA Jetson अनुभाग पर।

डॉकर के बिना शुरू करें

पदासीन करना Ultralytics पैकेज

यहां हम वैकल्पिक निर्भरता के साथ जेटसन पर अल्ट्रालिक्स पैकेज स्थापित करेंगे ताकि हम निर्यात कर सकें PyTorch अन्य विभिन्न स्वरूपों के लिए मॉडल। हम मुख्य रूप से ध्यान केंद्रित करेंगे एनवीडिया TensorRT निर्यात करता है क्योंकि TensoRT यह सुनिश्चित करेगा कि हम Jetson उपकरणों से अधिकतम प्रदर्शन प्राप्त कर सकें।

1. पैकेज सूची अपडेट करें, पाइप स्थापित करें और नवीनतम में अपग्रेड करें

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. पदासीन करना ultralytics वैकल्पिक निर्भरता के साथ पीआईपी पैकेज

   pip install ultralytics[export]
   

3. डिवाइस को रिबूट करें

   sudo reboot
   

पदासीन करना PyTorch और मशाल दृष्टि

उपरोक्त ultralytics स्थापना स्थापित हो जाएगी Torch और मशाल दृष्टि। हालांकि, पाइप के माध्यम से स्थापित ये 2 पैकेज जेटसन प्लेटफॉर्म पर चलने के लिए संगत नहीं हैं जो एआरएम 64 आर्किटेक्चर पर आधारित है। इसलिए, हमें पूर्व-निर्मित मैन्युअल रूप से स्थापित करने की आवश्यकता है PyTorch पाइप व्हील और स्रोत से मशाल विजन संकलन/स्थापित करें।

1. वर्तमान में स्थापित स्थापना रद्द करें PyTorch और मशाल दृष्टि

   pip uninstall torch torchvision
   

2. पदासीन करना PyTorch 2.1.0 JP5.1.3 के अनुसार

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. के अनुसार Torchvision v0.16.2 स्थापित करें PyTorch v2.1.0 के अनुसार

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

भेंट PyTorch जेटसन पेज के लिए सभी विभिन्न संस्करणों तक पहुंचने के लिए PyTorch विभिन्न जेटपैक संस्करणों के लिए। पर अधिक विस्तृत सूची के लिए PyTorch, मशाल दृष्टि संगतता, पर जाएँ PyTorch और Torchvision संगतता पृष्ठ।

पदासीन करना onnxruntime-gpu

वही onnxruntime-gpu PyPI में होस्ट किए गए पैकेज में नहीं है aarch64 जेटसन के लिए बायनेरिज़। इसलिए हमें इस पैकेज को मैन्युअल रूप से स्थापित करने की आवश्यकता है। कुछ निर्यातों के लिए इस पैकेज की आवश्यकता है।

सभी अलग onnxruntime-gpu पैकेज विभिन्न JetPack से संबंधित हैं और Python संस्करण सूचीबद्ध हैं यहाँ. हालाँकि, यहाँ हम डाउनलोड और इंस्टॉल करेंगे onnxruntime-gpu 1.17.0 के साथ Python3.8 जेटपैक के लिए समर्थन हम इस गाइड के लिए उपयोग कर रहे हैं।

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

प्रयोग TensorRT NVIDIA Jetson पर

द्वारा समर्थित सभी मॉडल निर्यात स्वरूपों में से Ultralytics, TensorRT NVIDIA Jetson उपकरणों के साथ काम करते समय सबसे अच्छा अनुमान प्रदर्शन प्रदान करता है और हमारी सिफारिश का उपयोग करना है TensorRT जेटसन के साथ। हमारे पास एक विस्तृत दस्तावेज भी है TensorRT यहां।

मॉडल को में बदलें TensorRT और रन अनुमान

वही YOLOv8n मॉडल में PyTorch स्वरूप को इसमें बदल दिया गया है TensorRT निर्यात किए गए मॉडल के साथ अनुमान चलाने के लिए।

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Export the model
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO('yolov8n.engine')

# Run inference
results = trt_model('https://ultralytics.com/images/bus.jpg')

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

एनवीडिया जेटसन ओरिन YOLOv8 मानक

YOLOv8 बेंचमार्क द्वारा चलाए गए थे Ultralytics गति और सटीकता को मापने वाले 10 विभिन्न मॉडल प्रारूपों पर टीम: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF Graphdef, TF लाइट PaddlePaddle, NCNN. बेंचमार्क Seeed Studio reComputer J4012 पर FP32 परिशुद्धता पर Jetson Orin NX 16GB डिवाइस द्वारा संचालित 640 के डिफ़ॉल्ट इनपुट छवि आकार के साथ चलाए गए थे।

तुलना चार्ट

भले ही सभी मॉडल निर्यात NVIDIA Jetson के साथ काम कर रहे हैं, हमने केवल शामिल किया है PyTorch, TorchScript, TensorRT नीचे दिए गए तुलना चार्ट के लिए, क्योंकि वे जेटसन पर GPU का उपयोग करते हैं और सर्वोत्तम परिणाम देने की गारंटी देते हैं। अन्य सभी निर्यात केवल सीपीयू का उपयोग करते हैं और प्रदर्शन उपरोक्त तीनों जितना अच्छा नहीं है। आप इस चार्ट के बाद अनुभाग में सभी निर्यातों के लिए बेंचमार्क पा सकते हैं।

विस्तृत तुलना तालिका

नीचे दी गई तालिका पांच अलग-अलग मॉडलों के लिए बेंचमार्क परिणामों का प्रतिनिधित्व करती है (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) दस अलग-अलग स्वरूपों में (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF Graphdef, TF लाइट PaddlePaddle, NCNN), हमें प्रत्येक संयोजन के लिए स्थिति, आकार, mAP50-95 (B) मीट्रिक और अनुमान समय प्रदान करता है।

NVIDIA Jetson हार्डवेयर के विभिन्न संस्करणों पर चल रहे Seeed Studio द्वारा अधिक बेंचमार्किंग प्रयासों का पता लगाने के लिए इस लिंक पर जाएँ।

हमारे परिणामों को पुन: पेश करें

उपरोक्त को पुन: पेश करने के लिए Ultralytics सभी निर्यात प्रारूपों पर बेंचमार्क इस कोड को चलाते हैं:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO('yolov8n.pt')

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data='coco8.yaml', imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

NVIDIA Jetson का उपयोग करते समय सर्वोत्तम अभ्यास

NVIDIA Jetson का उपयोग करते समय, NVIDIA Jetson पर अधिकतम प्रदर्शन को सक्षम करने के लिए कुछ सर्वोत्तम प्रथाओं का पालन करना है YOLOv8.

1. MAX पावर मोड सक्षम करें

   जेटसन पर मैक्स पावर मोड को सक्षम करने से सुनिश्चित होगा कि सभी सीपीयू, जीपीयू कोर चालू हैं।

   sudo nvpmodel -m 0
   

2. जेटसन घड़ियां सक्षम करें

   जेटसन घड़ियों को सक्षम करने से यह सुनिश्चित होगा कि सभी सीपीयू, जीपीयू कोर उनकी अधिकतम आवृत्ति पर देखे गए हैं।

   sudo jetson_clocks
   

3. Jetson आँकड़े आवेदन स्थापित करें

   हम सिस्टम घटकों के तापमान की निगरानी करने और अन्य सिस्टम विवरणों की जांच करने के लिए जेटसन आँकड़े एप्लिकेशन का उपयोग कर सकते हैं जैसे कि सीपीयू, जीपीयू, रैम उपयोग, पावर मोड बदलें, अधिकतम घड़ियों पर सेट करें, जेटपैक जानकारी की जांच करें

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

अगले कदम

सफलतापूर्वक स्थापित करने पर बधाई YOLOv8 अपने NVIDIA Jetson पर! आगे सीखने और समर्थन के लिए, पर जाएँ अधिक गाइड पर जाएँ Ultralytics YOLOv8 डॉक्स!

टिप्पणियाँ