त्वरित आरंभ गाइड: NVIDIA जेटसन के साथ Ultralytics YOLOv8

यह व्यापक मार्गदर्शिका परिनियोजन के लिए एक विस्तृत पूर्वाभ्यास प्रदान करती है Ultralytics YOLOv8 पर NVIDIA जेटसन डिवाइस। इसके अतिरिक्त, यह क्षमताओं को प्रदर्शित करने के लिए प्रदर्शन बेंचमार्क दिखाता है YOLOv8 इन छोटे और शक्तिशाली उपकरणों पर।

सतर्कता: कसरी सेटअप गर्ने NVIDIA जेटसन के साथ Ultralytics YOLOv8

क्या है NVIDIA जेटसन?

NVIDIA जेटसन एम्बेडेड कंप्यूटिंग बोर्डों की एक श्रृंखला है जिसे त्वरित एआई (कृत्रिम बुद्धिमत्ता) कंप्यूटिंग को एज डिवाइस में लाने के लिए डिज़ाइन किया गया है। ये कॉम्पैक्ट और शक्तिशाली डिवाइस चारों ओर बनाए गए हैं NVIDIAका GPU आर्किटेक्चर और क्लाउड कंप्यूटिंग संसाधनों पर भरोसा किए बिना सीधे डिवाइस पर जटिल एआई एल्गोरिदम और डीप लर्निंग मॉडल चलाने में सक्षम हैं। जेटसन बोर्ड का उपयोग अक्सर रोबोटिक्स, स्वायत्त वाहनों, औद्योगिक स्वचालन और अन्य अनुप्रयोगों में किया जाता है जहां एआई अनुमान को कम विलंबता और उच्च दक्षता के साथ स्थानीय रूप से प्रदर्शन करने की आवश्यकता होती है। इसके अतिरिक्त, ये बोर्ड ARM64 आर्किटेक्चर पर आधारित हैं और पारंपरिक की तुलना में कम शक्ति पर चलते हैं GPU कंप्यूटिंग उपकरण।

NVIDIA Jetson सीरीज तुलना

Jetson Orin का नवीनतम पुनरावृत्ति है NVIDIA जेटसन परिवार पर आधारित NVIDIA एम्पीयर आर्किटेक्चर जो पिछली पीढ़ियों की तुलना में एआई प्रदर्शन में काफी सुधार लाता है। नीचे दी गई तालिका में पारिस्थितिकी तंत्र में जेटसन उपकरणों में से कुछ की तुलना की गई है।

अधिक विस्तृत तुलना तालिका के लिए, कृपया तकनीकी विनिर्देश अनुभाग पर जाएं अफ़सर NVIDIA जेटसन पेज।

क्या है NVIDIA जेटपैक?

NVIDIA जेटपैक एसडीके जेटसन मॉड्यूल को शक्ति प्रदान करना सबसे व्यापक समाधान है और एंड-टू-एंड त्वरित एआई अनुप्रयोगों के निर्माण के लिए पूर्ण विकास वातावरण प्रदान करता है और बाजार में समय कम करता है। जेटपैक में बूटलोडर, लिनक्स कर्नेल, उबंटू डेस्कटॉप वातावरण के साथ जेटसन लिनक्स और त्वरण के लिए पुस्तकालयों का एक पूरा सेट शामिल है GPU कंप्यूटिंग, मल्टीमीडिया, ग्राफिक्स और कंप्यूटर दृष्टि। इसमें होस्ट कंप्यूटर और डेवलपर किट दोनों के लिए नमूने, प्रलेखन और डेवलपर टूल भी शामिल हैं, और उच्च स्तर के एसडीके जैसे वीडियो एनालिटिक्स स्ट्रीमिंग के लिए डीपस्ट्रीम, रोबोटिक्स के लिए इसहाक और संवादी एआई के लिए रीवा का समर्थन करता है।

फ्लैश JetPack करने के लिए NVIDIA जेटसन

एक पर अपने हाथों को प्राप्त करने के बाद पहला कदम NVIDIA जेटसन डिवाइस फ्लैश करना है NVIDIA डिवाइस के लिए जेटपैक। चमकने के कई अलग-अलग तरीके हैं NVIDIA जेटसन डिवाइस।

1. अगर आप किसी अधिकारी के मालिक हैं NVIDIA विकास किट जैसे कि जेटसन ओरिन नैनो डेवलपर किट, आप एक छवि डाउनलोड कर सकते हैं और डिवाइस को बूट करने के लिए जेटपैक के साथ एक एसडी कार्ड तैयार कर सकते हैं।
2. यदि आप किसी अन्य के मालिक हैं NVIDIA विकास किट, आप एसडीके प्रबंधक का उपयोग करके डिवाइस पर जेटपैक फ्लैश कर सकते हैं।
3. यदि तपाइँ Seeed Studio reComputer J4012 यन्त्र छ भने, तपाईं JetPack लाई समावेश SSD मा फ्ल्यास गर्न सक्नुहुन्छ र यदि तपाइँसँग Seeed Studio reComputer J1020 v2 यन्त्र छ भने, तपाईंले eMMC/SSD मा JetPack फ्ल्यास गर्न सक्नुहुन्छ।
4. यदि आपके पास द्वारा संचालित कोई अन्य तृतीय पक्ष डिवाइस है NVIDIA Jetson मॉड्यूल, कमांड-लाइन फ्लैशिंग का पालन करने की अनुशंसा की जाती है।

जेटपैक 5.x पर चलाएं

यदि आपके पास Jetson Xavier NX, AGX Xavier, AGX Orin, Orin Nano या Orin NX है जो JetPack 5.x का समर्थन करता है, तो आप इस गाइड का पालन करना जारी रख सकते हैं। हालाँकि, यदि आपके पास जेटसन नैनो जैसा विरासत उपकरण है, तो कृपया जेटपैक 4.x पर रन पर जाएं।

तैयार करना Ultralytics

स्थापित करने के दो तरीके हैं Ultralytics पैकेज चालू NVIDIA जेटसन आपकी अगली कंप्यूटर विजन परियोजना बनाने के लिए। आप उनमें से किसी एक का उपयोग कर सकते हैं।

• डॉकर से शुरू करें
• डॉकर के बिना शुरू करें

डॉकर से शुरू करें

आरंभ करने का सबसे तेज़ तरीका Ultralytics YOLOv8 पर NVIDIA जेटसन को जेटसन के लिए पूर्व-निर्मित डॉकर छवि के साथ चलाना है।

डॉकर कंटेनर को खींचने और जेटसन पर चलाने के लिए नीचे दिए गए कमांड को निष्पादित करें। यह पर आधारित है एल4टी-pytorch docker छवि जिसमें शामिल हैं PyTorch और एक Python3 वातावरण में Torchvision।

t=ultralytics/ultralytics:latest-jetson-jetpack5 && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

हे पूर्ण झाल्यानंतर, जाहिरण्यासाठी जाणून घ्या प्रयोग TensorRT पर NVIDIA जेटसन अनुभाग।

डॉकर के बिना शुरू करें

पदासीन करना Ultralytics पैकेज

यहाँ हम स्थापित करेंगे Ultralytics वैकल्पिक निर्भरता के साथ Jetson पर पैकेज ताकि हम PyTorch अन्य विभिन्न स्वरूपों के लिए मॉडल। हम मुख्य रूप से इस पर ध्यान केंद्रित करेंगे NVIDIA TensorRT निर्यात करता है क्योंकि TensorRT यह सुनिश्चित करेगा कि हम जेटसन उपकरणों से अधिकतम प्रदर्शन प्राप्त कर सकें।

1. पैकेज सूची अपडेट करें, पाइप स्थापित करें और नवीनतम में अपग्रेड करें

   sudo apt update
   sudo apt install python3-pip -y
   pip install -U pip
   

2. पदासीन करना ultralytics वैकल्पिक निर्भरता के साथ पीआईपी पैकेज

   pip install ultralytics[export]
   

3. डिवाइस को रिबूट करें

   sudo reboot
   

पदासीन करना PyTorch और मशाल दृष्टि

उपरोक्त ultralytics स्थापना स्थापित हो जाएगी Torch और मशाल दृष्टि। हालांकि, पाइप के माध्यम से स्थापित ये 2 पैकेज जेटसन प्लेटफॉर्म पर चलने के लिए संगत नहीं हैं जो एआरएम 64 आर्किटेक्चर पर आधारित है। इसलिए, हमें पूर्व-निर्मित मैन्युअल रूप से स्थापित करने की आवश्यकता है PyTorch पाइप व्हील और स्रोत से मशाल विजन संकलन/स्थापित करें।

1. वर्तमान में स्थापित स्थापना रद्द करें PyTorch और मशाल दृष्टि

   pip uninstall torch torchvision
   

2. पदासीन करना PyTorch 2.1.0 JP5.1.3 के अनुसार

   sudo apt-get install -y libopenblas-base libopenmpi-dev
   wget https://developer.download.nvidia.com/compute/redist/jp/v512/pytorch/torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl -O torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   pip install torch-2.1.0a0+41361538.nv23.06-cp38-cp38-linux_aarch64.whl
   

3. के अनुसार Torchvision v0.16.2 स्थापित करें PyTorch v2.1.0 के अनुसार

   sudo apt install -y libjpeg-dev zlib1g-dev
   git clone https://github.com/pytorch/vision torchvision
   cd torchvision
   git checkout v0.16.2
   python3 setup.py install --user
   

भेंट PyTorch जेटसन पेज के लिए सभी विभिन्न संस्करणों तक पहुंचने के लिए PyTorch विभिन्न जेटपैक संस्करणों के लिए। पर अधिक विस्तृत सूची के लिए PyTorch, मशाल दृष्टि संगतता, पर जाएँ PyTorch और Torchvision संगतता पृष्ठ।

पदासीन करना onnxruntime-gpu

वही ऑनएक्सरनटाइम-gpu PyPI में होस्ट किए गए पैकेज में नहीं है aarch64 जेटसन के लिए बायनेरिज़। इसलिए हमें इस पैकेज को मैन्युअल रूप से स्थापित करने की आवश्यकता है। कुछ निर्यातों के लिए इस पैकेज की आवश्यकता है।

सभी अलग onnxruntime-gpu विभिन्न जेटपैक के अनुरूप पैकेज और Python संस्करण सूचीबद्ध हैं यहाँ. हालाँकि, यहाँ हम डाउनलोड और इंस्टॉल करेंगे onnxruntime-gpu 1.17.0 के साथ Python3.8 जेटपैक के लिए समर्थन हम इस गाइड के लिए उपयोग कर रहे हैं।

wget https://nvidia.box.com/shared/static/zostg6agm00fb6t5uisw51qi6kpcuwzd.whl -O onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl
pip install onnxruntime_gpu-1.17.0-cp38-cp38-linux_aarch64.whl

जेटपैक 4.x पर चलाएं

यहां हम चलाने के लिए समर्थन करते हैं Ultralytics जेटसन नैनो जैसे विरासत हार्डवेयर पर। वर्तमान में हम इसे प्राप्त करने के लिए डॉकर का उपयोग करते हैं।

डॉकर कंटेनर को खींचने और जेटसन पर चलाने के लिए नीचे दिए गए कमांड को निष्पादित करें। यह पर आधारित है एल4टी-cuda डॉकर छवि जिसमें शामिल हैं CUDA L4T वातावरण में।

t=ultralytics/ultralytics:latest-jetson-jetpack4 && sudo docker pull $t && sudo docker run -it --ipc=host --runtime=nvidia $t

प्रयोग TensorRT पर NVIDIA जेटसन

द्वारा समर्थित सभी मॉडल निर्यात स्वरूपों में से Ultralytics, TensorRT साथ काम करते समय सर्वश्रेष्ठ अनुमान प्रदर्शन प्रदान करता है NVIDIA जेटसन डिवाइस और हमारी सिफारिश उपयोग करने की है TensorRT जेटसन के साथ। हमारे पास एक विस्तृत दस्तावेज भी है TensorRT यहां।

मॉडल को में बदलें TensorRT और रन अनुमान

वही YOLOv8n मॉडल में PyTorch स्वरूप को इसमें बदल दिया गया है TensorRT निर्यात किए गए मॉडल के साथ अनुमान चलाने के लिए।

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Export the model
model.export(format="engine")  # creates 'yolov8n.engine'

# Load the exported TensorRT model
trt_model = YOLO("yolov8n.engine")

# Run inference
results = trt_model("https://ultralytics.com/images/bus.jpg")

# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine'

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

NVIDIA जेटसन ओरिन YOLOv8 मानक

YOLOv8 बेंचमार्क द्वारा चलाए गए थे Ultralytics गति और सटीकता को मापने वाले 10 विभिन्न मॉडल प्रारूपों पर टीम: PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF लाइट PaddlePaddle, NCNN. बेंचमार्क Seeed Studio reComputer J4012 पर चलाए गए थे, जो Jetson Orin NX 16GB डिवाइस द्वारा FP32 परिशुद्धता पर संचालित थे, जिसमें 640 की डिफ़ॉल्ट इनपुट छवि आकार था।

तुलना चार्ट

भले ही सभी मॉडल निर्यात के साथ काम कर रहे हों NVIDIA जेटसन, हमने केवल शामिल किया है PyTorch, TorchScript, TensorRT नीचे दिए गए तुलना चार्ट के लिए क्योंकि, वे GPU जेटसन पर और सर्वोत्तम परिणाम देने की गारंटी है। अन्य सभी निर्यात केवल CPU और प्रदर्शन उपरोक्त तीनों जितना अच्छा नहीं है। आप इस चार्ट के बाद अनुभाग में सभी निर्यातों के लिए बेंचमार्क पा सकते हैं।

विस्तृत तुलना तालिका

नीचे दी गई तालिका पांच अलग-अलग मॉडलों (YOLOv8n, YOLOv8s, YOLOv8m, YOLOv8l, YOLOv8x) दस अलग-अलग प्रारूपों में (PyTorch, TorchScript, ONNX, OpenVINO, TensorRT, TF SavedModel, TF GraphDef, TF लाइट PaddlePaddle, NCNN), हमें प्रत्येक संयोजन के लिए स्थिति, आकार, mAP50-95 (B) मीट्रिक और अनुमान समय दे रहा है।

के विभिन्न संस्करणों पर चल रहे Seeed Studio द्वारा अधिक बेंचमार्किंग प्रयासों का अन्वेषण करेंNVIDIA जेटसन हार्डवेयर।

हमारे परिणामों को पुन: पेश करें

उपरोक्त को पुन: पेश करने के लिए Ultralytics सभी निर्यात प्रारूपों पर बेंचमार्क इस कोड को चलाते हैं:

from ultralytics import YOLO

# Load a YOLOv8n PyTorch model
model = YOLO("yolov8n.pt")

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
results = model.benchmarks(data="coco8.yaml", imgsz=640)

# Benchmark YOLOv8n speed and accuracy on the COCO8 dataset for all all export formats
yolo benchmark model=yolov8n.pt data=coco8.yaml imgsz=640

उपयोग करते समय सर्वोत्तम प्रक्रियाएं NVIDIA जेटसन

उपयोग करते समय NVIDIA जेटसन, अधिकतम प्रदर्शन को सक्षम करने के लिए पालन करने के लिए कुछ सर्वोत्तम प्रथाएं हैं NVIDIA जेटसन चल रहा है YOLOv8.

1. MAX पावर मोड सक्षम करें

   जेटसन पर मैक्स पावर मोड को सक्षम करने से सभी सुनिश्चित होंगे CPU, GPU कोर चालू हैं।

   sudo nvpmodel -m 0
   

2. जेटसन घड़ियां सक्षम करें

   जेटसन घड़ियों को सक्षम करने से सभी सुनिश्चित होंगे CPU, GPU कोर को उनकी अधिकतम आवृत्ति पर देखा जाता है।

   sudo jetson_clocks
   

3. Jetson आँकड़े आवेदन स्थापित करें

   हम सिस्टम घटकों के तापमान की निगरानी करने और अन्य सिस्टम विवरणों जैसे दृश्य की जांच करने के लिए जेटसन आँकड़े एप्लिकेशन का उपयोग कर सकते हैं CPU, GPU, RAM उपयोग, पावर मोड बदलें, अधिकतम घड़ियों पर सेट करें, JetPack जानकारी जांचें

   sudo apt update
   sudo pip install jetson-stats
   sudo reboot
   jtop
   

अगले कदम

सफलतापूर्वक सेट अप करने पर बधाई YOLOv8 अपने पर NVIDIA जेटसन! आगे सीखने और समर्थन के लिए, अधिक गाइड पर जाएं Ultralytics YOLOv8 डॉक्स!

अक्सर पूछे जाने वाले प्रश्न

मैं कैसे तैनात करूं Ultralytics YOLOv8 पर NVIDIA जेटसन डिवाइस?

परिनियोजन Ultralytics YOLOv8 पर NVIDIA जेटसन डिवाइस एक सीधी प्रक्रिया है। सबसे पहले, अपने Jetson डिवाइस को फ्लैश करें NVIDIA जेटपैक एसडीके। फिर, या तो त्वरित सेटअप के लिए पूर्व-निर्मित डॉकर छवि का उपयोग करें या आवश्यक पैकेजों को मैन्युअल रूप से स्थापित करें। प्रत्येक दृष्टिकोण के लिए विस्तृत चरण अनुभागों में पाए जा सकते हैं डॉकर के साथ शुरू करें तथा डॉकर के बिना शुरू करें.

मैं किस प्रदर्शन बेंचमार्क से उम्मीद कर सकता हूं YOLOv8 पर मॉडल NVIDIA जेटसन डिवाइस?

YOLOv8 मॉडल को विभिन्न पर बेंचमार्क किया गया है NVIDIA Jetson डिवाइस महत्वपूर्ण प्रदर्शन सुधार दिखा रहे हैं। उदाहरण के लिए, TensorRT प्रारूप सर्वश्रेष्ठ अनुमान प्रदर्शन प्रदान करता है। विस्तृत तुलना तालिका अनुभाग में तालिका विभिन्न मॉडल प्रारूपों में mAP50-95 और अनुमान समय जैसे प्रदर्शन मीट्रिक का व्यापक दृश्य प्रदान करती है।

मुझे क्यों उपयोग करना चाहिए TensorRT तैनात करने के लिए YOLOv8 पर NVIDIA जेटसन?

TensorRT परिनियोजन के लिए अत्यधिक अनुशंसित है YOLOv8 पर मॉडल NVIDIA जेटसन अपने इष्टतम प्रदर्शन के कारण। यह जेटसन का लाभ उठाकर अनुमान को तेज करता है GPU क्षमताओं, अधिकतम दक्षता और गति सुनिश्चित करना। में रूपांतरित करने के तरीके के बारे में अधिक जानें TensorRT और में अनुमान चलाएं प्रयोग TensorRT पर NVIDIA जेटसन अनुभाग।

मैं कैसे स्थापित कर सकता हूं PyTorch और मशाल पर NVIDIA जेटसन?

स्थापित करने के लिए PyTorch और मशाल पर NVIDIA जेटसन, पहले किसी भी मौजूदा संस्करण को अनइंस्टॉल करें जो पाइप के माध्यम से स्थापित किया गया हो। फिर, संगत मैन्युअल रूप से स्थापित करें PyTorch और जेटसन के एआरएम 64 आर्किटेक्चर के लिए मशाल संस्करण इस प्रक्रिया के लिए विस्तृत निर्देश में दिए गए हैं पदासीन करना PyTorch और मशाल अनुभाग ।

प्रदर्शन को अधिकतम करने के लिए सर्वोत्तम अभ्यास क्या हैं NVIDIA उपयोग करते समय जेटसन YOLOv8?

पर प्रदर्शन को अधिकतम करने के लिए NVIDIA जेटसन के साथ YOLOv8, इन सर्वोत्तम प्रक्रियाओं का पालन करें:

1. सभी का उपयोग करने के लिए मैक्स पावर मोड सक्षम करें CPU और GPU कोर।
2. सभी कोर को उनकी अधिकतम आवृत्ति पर चलाने के लिए Jetson घड़ियों को सक्षम करें।
3. सिस्टम मेट्रिक्स की निगरानी के लिए Jetson आँकड़े एप्लिकेशन इंस्टॉल करें।

आदेश और अतिरिक्त विवरण के लिए, देखें उपयोग करते समय सर्वोत्तम प्रक्रियाएं NVIDIA जेटसन अनुभाग।

टिप्पणियाँ