सामग्री पर जाएं

TensorRT के लिए निर्यात करें YOLOv8 मॉडल

उच्च-प्रदर्शन वाले वातावरण में कंप्यूटर विज़न मॉडल को तैनात करने के लिए एक प्रारूप की आवश्यकता हो सकती है जो गति और दक्षता को अधिकतम करता है। यह विशेष रूप से सच है जब आप अपने मॉडल को NVIDIA GPU पर तैनात कर रहे हों।

का उपयोग करके TensorRT निर्यात प्रारूप, आप अपने को बढ़ा सकते हैं Ultralytics YOLOv8 NVIDIA हार्डवेयर पर तेज और कुशल अनुमान के लिए मॉडल। यह मार्गदर्शिका आपको रूपांतरण प्रक्रिया के लिए पालन करने में आसान चरण देगी और आपकी गहन शिक्षण परियोजनाओं में NVIDIA की उन्नत तकनीक का अधिकतम लाभ उठाने में आपकी सहायता करेगी।

TensorRT

TensorRT विहंगावलोकन

TensorRT, NVIDIA द्वारा विकसित, एक उन्नत सॉफ्टवेयर डेवलपमेंट किट (SDK) है जिसे उच्च गति वाले गहन शिक्षण अनुमान के लिए डिज़ाइन किया गया है। यह ऑब्जेक्ट डिटेक्शन जैसे रीयल-टाइम एप्लिकेशन के लिए अच्छी तरह से अनुकूल है।

यह टूलकिट NVIDIA GPU के लिए गहन शिक्षण मॉडल का अनुकूलन करता है और इसके परिणामस्वरूप तेज़ और अधिक कुशल संचालन होता है। TensorRT मॉडल से गुजरते हैं TensorRT अनुकूलन, जिसमें परत संलयन, सटीक अंशांकन (INT8 और FP16), गतिशील जैसी तकनीकें शामिल हैं tensor मेमोरी प्रबंधन, और कर्नेल ऑटो-ट्यूनिंग। गहन शिक्षण मॉडल को में परिवर्तित करना TensorRT प्रारूप डेवलपर्स को NVIDIA GPU की क्षमता को पूरी तरह से महसूस करने की अनुमति देता है।

TensorRT विभिन्न मॉडल प्रारूपों के साथ अपनी संगतता के लिए जाना जाता है, जिसमें शामिल हैं TensorFlow, PyTorchऔर ONNX, डेवलपर्स को विभिन्न रूपरेखाओं से मॉडल को एकीकृत और अनुकूलित करने के लिए एक लचीला समाधान प्रदान करना। यह बहुमुखी प्रतिभा विविध हार्डवेयर और सॉफ्टवेयर वातावरण में कुशल मॉडल परिनियोजन को सक्षम बनाती है।

की मुख्य विशेषताएं TensorRT मॉडल

TensorRT मॉडल कई प्रमुख विशेषताओं की पेशकश करते हैं जो उच्च गति वाले गहन शिक्षण अनुमान में उनकी दक्षता और प्रभावशीलता में योगदान करते हैं:

  • सटीक अंशांकन: TensorRT सटीक अंशांकन का समर्थन करता है, जिससे मॉडल को विशिष्ट सटीकता आवश्यकताओं के लिए ठीक-ठीक ट्यून किया जा सकता है। इसमें INT8 और FP16 जैसे कम सटीक प्रारूपों के लिए समर्थन शामिल है, जो स्वीकार्य सटीकता स्तरों को बनाए रखते हुए अनुमान गति को और बढ़ा सकता है।

  • लेयर फ्यूजन: TensorRT अनुकूलन प्रक्रिया में परत संलयन शामिल है, जहां एक तंत्रिका नेटवर्क की कई परतों को एक ही ऑपरेशन में जोड़ा जाता है। यह कम्प्यूटेशनल ओवरहेड को कम करता है और मेमोरी एक्सेस और कम्प्यूटेशन को कम करके अनुमान की गति में सुधार करता है।

TensorRT लेयर फ्यूजन

  • गतिशील Tensor मेमोरी प्रबंधन: TensorRT कुशलता से प्रबंधन करता है tensor अनुमान के दौरान स्मृति उपयोग, स्मृति उपरि को कम करना और स्मृति आवंटन का अनुकूलन। इसके परिणामस्वरूप अधिक कुशल GPU मेमोरी उपयोग होता है।

  • स्वचालित कर्नेल ट्यूनिंग: TensorRT मॉडल की प्रत्येक परत के लिए सबसे अनुकूलित GPU कर्नेल का चयन करने के लिए स्वचालित कर्नेल ट्यूनिंग लागू करता है. यह अनुकूली दृष्टिकोण सुनिश्चित करता है कि मॉडल GPU की कम्प्यूटेशनल शक्ति का पूरा लाभ उठाता है।

में परिनियोजन विकल्प TensorRT

इससे पहले कि हम निर्यात के लिए कोड देखें YOLOv8 करने के लिए मॉडल TensorRT प्रारूप, आइए समझते हैं कि कहां TensorRT मॉडल आमतौर पर उपयोग किए जाते हैं।

TensorRT कई परिनियोजन विकल्प प्रदान करता है, और प्रत्येक विकल्प एकीकरण में आसानी, प्रदर्शन अनुकूलन और लचीलेपन को अलग-अलग तरीके से संतुलित करता है:

  • भीतर परिनियोजन TensorFlow: यह विधि एकीकृत करती है TensorRT में TensorFlow, अनुकूलित मॉडल को एक परिचित में चलाने की अनुमति देता है TensorFlow पर्यावरण। यह समर्थित और असमर्थित परतों के मिश्रण वाले मॉडल के लिए उपयोगी है, जैसा कि TF-TRT इन कुशलता से संभाल सकते हैं.

TensorRT विहंगावलोकन

  • स्टैंडअलोन TensorRT रनटाइम एपीआई: दानेदार नियंत्रण प्रदान करता है, प्रदर्शन-महत्वपूर्ण अनुप्रयोगों के लिए आदर्श है। यह अधिक जटिल है लेकिन असमर्थित ऑपरेटरों के कस्टम कार्यान्वयन की अनुमति देता है।

  • एनवीडिया Triton अनुमान सर्वर: एक विकल्प जो विभिन्न ढांचे से मॉडल का समर्थन करता है। क्लाउड या एज अनुमान के लिए विशेष रूप से उपयुक्त, यह समवर्ती मॉडल निष्पादन और मॉडल विश्लेषण जैसी सुविधाएँ प्रदान करता है।

निर्यात YOLOv8 करने के लिए मॉडल TensorRT

आप निष्पादन दक्षता में सुधार कर सकते हैं और परिवर्तित करके प्रदर्शन को अनुकूलित कर सकते हैं YOLOv8 करने के लिए मॉडल TensorRT प्रारूप।

संस्थापन

आवश्यक पैकेज स्थापित करने के लिए, चलाएं:

संस्थापन

# Install the required package for YOLOv8
pip install ultralytics

स्थापना प्रक्रिया से संबंधित विस्तृत निर्देशों और सर्वोत्तम प्रथाओं के लिए, हमारी जाँच करें YOLOv8 इंस्टालेशन गाइड। के लिए आवश्यक पैकेज स्थापित करते समय YOLOv8, अगर आपको कोई कठिनाई आती है, तो समाधान और सुझावों के लिए हमारी सामान्य समस्याएं मार्गदर्शिका देखें.

उपयोग

उपयोग निर्देशों में गोता लगाने से पहले, की सीमा की जांच करना सुनिश्चित करें YOLOv8 द्वारा पेश किए गए मॉडल Ultralytics. इससे आपको अपनी परियोजना आवश्यकताओं के लिए सबसे उपयुक्त मॉडल चुनने में मदद मिलेगी।

उपयोग

from ultralytics import YOLO

# Load the YOLOv8 model
model = YOLO('yolov8n.pt')

# Export the model to TensorRT format
model.export(format='engine')  # creates 'yolov8n.engine'

# Load the exported TensorRT model
tensorrt_model = YOLO('yolov8n.engine')

# Run inference
results = tensorrt_model('https://ultralytics.com/images/bus.jpg')
# Export a YOLOv8n PyTorch model to TensorRT format
yolo export model=yolov8n.pt format=engine  # creates 'yolov8n.engine''

# Run inference with the exported model
yolo predict model=yolov8n.engine source='https://ultralytics.com/images/bus.jpg'

निर्यात प्रक्रिया के बारे में अधिक जानकारी के लिए, पर जाएँ Ultralytics निर्यात पर प्रलेखन पृष्ठ

निर्यात की गई तैनाती YOLOv8 TensorRT मॉडल

सफलतापूर्वक अपने निर्यात करने के बाद Ultralytics YOLOv8 करने के लिए मॉडल TensorRT प्रारूप, अब आप उन्हें तैनात करने के लिए तैयार हैं। अपने परिनियोजन पर गहन निर्देशों के लिए TensorRT विभिन्न सेटिंग्स में मॉडल, निम्नलिखित संसाधनों पर एक नज़र डालें:

सारांश

इस गाइड में, हमने परिवर्तित करने पर ध्यान केंद्रित किया Ultralytics YOLOv8 NVIDIA के लिए मॉडल TensorRT मॉडल प्रारूप। यह रूपांतरण कदम दक्षता और गति में सुधार के लिए महत्वपूर्ण है YOLOv8 मॉडल, उन्हें विविध तैनाती वातावरण के लिए अधिक प्रभावी और उपयुक्त बनाते हैं।

उपयोग विवरण के बारे में अधिक जानकारी के लिए, पर एक नज़र डालें TensorRT आधिकारिक दस्तावेज।

यदि आप अतिरिक्त के बारे में उत्सुक हैं Ultralytics YOLOv8 एकीकरण, हमारा एकीकरण गाइड पृष्ठ सूचनात्मक संसाधनों और अंतर्दृष्टि का व्यापक चयन प्रदान करता है।



2024-01-28 बनाया गया, अपडेट किया गया 2024-01-28
लेखक: abirami-vina (1)

टिप्पणियाँ