मोबाइल सेगमेंट कुछ भी (MobileSAM)

वही MobileSAM कागज अब arXiv पर उपलब्ध है।

का एक प्रदर्शन MobileSAM एक पर चल रहा है CPU इस डेमो लिंक पर पहुँचा जा सकता है। Mac i5 पर प्रदर्शन CPU लगभग 3 सेकंड लगते हैं। पर Hugging Face डेमो, इंटरफ़ेस और निम्न-प्रदर्शन वाले सीपीयू धीमी प्रतिक्रिया में योगदान करते हैं, लेकिन यह प्रभावी ढंग से कार्य करना जारी रखता है।

MobileSAM सहित विभिन्न परियोजनाओं में कार्यान्वित किया गया है ग्राउंडिंग-SAM, AnyLabeling, और 3D में कुछ भी खंडित करें।

MobileSAM एकल पर प्रशिक्षित किया जाता है GPU एक दिन से भी कम समय में 100k डेटासेट (मूल छवियों का 1%) के साथ। इस प्रशिक्षण के लिए कोड भविष्य में उपलब्ध कराया जाएगा।

उपलब्ध मॉडल, समर्थित कार्य और ऑपरेटिंग मोड

यह तालिका उपलब्ध मॉडलों को उनके विशिष्ट पूर्व-प्रशिक्षित भार, उनके द्वारा समर्थित कार्यों और अनुमान, सत्यापन, प्रशिक्षण और निर्यात जैसे विभिन्न ऑपरेटिंग मोड के साथ उनकी संगतता के साथ प्रस्तुत करती है, जो समर्थित मोड के लिए इमोजी और ❌ असमर्थित मोड के लिए इमोजी द्वारा ✅ इंगित की जाती है।

से अनुकूलन SAM तक MobileSAM

क्योंकि MobileSAM मूल के समान पाइपलाइन को बरकरार रखता है SAM, हमने मूल के प्री-प्रोसेसिंग, पोस्ट-प्रोसेसिंग और अन्य सभी इंटरफेस को शामिल किया है। नतीजतन, वर्तमान में मूल का उपयोग करने वाले SAM करने के लिए संक्रमण कर सकते हैं MobileSAM न्यूनतम प्रयास के साथ।

MobileSAM मूल की तुलना में प्रदर्शन करता है SAM और छवि एनकोडर में बदलाव को छोड़कर एक ही पाइपलाइन को बरकरार रखता है। विशेष रूप से, हम मूल हैवीवेट ViT-H एनकोडर (632M) को एक छोटे Tiny-ViT (5M) से बदलते हैं। एक ही पर GPU, MobileSAM प्रति छवि लगभग 12ms पर संचालित होता है: छवि एनकोडर पर 8ms और मास्क डिकोडर पर 4ms।

निम्न तालिका ViT-आधारित छवि एन्कोडर की तुलना प्रदान करती है:

दोनों मूल SAM और MobileSAM उसी प्रॉम्प्ट-गाइडेड मास्क डिकोडर का उपयोग करें:

यहाँ पूरी पाइपलाइन की तुलना है:

का प्रदर्शन MobileSAM और मूल SAM संकेत के रूप में एक बिंदु और एक बॉक्स दोनों का उपयोग करके प्रदर्शित किया जाता है।

अपने बेहतर प्रदर्शन के साथ, MobileSAM वर्तमान की तुलना में लगभग 5 गुना छोटा और 7 गुना तेज है FastSAM. अधिक विवरण पर उपलब्ध हैं MobileSAM परियोजना पृष्ठ।

परीक्षण MobileSAM में Ultralytics

मूल की तरह SAM, हम में एक सीधा परीक्षण विधि प्रदान करते हैं Ultralytics, बिंदु और बॉक्स दोनों संकेतों के लिए मोड सहित।

मॉडल डाउनलोड

आप मॉडल को यहां डाउनलोड कर सकते हैं।

प्वाइंट प्रॉम्प्ट

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

बॉक्स प्रॉम्प्ट

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

हमने लागू किया है MobileSAM और SAM एक ही एपीआई का उपयोग करना। अधिक उपयोग की जानकारी के लिए, कृपया देखें SAM पृष्ठ.

प्रशंसा पत्र और पावती

यदि आप पाते हैं MobileSAM आपके शोध या विकास कार्य में उपयोगी, कृपया हमारे पेपर का हवाला देने पर विचार करें:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

अक्सर पूछे जाने वाले प्रश्न

क्या है MobileSAM और यह मूल से कैसे भिन्न है SAM को गढ़ना?

MobileSAM एक हल्का, तेज छवि विभाजन मॉडल है जिसे मोबाइल एप्लिकेशन के लिए डिज़ाइन किया गया है। यह मूल के समान पाइपलाइन को बरकरार रखता है SAM लेकिन हैवीवेट ViT-H एनकोडर (632M पैरामीटर) को एक छोटे Tiny-ViT एनकोडर (5M पैरामीटर) से बदल देता है। इस परिवर्तन का परिणाम है MobileSAM मूल से लगभग 5 गुना छोटा और 7 गुना तेज होना SAM. उदाहरणार्थ MobileSAM मूल की तुलना में प्रति छवि लगभग 12ms पर संचालित होता है SAM456 मी। आप इसके बारे में अधिक जान सकते हैं MobileSAM यहां विभिन्न परियोजनाओं में कार्यान्वयन।

मैं कैसे परीक्षण कर सकता हूं MobileSAM का उपयोग करके Ultralytics?

परीक्षण MobileSAM में Ultralytics सीधे तरीकों से पूरा किया जा सकता है। आप सेगमेंट का अनुमान लगाने के लिए बिंदु और बॉक्स संकेतों का उपयोग कर सकते हैं. प्वाइंट प्रॉम्प्ट का उपयोग करके यहां एक उदाहरण दिया गया है:

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

आप इसका भी उल्लेख कर सकते हैं परीक्षण MobileSAM अधिक जानकारी के लिए अनुभाग।

मुझे क्यों उपयोग करना चाहिए MobileSAM मेरे मोबाइल एप्लिकेशन के लिए?

MobileSAM अपने हल्के आर्किटेक्चर और तेज अनुमान गति के कारण मोबाइल एप्लिकेशन के लिए आदर्श है। मूल की तुलना में SAM, MobileSAM लगभग 5 गुना छोटा और 7 गुना तेज है, जो इसे उन वातावरणों के लिए उपयुक्त बनाता है जहां कम्प्यूटेशनल संसाधन सीमित हैं। यह दक्षता सुनिश्चित करती है कि मोबाइल डिवाइस महत्वपूर्ण विलंबता के बिना रीयल-टाइम छवि विभाजन कर सकते हैं। इसके अतिरिक्त MobileSAMके मॉडल, जैसे कि अनुमान, मोबाइल प्रदर्शन के लिए अनुकूलित हैं।

कैसा था MobileSAM प्रशिक्षित, और प्रशिक्षण कोड उपलब्ध है?

MobileSAM एक एकल पर प्रशिक्षित किया गया था GPU 100k डेटासेट के साथ, जो एक दिन से भी कम समय में मूल छवियों का 1% है। जबकि प्रशिक्षण कोड भविष्य में उपलब्ध कराया जाएगा, आप वर्तमान में इसके अन्य पहलुओं का पता लगा सकते हैं MobileSAM में MobileSAM GitHub भंडार। इस रिपॉजिटरी में विभिन्न अनुप्रयोगों के लिए पूर्व-प्रशिक्षित भार और कार्यान्वयन विवरण शामिल हैं।

प्राथमिक उपयोग के मामले किसके लिए हैं MobileSAM?

MobileSAM मोबाइल वातावरण में तेज और कुशल छवि विभाजन के लिए डिज़ाइन किया गया है। प्राथमिक उपयोग के मामलों में शामिल हैं:

• मोबाइल एप्लिकेशन के लिए वास्तविक समय वस्तु का पता लगाने और विभाजन।
• सीमित कम्प्यूटेशनल संसाधनों वाले उपकरणों में कम-विलंबता छवि प्रसंस्करण।
• संवर्धित वास्तविकता (एआर) और रीयल-टाइम एनालिटिक्स जैसे कार्यों के लिए एआई-संचालित मोबाइल ऐप में एकीकरण।

अधिक विस्तृत उपयोग के मामलों और प्रदर्शन तुलना के लिए, पर अनुभाग देखें से अनुकूलन SAM तक MobileSAM.

टिप्पणियाँ