أي شيء قطاع الجوال أي شيء (MobileSAM)

الورقة البحثية MobileSAM متاحة الآن على موقع arXiv.

يمكن الوصول إلى عرض توضيحي لـ MobileSAM يعمل على CPU على هذا الرابط التجريبي. يستغرق الأداء على جهاز Mac i5 CPU حوالي 3 ثوانٍ تقريبًا. في العرض التوضيحي على Hugging Face ، تساهم الواجهة ووحدات المعالجة المركزية منخفضة الأداء في إبطاء الاستجابة، لكنها تستمر في العمل بفعالية.

شاهد: كيفية تشغيل الاستدلال باستخدام MobileSAM باستخدام Ultralytics | دليل خطوة بخطوة 🎉

MobileSAM في مشاريع مختلفة بما في ذلك Grounding-SAM ، و AnyLabeling، و Segment Anything in 3D.

MobileSAM تم تدريبه على موقع واحد GPU بمجموعة بيانات 100 ألف (1% من الصور الأصلية) في أقل من يوم واحد. سيتم توفير الكود الخاص بهذا التدريب في المستقبل.

النماذج المتوفرة والمهام المدعومة وأوضاع التشغيل

يعرض هذا الجدول النماذج المتاحة مع أوزانها المحددة المدربة مسبقًا والمهام التي تدعمها وتوافقها مع أوضاع التشغيل المختلفة مثل الاستدلال والتحقق من الصحة والتدريب والتصدير، ويُشار إليها بـ ✅ رموز تعبيرية للأوضاع المدعومة و❌ رموز تعبيرية للأوضاع غير المدعومة.

التكيف من SAM إلى MobileSAM

نظرًا لأن الموقع MobileSAM يحتفظ بنفس خط الأنابيب الأصلي SAM ، فقد قمنا بدمج المعالجة المسبقة والمعالجة اللاحقة وجميع الواجهات الأخرى في الموقع الأصلي. وبالتالي، يمكن لأولئك الذين يستخدمون حاليًا SAM الأصلي الانتقال إلى MobileSAM بأقل جهد ممكن.

MobileSAM يعمل بشكل مماثل للأصل SAM ويحتفظ بنفس خط الأنابيب باستثناء تغيير في مشفر الصورة. وعلى وجه التحديد، نستبدل مشفر ViT-H الأصلي ثقيل الوزن (632 ميجا) بمشفر Tiny-ViT (5 ميجا) أصغر حجمًا. على جهاز واحد GPU ، MobileSAM يعمل في حوالي 12 مللي ثانية لكل صورة: 8 مللي ثانية على مشفر الصورة و4 مللي ثانية على وحدة فك تشفير القناع.

يقدم الجدول التالي مقارنة بين برامج تشفير الصور المستندة إلى تقنية VT:

يستخدم كل من الموقعين الأصليين SAM و MobileSAM نفس وحدة فك ترميز القناع الموجه بالموجه:

فيما يلي مقارنة خط الأنابيب بالكامل:

يتم عرض أداء MobileSAM والأصل SAM باستخدام كل من النقطة والمربع كمطالبات.

وبفضل أدائه المتفوق، فإن MobileSAM أصغر 5 مرات تقريبًا وأسرع 7 مرات من FastSAM الحالي. يتوفر المزيد من التفاصيل على صفحة المشروعMobileSAM .

الاختبار MobileSAM في Ultralytics

تمامًا مثل الموقع الأصلي SAM ، نقدم طريقة اختبار مباشرة في Ultralytics ، بما في ذلك أوضاع لكل من المطالبات النقطية والمربع.

تنزيل النموذج

يمكنك تنزيل النموذج من هنا.

موجه النقاط

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

موجه الصندوق

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict mutiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

لقد قمنا بتنفيذ MobileSAM و SAM باستخدام واجهة برمجة التطبيقات نفسها. لمزيد من معلومات الاستخدام، يرجى الاطلاع على SAM الصفحة.

الاستشهادات والشكر والتقدير

إذا وجدت MobileSAM مفيداً في أعمالك البحثية أو التطويرية، يرجى النظر في الاستشهاد بورقتنا البحثية:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

الأسئلة الشائعة

ما هو MobileSAM وكيف يختلف عن النموذج الأصلي SAM ؟

MobileSAM هو نموذج خفيف الوزن وسريع لتجزئة الصور مصمم للتطبيقات المحمولة. وهو يحتفظ بنفس خط الأنابيب مثل النموذج الأصلي SAM ولكنه يستبدل مشفر ViT-H ثقيل الوزن (632 مليون معلمة) بمشفر Tiny-ViT أصغر (5 مليون معلمة). ينتج عن هذا التغيير أن يكون MobileSAM أصغر بحوالي 5 أضعاف وأسرع 7 مرات من الأصل SAM. على سبيل المثال، يعمل MobileSAM بسرعة 12 مللي ثانية تقريبًا لكل صورة، مقارنةً بـ 456 مللي ثانية في الأصل SAM. يمكنك معرفة المزيد عن تطبيق MobileSAM في مشاريع مختلفة هنا.

كيف يمكنني اختبار MobileSAM باستخدام Ultralytics ؟

يمكن إجراء الاختبار MobileSAM في Ultralytics من خلال طرق مباشرة. يمكنك استخدام المطالبات النقطية والمربعة لتوقع المقاطع. إليك مثالاً باستخدام المطالبة النقطية:

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

يمكنك أيضاً الرجوع إلى قسم الاختبار MobileSAM لمزيد من التفاصيل.

لماذا يجب أن أستخدم MobileSAM لتطبيق الهاتف المحمول الخاص بي؟

MobileSAM مثالية لتطبيقات الأجهزة المحمولة نظرًا لبنيتها خفيفة الوزن وسرعة الاستدلال السريعة. ومقارنةً بالنسخة الأصلية SAM ، فإن MobileSAM أصغر بحوالي 5 أضعاف وأسرع بـ 7 أضعاف، مما يجعله مناسبًا للبيئات التي تكون فيها الموارد الحاسوبية محدودة. تضمن هذه الكفاءة أن الأجهزة المحمولة يمكنها إجراء تجزئة للصور في الوقت الفعلي دون تأخير كبير. وبالإضافة إلى ذلك، تم تحسين نماذج MobileSAM ، مثل Inference، لتناسب أداء الأجهزة المحمولة.

كيف تم تدريب MobileSAM ، وهل رمز التدريب متاح؟

MobileSAM تم تدريبه على موقع GPU واحد بمجموعة بيانات 100 ألف، أي 1% من الصور الأصلية، في أقل من يوم واحد. بينما سيتم إتاحة كود التدريب في المستقبل، يمكنك حاليًا استكشاف جوانب أخرى من MobileSAM في مستودعMobileSAM GitHub. يتضمن هذا المستودع أوزانًا مُدرَّبة مسبقًا وتفاصيل التنفيذ لتطبيقات مختلفة.

ما هي حالات الاستخدام الأساسية لـ MobileSAM ؟

MobileSAM مصمم لتجزئة الصور بسرعة وكفاءة في البيئات المتنقلة. تشمل حالات الاستخدام الأساسية ما يلي:

• الكشف عن الأجسام وتجزئتها في الوقت الحقيقي لتطبيقات الأجهزة المحمولة.
• معالجة الصور ذات الكمون المنخفض في الأجهزة ذات الموارد الحاسوبية المحدودة.
• التكامل في تطبيقات الأجهزة المحمولة التي تعتمد على الذكاء الاصطناعي لمهام مثل الواقع المعزز (AR) والتحليلات في الوقت الفعلي.

لمزيد من حالات الاستخدام التفصيلية ومقارنات الأداء، راجع القسم الخاص بالتكيف من SAM إلى MobileSAM.

📅 تم إنشاؤها منذ 1 سنة مضت ✏️ تم التحديث منذ 2 شهر

التعليقات