نموذج Mobile Segment Anything (MobileSAM)

MobileSAM هو نموذج تقسيم صور مدمج وعالي الكفاءة مصمم خصيصاً للأجهزة المحمولة وأجهزة الحافة (edge devices). صُمم ليقدم قوة نموذج Meta's Segment Anything Model (SAM) للبيئات ذات قدرات الحوسبة المحدودة، ويوفر MobileSAM تقسيماً شبه فوري مع الحفاظ على التوافق مع خط أنابيب SAM الأصلي. سواء كنت تطور تطبيقات في الوقت الفعلي أو عمليات نشر خفيفة الوزن، يوفر MobileSAM نتائج تقسيم مبهرة بجزء بسيط من متطلبات الحجم والسرعة لأسلافه.

تم اعتماد MobileSAM في مجموعة متنوعة من المشاريع، بما في ذلك Grounding-SAM, AnyLabeling، و Segment Anything in 3D.

تم تدريب MobileSAM على وحدة معالجة رسومات (GPU) واحدة باستخدام مجموعة بيانات مكونة من 100 ألف صورة (1% من الصور الأصلية) في أقل من يوم واحد. سيتم إصدار كود التدريب في المستقبل.

النماذج المتاحة، المهام المدعومة، وأنماط التشغيل

يوضح الجدول أدناه نموذج MobileSAM المتاح، وأوزانه المدربة مسبقاً، والمهام المدعومة، والتوافق مع أنماط التشغيل المختلفة مثل Inference, التحقق, التدريب، و التصدير (Export). تتم الإشارة إلى الأنماط المدعومة بـ ✅ والأنماط غير المدعومة بـ ❌.

مقارنة MobileSAM مقابل YOLO

تُبرز المقارنة التالية الاختلافات بين متغيرات SAM من Meta، وMobileSAM، ونماذج التقسيم من Ultralytics بما في ذلك YOLO26n-seg:

توضح هذه المقارنة الاختلافات الجوهرية في حجم وسرعة النموذج بين متغيرات SAM ونماذج التقسيم من YOLO. بينما توفر نماذج SAM قدرات تقسيم تلقائية فريدة، إلا أن نماذج YOLO—خاصة YOLOv8n-seg وYOLO11n-seg وYOLO26n-seg—تعد أصغر وأسرع وأكثر كفاءة من الناحية الحسابية بشكل ملحوظ.

تم قياس سرعات SAM باستخدام PyTorch، وسرعات YOLO باستخدام ONNX Runtime. أجريت الاختبارات على جهاز Apple M4 Air لعام 2025 بذاكرة وصول عشوائي (RAM) سعة 16 جيجابايت باستخدام torch==2.10.0, ultralytics==8.4.31، و onnxruntime==1.24.4. لإعادة إنتاج هذه النتائج:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

التكيف من SAM إلى MobileSAM

يحتفظ MobileSAM بنفس خط الأنابيب الخاص بـ SAM الأصلي، بما في ذلك المعالجة المسبقة، والمعالجة اللاحقة، وجميع الواجهات. هذا يعني أنه يمكنك الانتقال من SAM إلى MobileSAM مع إجراء الحد الأدنى من التغييرات على سير عملك.

الاختلاف الرئيسي هو مشفر الصور (image encoder): يستبدل MobileSAM مشفر ViT-H الأصلي (بـ 632 مليون معلمة) بمشفر Tiny-ViT أصغر بكثير (بـ 5 ملايين معلمة). على وحدة معالجة رسومات (GPU) واحدة، يعالج MobileSAM الصورة في حوالي 12 مللي ثانية (8 مللي ثانية للمشفر، 4 مللي ثانية لفك قناع التقسيم).

مقارنة مشفر الصور المستند إلى ViT

فك قناع التقسيم الموجه بالمطالبات (Prompt-Guided Mask Decoder)

مقارنة خط الأنابيب بالكامل

تم توضيح أداء MobileSAM وSAM الأصلي أدناه باستخدام مطالبات النقاط والمربعات.

يعد MobileSAM أصغر بحوالي 7 مرات وأسرع بـ 5 مرات من FastSAM. لمزيد من التفاصيل، قم بزيارة صفحة مشروع MobileSAM.

اختبار MobileSAM في Ultralytics

تماماً مثل SAM الأصلي، توفر Ultralytics واجهة بسيطة لاختبار MobileSAM، تدعم مطالبات النقاط والمربعات.

تنزيل النموذج

قم بتنزيل أوزان MobileSAM المدربة مسبقاً من أصول Ultralytics.

مطالبة نقطية

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

مطالبة مربعة

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

كل من MobileSAM و SAM يشتركان في نفس الـ API. لمزيد من تفاصيل الاستخدام، راجع توثيق SAM.

بناء مجموعات بيانات التقسيم تلقائياً باستخدام نموذج كشف

للقيام بـ تعليق مجموعة بياناتك (annotate your dataset) تلقائياً باستخدام إطار عمل Ultralytics، استخدم وظيفة auto_annotate كما هو موضح أدناه:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

الاستشهادات وشكر وتقدير

إذا كان MobileSAM مفيداً في بحثك أو تطويرك، يرجى النظر في الاستشهاد بالورقة البحثية التالية:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

اقرأ كامل ورقة MobileSAM البحثية على arXiv.

الأسئلة الشائعة

ما هو MobileSAM وكيف يختلف عن نموذج SAM الأصلي؟

MobileSAM هو نموذج تجزئة الصور خفيف وسريع ومحسن لتطبيقات الأجهزة المحمولة والحافة. يحافظ على نفس المسار البرمجي لنموذج SAM الأصلي ولكنه يستبدل مشفر ViT-H الكبير (632 مليون معامل) بمشفر Tiny-ViT مدمج (5 ملايين معامل). يؤدي هذا إلى جعل MobileSAM أصغر بحوالي 5 مرات وأسرع بـ 7 مرات من SAM الأصلي، حيث يعمل بحوالي 12 مللي ثانية لكل صورة مقابل 456 مللي ثانية لنموذج SAM. استكشف المزيد حول تنفيذ MobileSAM على مستودع MobileSAM على GitHub.

كيف يمكنني اختبار MobileSAM باستخدام Ultralytics؟

اختبار MobileSAM في Ultralytics أمر مباشر. يمكنك استخدام مطالبات النقاط (Point) والمربعات (Box) للتنبؤ بالقطاعات. على سبيل المثال، باستخدام مطالبة النقطة:

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

لمزيد من التفاصيل، انظر اختبار MobileSAM في Ultralytics .

لماذا يجب أن أستخدم MobileSAM لتطبيقي المحمول؟

MobileSAM مثالي لتطبيقات الأجهزة المحمولة والحافة نظراً لتصميمه خفيف الوزن وسرعة الاستدلال الفائقة. مقارنة بـ SAM الأصلي، MobileSAM أصغر بحوالي 5 مرات وأسرع بـ 7 مرات، مما يجعله مناسباً للتقطيع في الوقت الفعلي على الأجهزة ذات الموارد الحوسبية المحدودة. تمكن كفاءته الأجهزة المحمولة من إجراء تجزئة الصور في الوقت الفعلي دون تأخير كبير. بالإضافة إلى ذلك، يدعم MobileSAM وضع الاستدلال المحسن لأداء الأجهزة المحمولة.

كيف تم تدريب MobileSAM، وهل كود التدريب متاح؟

تم تدريب MobileSAM على GPU واحد باستخدام مجموعة بيانات مكونة من 100 ألف صورة (1% من الصور الأصلية) في أقل من يوم. بينما سيتم إصدار كود التدريب في المستقبل، يمكنك حالياً الوصول إلى الأوزان المدربة مسبقاً وتفاصيل التنفيذ من مستودع MobileSAM على GitHub.

ما هي حالات الاستخدام الأساسية لـ MobileSAM؟

تم تصميم MobileSAM لتجزئة الصور بسرعة وكفاءة في بيئات الأجهزة المحمولة والحافة. تشمل حالات الاستخدام الأساسية:

• في الوقت الفعلي اكتشاف وتجزئة الكائنات لتطبيقات الهاتف المحمول
• معالجة الصور ذات التأخير المنخفض على الأجهزة ذات القدرة الحوسبية المحدودة
• التكامل في تطبيقات الهاتف المحمول المدعومة بالذكاء الاصطناعي للواقع المعزز (AR)، والتحليلات، والمزيد

لمزيد من التفاصيل حول حالات الاستخدام والأداء، انظر التكيف من SAM إلى MobileSAM و مدونة Ultralytics حول تطبيقات MobileSAM.