Mobile Segment Anything (MobileSAM)#

MobileSAM هو نموذج تجزئة صور مدمج وفعال مصمم خصيصاً للهواتف المحمولة والأجهزة الطرفية. صُمم لجلب قوة نموذج Segment Anything الخاص بـ Meta (SAM) إلى البيئة ذات الحوسبة المحدودة، حيث يقدم MobileSAM تجزئة شبه فورية مع الحفاظ على التوافق مع خط أنابيب SAM الأصلي. سواء كنت تطور تطبيقات في الوقت الفعلي أو عمليات نشر خفيفة الوزن، فإن MobileSAM يوفر نتائج تجزئة مذهلة بمتطلبات حجم وسرعة تقل بكثير عن أسلافه.

تم اعتماد MobileSAM في مجموعة متنوعة من المشاريع، بما في ذلك Grounding-SAM، وAnyLabeling، وSegment Anything in 3D.

تم تدريب MobileSAM على GPU واحد باستخدام مجموعة بيانات من 100 ألف صورة (1% من الصور الأصلية) في أقل من يوم واحد. سيتم إصدار كود التدريب في المستقبل.

النماذج المتاحة، والمهام المدعومة، وأوضاع التشغيل#

يوضح الجدول أدناه نموذج MobileSAM المتاح، وأوزانه المدربة مسبقاً، والمهام المدعومة، والتوافق مع أوضاع التشغيل المختلفة مثل Inference، وValidation، وTraining، وExport. يُشار إلى الأوضاع المدعومة بـ ✅ والأوضاع غير المدعومة بـ ❌.

مقارنة MobileSAM مقابل YOLO#

تسلط المقارنة التالية الضوء على الاختلافات بين متغيرات SAM من Meta، وMobileSAM، ونماذج التجزئة من Ultralytics بما في ذلك YOLO26n-seg:

تُظهر هذه المقارنة الاختلافات الجوهرية في حجم وسرعة النموذج بين متغيرات SAM ونماذج التجزئة YOLO. في حين تقدم نماذج SAM قدرات تجزئة تلقائية فريدة، فإن نماذج YOLO - خاصة YOLOv8n-seg و YOLO11n-seg و YOLO26n-seg - أصغر بكثير وأسرع وأكثر كفاءة من الناحية الحسابية.

تم قياس سرعات SAM باستخدام PyTorch، وسرعات YOLO باستخدام ONNX Runtime. أجريت الاختبارات على جهاز 2025 Apple M4 Air بذاكرة وصول عشوائي (RAM) سعة 16 جيجابايت باستخدام torch==2.10.0، وultralytics==8.4.31، وonnxruntime==1.24.4. لإعادة إنتاج هذه النتائج:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

التكيف من SAM إلى MobileSAM#

يحتفظ MobileSAM بنفس خط الأنابيب الخاص بنموذج SAM الأصلي، بما في ذلك المعالجة المسبقة، والمعالجة اللاحقة، وجميع الواجهات. هذا يعني أنه يمكنك الانتقال من SAM إلى MobileSAM بأقل قدر من التغييرات في سير العمل الخاص بك.

الاختلاف الرئيسي يكمن في مشفر الصور: يستبدل MobileSAM مشفر ViT-H الأصلي (بمعاملات قدرها 637M) بمشفر Tiny-ViT أصغر بكثير (بمعاملات قدرها 5M). على وحدة معالجة رسومات (GPU) واحدة، يعالج MobileSAM الصورة في حوالي 12 مللي ثانية (8 مللي ثانية للمشفر، و4 مللي ثانية لفك تشفير القناع).

مقارنة مشفر الصور القائم على ViT#

فك تشفير القناع الموجه بالمطالبة#

مقارنة خط الأنابيب بالكامل#

يتم توضيح أداء MobileSAM و SAM الأصلي أدناه باستخدام مطالبات النقاط والمربعات.

يعد MobileSAM أصغر بنحو 7 مرات وأسرع بـ 5 مرات من FastSAM. لمزيد من التفاصيل، قم بزيارة MobileSAM project page.

اختبار MobileSAM في Ultralytics#

تماماً مثل SAM الأصلي، توفر Ultralytics واجهة بسيطة لاختبار MobileSAM، والتي تدعم كل من توجيهات النقاط (Point) والمربعات (Box).

تحميل النموذج#

قم بتنزيل أوزان MobileSAM المدربة مسبقاً من Ultralytics assets.

مطالبة نقطية#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

مطالبة مربعة#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

يشترك كل من MobileSAM وSAM في نفس واجهة برمجة التطبيقات (API). لمزيد من تفاصيل الاستخدام، راجع SAM documentation.

بناء مجموعات بيانات التجزئة تلقائيًا باستخدام نموذج كشف#

للتعليق التلقائي على annotate your dataset باستخدام إطار عمل Ultralytics، استخدم وظيفة auto_annotate كما هو موضح أدناه:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

الاقتباسات والشكر#

إذا كان MobileSAM مفيدًا في بحثك أو تطويرك، فيرجى التفكير في الاستشهاد بالورقة التالية:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

اقرأ MobileSAM paper on arXiv بالكامل.

الأسئلة الشائعة#