تقسيم أي شيء للأجهزة المحمولة (MobileSAM)#

MobileSAM هو نموذج مدمج وفعّال لتقسيم الصور، صُمم خصيصًا للأجهزة المحمولة وأجهزة الحافة. وقد صُمم لجلب إمكانات نموذج Meta لتقسيم أي شيء (SAM) إلى البيئات ذات قدرات الحوسبة المحدودة، ويوفر MobileSAM تقسيمًا شبه فوري مع الحفاظ على التوافق مع خط أنابيب SAM الأصلي. سواء كنت تطوّر تطبيقات في الوقت الفعلي أو عمليات نشر خفيفة الوزن، يوفّر MobileSAM نتائج تقسيم مذهلة بمتطلبات حجم وسرعة أقل بكثير من أسلافه.

اعتُمد MobileSAM في مجموعة متنوعة من المشاريع، بما في ذلك Grounding-SAM وAnyLabeling وSegment Anything in 3D.

تم تدريب MobileSAM على وحدة معالجة رسومية (GPU) واحدة باستخدام مجموعة بيانات تضم 100 ألف صورة (1% من الصور الأصلية) في أقل من يوم.

النماذج المتاحة والمهام المدعومة وأنماط التشغيل#

يوضح الجدول أدناه نموذج MobileSAM المتاح، وأوزانه المدرّبة مسبقًا، والمهام المدعومة، والتوافق مع أنماط التشغيل المختلفة مثل الاستدلال والتحقق والتدريب والتصدير. ويُشار إلى الأنماط المدعومة بالرمز ✅، وإلى الأنماط غير المدعومة بالرمز ❌.

مقارنة MobileSAM مع YOLO#

تسلّط المقارنة التالية الضوء على الفروق بين متغيرات SAM من Meta وMobileSAM ونماذج Ultralytics لتقسيم الصور، بما في ذلك YOLO26n-seg:

تُظهر هذه المقارنة الفروق الكبيرة في حجم النماذج وسرعتها بين متغيرات SAM ونماذج YOLO لتقسيم الصور. وعلى الرغم من أن نماذج SAM توفر إمكانات فريدة للتقسيم التلقائي، فإن نماذج YOLO—وخاصة YOLOv8n-seg وYOLO11n-seg وYOLO26n-seg—أصغر بكثير وأسرع وأكثر كفاءة حوسبيًا.

قِيست سرعات SAM باستخدام PyTorch، وقِيست سرعات YOLO باستخدام ONNX Runtime. أُجريت الاختبارات على جهاز Apple M4 Air لعام 2025 مزود بذاكرة RAM سعتها 16GB، باستخدام torch==2.10.0 وultralytics==8.4.31 وonnxruntime==1.24.4. لإعادة إنتاج هذه النتائج:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

التكيّف من SAM إلى MobileSAM#

يحتفظ MobileSAM بخط الأنابيب نفسه المستخدم في SAM الأصلي، بما في ذلك المعالجة المسبقة والمعالجة اللاحقة وجميع الواجهات. وهذا يعني أنه يمكنك الانتقال من SAM إلى MobileSAM مع إجراء تغييرات طفيفة على سير عملك.

يكمن الاختلاف الأساسي في مُرمّز الصور: إذ يستبدل MobileSAM مُرمّز ViT-H الأصلي (637 مليون معلمة) بمُرمّز Tiny-ViT أصغر بكثير (5 ملايين معلمة). وعلى وحدة GPU واحدة، يعالج MobileSAM الصورة في نحو 12 مللي ثانية (8 مللي ثوانٍ للمُرمّز و4 مللي ثوانٍ لفك ترميز القناع).

مقارنة مُرمّزات الصور المعتمدة على ViT#

فك ترميز القناع الموجّه بالمحفّزات#

مقارنة خط الأنابيب الكامل#

يوضح أدناه أداء MobileSAM وSAM الأصلي باستخدام محفّزات النقاط والمربعات.

MobileSAM أصغر بنحو 7 مرات وأسرع 5 مرات تقريبًا من FastSAM. ولمزيد من التفاصيل، يُرجى زيارة صفحة مشروع MobileSAM.

اختبار MobileSAM في Ultralytics#

وكما هو الحال مع SAM الأصلي، توفر Ultralytics واجهة بسيطة لاختبار MobileSAM، مع دعم محفّزات النقاط والمربعات.

تنزيل النموذج#

نزّل الأوزان المدرّبة مسبقًا لـ MobileSAM من أصول Ultralytics.

محفّز النقطة#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

محفّز المربع#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

يشترك كل من MobileSAM وSAM في واجهة API نفسها. ولمزيد من تفاصيل الاستخدام، راجع وثائق SAM.

إنشاء مجموعات بيانات التقسيم تلقائيًا باستخدام نموذج كشف#

لتنفيذ التعليق التوضيحي على مجموعة بياناتك تلقائيًا باستخدام إطار عمل Ultralytics، استخدم الدالة auto_annotate كما هو موضح أدناه:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

الاقتباسات والشكر والتقدير#

إذا كان MobileSAM مفيدًا في بحثك أو تطويرك، فيُرجى التفكير في الاستشهاد بالورقة التالية:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

اقرأ ورقة MobileSAM كاملة على arXiv.

الأسئلة الشائعة#