نموذج تقسيم أي شيء (SAM)#

مرحبًا بك في حدود تجزئة الصور مع نموذج Segment Anything Model، أو SAM. لقد غير هذا النموذج الثوري قواعد اللعبة من خلال تقديم تجزئة الصور القابلة للتوجيه بأداء في الوقت الفعلي، مما وضع معايير جديدة في هذا المجال.

مقدمة إلى SAM: نموذج Segment Anything#

يعد نموذج Segment Anything، أو SAM، نموذجاً متطوراً لتقسيم الصور يتيح التقسيم القابل للتوجيه، مما يوفر تنوعاً لا مثيل له في مهام تحليل الصور. يشكل SAM قلب مبادرة Segment Anything، وهو مشروع رائد يقدم نموذجاً ومهمة ومجموعة بيانات جديدة لتقسيم الصور.

يتيح تصميم SAM المتقدم له التكيف مع توزيعات الصور والمهام الجديدة دون معرفة سابقة، وهي ميزة تُعرف بالتعلم الصفري (zero-shot transfer). تم تدريب SAM على مجموعة بيانات SA-1B الواسعة، والتي تحتوي على أكثر من مليار قناع موزعة على 11 مليون صورة منتقاة بعناية، وقد أظهر أداءً مذهلاً في النقل الصفري، متجاوزًا النتائج السابقة المشرفة بالكامل في العديد من الحالات.

أمثلة صور SA-1B. صور مجموعة البيانات مع أقنعة متراكبة من مجموعة بيانات SA-1B المُقدَّمة حديثًا. تحتوي مجموعة بيانات SA-1B على 11 مليون صورة متنوعة وعالية الدقة ومحمية بحقوق الملكية والخصوصية و1.1 مليار قناع تجزئة عالي الجودة. تم توضيح هذه الأقنعة تلقائيًا بالكامل بواسطة SAM، وكما تم التحقق منه من خلال تقييمات البشر والعديد من التجارب، فهي ذات جودة وتنوع عاليين. يتم تجميع الصور حسب عدد الأقنعة لكل صورة لأغراض التوضيح (هناك حوالي 100 قناع لكل صورة في المتوسط).

الميزات الرئيسية لنموذج Segment Anything (SAM)#

• مهمة التقسيم القابل للتوجيه: تم تصميم SAM مع وضع مهمة التقسيم القابل للتوجيه في الاعتبار، مما يسمح له بإنشاء أقنعة تقسيم صالحة من أي مطالبة معطاة، مثل الإشارات المكانية أو النصية التي تحدد كائناً ما.
• بنية متقدمة: يستخدم نموذج Segment Anything مشفر صور قوياً، ومشفر مطالبات، ومفكك أقنعة خفيف الوزن. تتيح هذه البنية الفريدة توجيهاً مرناً، وحساب أقنعة في الوقت الفعلي، والوعي بالغموض في مهام التقسيم.
• مجموعة بيانات SA-1B: التي قدمها مشروع Segment Anything، تتميز مجموعة بيانات SA-1B بأكثر من مليار قناع على 11 مليون صورة. وبصفتها أكبر مجموعة بيانات للتقسيم حتى الآن، فهي توفر لـ SAM مصدراً متنوعاً وكبير النطاق لبيانات التدريب.
• الأداء الصفري (Zero-Shot Performance): يُظهر SAM أداءً متميزًا في النقل الصفري عبر مختلف مهام التجزئة، مما يجعله أداة جاهزة للاستخدام لتطبيقات متنوعة مع الحاجة الأدنى إلى هندسة التوجيه (prompt engineering).

للحصول على نظرة متعمقة حول نموذج Segment Anything Model ومجموعة بيانات SA-1B، يرجى زيارة صفحة GitHub الخاصة بـ Segment Anything والاطلاع على ورقة البحث Segment Anything.

النماذج المتاحة، والمهام المدعومة، وأوضاع التشغيل#

يعرض هذا الجدول النماذج المتاحة مع أوزانها المدربة مسبقًا المحددة، والمهام التي تدعمها، وتوافقها مع أوضاع التشغيل المختلفة مثل Inference، وValidation، وTraining، وExport، والتي يُشار إليها برموز تعبيرية ✅ للأوضاع المدعومة و❌ للأوضاع غير المدعومة.

كيفية استخدام SAM: التنوع والقوة في تقسيم الصور#

يمكن توظيف SegmentAnything Model للعديد من المهام اللاحقة التي تتجاوز بيانات تدريبه. ويشمل ذلك اكتشاف الحواف، وتوليد مقترحات الكائنات، والتجزئة المثيلية (instance segmentation)، والتنبؤ الأولي من النص إلى القناع. باستخدام هندسة التوجيه، يمكن لـ SAM التكيف بسرعة مع المهام الجديدة وتوزيعات البيانات بطريقة الصفر (zero-shot)، مما يجعله أداة متعددة الاستخدامات وقوية لجميع احتياجات تجزئة الصور الخاصة بك.

مثال على تنبؤ SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• المنطق هنا هو تقسيم الصورة بأكملها إذا لم تقم بتمرير أي مطالبات (bboxes/points/masks).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• لمزيد من الوسائط الإضافية لـ Segment everything راجع Predictor/generate مرجع.

مقارنة SAM مقابل YOLO#

نقارن هنا نموذج SAM-b من Meta مع نماذج التجزئة من Ultralytics بما في ذلك YOLO26n-seg:

توضح هذه المقارنة الاختلافات الجوهرية في أحجام النماذج وسرعاتها بين متغيرات SAM ونماذج تقسيم YOLO. في حين يوفر SAM قدرات تقسيم تلقائية فريدة، فإن نماذج YOLO، وخاصة YOLOv8n-seg وYOLO11n-seg وYOLO26n-seg، أصغر حجماً وأسرع بكثير وأكثر كفاءة من الناحية الحسابية.

تم قياس سرعات SAM باستخدام PyTorch، وسرعات YOLO باستخدام ONNX Runtime. أجريت الاختبارات على جهاز Apple M4 Air لعام 2025 بذاكرة وصول عشوائي (RAM) سعة 16 جيجابايت باستخدام torch==2.10.0، وultralytics==8.4.31، وonnxruntime==1.24.4. لإعادة إنتاج هذا الاختبار:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

التعليق التلقائي: مسار سريع لمجموعات بيانات التقسيم#

التوضيح التلقائي هو ميزة رئيسية في SAM، تتيح للمستخدمين إنشاء مجموعة بيانات التجزئة باستخدام نموذج اكتشاف مُدرب مسبقًا. تتيح هذه الميزة التوضيح السريع والدقيق لعدد كبير من الصور، مما يتجنب الحاجة إلى التسمية اليدوية المستهلكة للوقت.

قم بإنشاء مجموعة بيانات التقسيم الخاصة بك باستخدام نموذج اكتشاف#

لتوضيح مجموعة البيانات تلقائيًا باستخدام إطار عمل Ultralytics، استخدم وظيفة auto_annotate كما هو موضح أدناه:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

تأخذ وظيفة auto_annotate المسار إلى صورك، مع وسائط اختيارية لتحديد نماذج الكشف المُدربة مسبقًا وتجزئة SAM، والجهاز الذي يتم تشغيل النماذج عليه، ومجلد الإخراج لحفظ النتائج الموضحة.

يمكن للتعليق التلقائي باستخدام النماذج المدربة مسبقًا تقليل الوقت والجهد اللازمين لإنشاء مجموعات بيانات تجزئة عالية الجودة بشكل كبير. هذه الميزة مفيدة بشكل خاص للباحثين والمطورين الذين يتعاملون مع مجموعات صور كبيرة، حيث تسمح لهم بالتركيز على تطوير النموذج وتقييمه بدلاً من التعليق اليدوي.

الاقتباسات والشكر#

إذا وجدت SAM مفيدًا في بحثك أو عملك التطويري، يرجى التفكير في الاستشهاد بورقتنا البحثية:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نود أن نعرب عن امتناننا لـ Meta AI لإنشاء والحفاظ على هذا المورد القيم لمجتمع الرؤية الحاسوبية.

الأسئلة الشائعة#