نموذج تجزئة أي شيء (SAM)#

مرحبًا بكم في طليعة تجزئة الصور مع نموذج تجزئة أي شيء، أو SAM. لقد غيّر هذا النموذج الثوري قواعد اللعبة من خلال تقديم تجزئة الصور القابلة للتوجيه بالمطالبات بأداء آني، ووضع معايير جديدة في هذا المجال.

مقدمة إلى SAM: نموذج تجزئة أي شيء#

نموذج تجزئة أي شيء، أو SAM، هو نموذج متطور لتجزئة الصور يتيح التجزئة القابلة للتوجيه بالمطالبات، مما يوفر مرونة لا مثيل لها في مهام تحليل الصور. يشكّل SAM جوهر مبادرة تجزئة أي شيء، وهي مشروع رائد يقدم نموذجًا ومهمة ومجموعة بيانات جديدة لتجزئة الصور.

يتيح التصميم المتقدم لـ SAM التكيف مع توزيعات الصور والمهام الجديدة دون معرفة مسبقة، وهي ميزة تُعرف باسم النقل الصفري. وقد دُرّب SAM على مجموعة بيانات SA-1B الواسعة، التي تحتوي على أكثر من مليار قناع موزعة على 11 مليون صورة منتقاة بعناية، وأظهر أداءً صفريًا مثيرًا للإعجاب، متفوقًا في كثير من الحالات على النتائج السابقة للتعلم الخاضع للإشراف الكامل.

صور أمثلة SA-1B. صور مجموعة البيانات مع أقنعة متراكبة من مجموعة بيانات SA-1B المقدمة حديثًا. تحتوي SA-1B على 11 مليون صورة متنوعة وعالية الدقة ومرخّصة وتحمي الخصوصية، و1.1 مليار قناع تجزئة عالي الجودة. وقد علّم SAM هذه الأقنعة تلقائيًا بالكامل، وهي عالية الجودة ومتنوعة وفقًا لتقييمات البشر والعديد من التجارب. جُمّعت الصور حسب عدد الأقنعة في كل صورة لأغراض العرض المرئي (يوجد نحو 100 قناع لكل صورة في المتوسط).

الميزات الرئيسية لنموذج تجزئة أي شيء (SAM)#

• مهمة التجزئة القابلة للتوجيه بالمطالبات: صُمم SAM مع وضع مهمة التجزئة القابلة للتوجيه بالمطالبات في الاعتبار، مما يتيح له إنشاء أقنعة تجزئة صالحة من أي مطالبة معطاة، مثل الإشارات المكانية أو النصية التي تحدد كائنًا.
• البنية المتقدمة: يستخدم نموذج تجزئة أي شيء مشفّرًا قويًا للصور، ومشفّرًا للمطالبات، وفكّ تشفير خفيف الوزن للأقنعة. تتيح هذه البنية الفريدة تقديم مطالبات مرنة، وحساب الأقنعة في الوقت الفعلي، والوعي بالغموض في مهام التجزئة.
• مجموعة بيانات SA-1B: قدمها مشروع تجزئة أي شيء، وتضم مجموعة بيانات SA-1B أكثر من مليار قناع ضمن 11 مليون صورة. وباعتبارها أكبر مجموعة بيانات للتجزئة حتى الآن، فإنها توفر لـ SAM مصدرًا متنوعًا وواسع النطاق لبيانات التدريب.
• الأداء الصفري: يُظهر SAM أداءً صفريًا متميزًا عبر مهام التجزئة المتنوعة، مما يجعله أداة جاهزة للاستخدام في تطبيقات مختلفة مع حاجة محدودة إلى هندسة المطالبات.

للاطلاع المتعمق على نموذج تجزئة أي شيء ومجموعة بيانات SA-1B، يُرجى زيارة GitHub لمشروع تجزئة أي شيء والاطلاع على الورقة البحثية تجزئة أي شيء.

النماذج المتاحة والمهام المدعومة وأنماط التشغيل#

يعرض هذا الجدول النماذج المتاحة مع أوزانها المدرّبة مسبقًا، والمهام التي تدعمها، وتوافقها مع أنماط التشغيل المختلفة مثل الاستدلال والتحقق والتدريب والتصدير، مع الإشارة إلى الأنماط المدعومة بالرموز التعبيرية ✅ وإلى الأنماط غير المدعومة بالرموز التعبيرية ❌.

كيفية استخدام SAM: المرونة والقوة في تجزئة الصور#

يمكن استخدام نموذج تجزئة أي شيء في العديد من المهام اللاحقة التي تتجاوز بيانات التدريب الخاصة به. ويشمل ذلك اكتشاف الحواف، وإنشاء مقترحات الكائنات، وتجزئة المثيلات، والتنبؤ الأولي بالأقنعة من النص. ومن خلال هندسة المطالبات، يستطيع SAM التكيف سريعًا مع المهام الجديدة وتوزيعات البيانات الجديدة بطريقة صفرية، مما يجعله أداة مرنة وقوية لتلبية جميع احتياجات تجزئة الصور.

مثال على التنبؤ باستخدام SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• المنطق هنا هو تجزئة الصورة بأكملها إذا لم تمرر أي مطالبات (bboxes/points/masks).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64, min_mask_region_area=100)

• للاطلاع على المزيد من الوسائط الإضافية لـ Segment everything، راجع مرجع Predictor/generate.

مقارنة SAM مع YOLO#

نقارن هنا نموذج SAM-b من Meta مع نماذج التجزئة من Ultralytics، بما في ذلك YOLO26n-seg:

توضح هذه المقارنة الفروق الكبيرة في أحجام النماذج وسرعاتها بين متغيرات SAM ونماذج تقسيم YOLO. وعلى الرغم من أن SAM يوفر إمكانات فريدة للتقسيم التلقائي، فإن نماذج YOLO، ولا سيما YOLOv8n-seg وYOLO11n-seg وYOLO26n-seg، أصغر وأسرع وأكثر كفاءة حسابية بدرجة كبيرة.

قيسَت سرعات SAM باستخدام PyTorch، وقيسَت سرعات YOLO باستخدام ONNX Runtime. أُجريت الاختبارات على جهاز Apple M4 Air لعام 2025 مزود بذاكرة RAM سعتها 16GB، باستخدام torch==2.10.0 وultralytics==8.4.31 وonnxruntime==1.24.4. لإعادة إجراء هذا الاختبار:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

التعليقات التوضيحية التلقائية: طريق سريع إلى مجموعات بيانات التجزئة#

تُعد التعليقات التوضيحية التلقائية ميزة رئيسية في SAM، إذ تتيح للمستخدمين إنشاء مجموعة بيانات للتجزئة باستخدام نموذج كشف مدرّب مسبقًا. وتتيح هذه الميزة إضافة التعليقات التوضيحية بسرعة ودقة إلى عدد كبير من الصور، متجاوزةً الحاجة إلى التوسيم اليدوي المستغرق للوقت.

إنشاء مجموعة بيانات التجزئة باستخدام نموذج كشف#

لإضافة تعليقات توضيحية تلقائية إلى مجموعة بياناتك باستخدام إطار عمل Ultralytics، استخدم الدالة auto_annotate كما هو موضح أدناه:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

تأخذ الدالة auto_annotate مسار صورك، مع وسائط اختيارية لتحديد نماذج الكشف المدرّبة مسبقًا ونماذج تجزئة SAM، والجهاز الذي ستُشغّل عليه النماذج، ودليل الإخراج لحفظ النتائج التي أُضيفت إليها التعليقات التوضيحية.

يمكن للتعليقات التوضيحية التلقائية باستخدام النماذج المدرّبة مسبقًا تقليص الوقت والجهد اللازمين لإنشاء مجموعات بيانات تجزئة عالية الجودة بشكل كبير. وتفيد هذه الميزة خصوصًا الباحثين والمطورين الذين يتعاملون مع مجموعات صور كبيرة، إذ تتيح لهم التركيز على تطوير النماذج وتقييمها بدلًا من إضافة التعليقات التوضيحية يدويًا.

الاقتباسات والشكر والتقدير#

إذا وجدت نموذج SAM مفيداً في بحثك أو عملك التطويري، فيرجى التفكير في الاستشهاد بالورقة البحثية:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

نود أن نعرب عن امتناننا لـ Meta AI لإنشاء هذا المورد القيّم لمجتمع الرؤية الحاسوبية وصيانته.

الأسئلة الشائعة#