SAM 3: تجزئة أي شيء باستخدام المفاهيم#

SAM 3 (Segment Anything Model 3) هو نموذج أساسي أصدرته Meta لـ تجزئة المفاهيم القابلة للتوجيه (PCS). بناءً على SAM 2، يقدم SAM 3 قدرة جديدة أساسية: اكتشاف وتجزئة وتتبع جميع مثيلات المفهوم المرئي المحدد بواسطة موجهات النص، أو أمثلة الصور، أو كليهما. على عكس إصدارات SAM السابقة التي تجزئ كائنات فردية لكل موجه، يمكن لـ SAM 3 العثور على وتجزئة كل ظهور لمفهوم يظهر في أي مكان في الصور أو مقاطع الفيديو، مما يتوافق مع أهداف المفردات المفتوحة في التجزئة المثيلية الحديثة.

تم دمج SAM 3 الآن بشكل كامل في حزمة ultralytics، مما يوفر دعمًا أصليًا لتجزئة المفاهيم باستخدام موجهات النص، وموجهات أمثلة الصور، وقدرات تتبع الفيديو.

نظرة عامة#

يحقق SAM 3 مضاعفة الأداء بمرتين مقارنة بالأنظمة الحالية في تجزئة المفاهيم القابلة للتوجيه مع الحفاظ على قدرات SAM 2 وتحسينها لـ التجزئة المرئية التفاعلية. يتفوق النموذج في التجزئة ذات المفردات المفتوحة، مما يسمح للمستخدمين بتحديد المفاهيم باستخدام عبارات اسمية بسيطة (مثل "حافلة مدرسية صفراء"، "قطة مقلمة") أو توفير صور أمثلة للكائن المستهدف. تكمل هذه القدرات خطوط الأنابيب الجاهزة للإنتاج التي تعتمد على سير عمل التنبؤ والتتبع المبسط.

ما هي تجزئة المفاهيم القابلة للمطالبة (PCS)؟#

تأخذ مهمة PCS مطالبة بالمفهوم كمدخل وتعيد أقنعة تجزئة بهويات فريدة لـ جميع مثيلات الكائنات المطابقة. يمكن أن تكون مطالبات المفهوم:

• النص: عبارات اسمية بسيطة مثل "تفاحة حمراء" أو "شخص يرتدي قبعة"، على غرار التعلم صفر-لقطة
• أمثلة الصور: مربعات إحاطة حول كائنات أمثلة (إيجابية أو سلبية) لتعميم سريع
• مدمجة: كل من النص وأمثلة الصور معاً للتحكم الدقيق

يختلف هذا عن الموجهات المرئية التقليدية (النقاط، والمربعات، والأقنعة) التي تجزئ مثيل كائن محدد واحد فقط، كما شاع في عائلة SAM الأصلية.

مقاييس الأداء الرئيسية#

للحصول على سياق حول مقاييس النماذج والمقايضات في الإنتاج، راجع رؤى تقييم النموذج ومقاييس أداء YOLO.

البنية الهندسية#

يتكون SAM 3 من كاشف ومتتبع يتشاركان في هيكل رؤية الترميز الإدراكي (PE). يتجنب هذا التصميم المفصول تعارض المهام مع تمكين الكشف على مستوى الصورة وتتبع مستوى الفيديو، مع واجهة متوافقة مع استخدام Python واستخدام CLI في Ultralytics.

المكونات الأساسية#

• الكاشف: هندسة قائمة على DETR لاكتشاف المفاهيم على مستوى الصورة

  • مشفر نص للمطالبات بالعبارات الاسمية
  • مشفر أمثلة للمطالبات القائمة على الصور
  • مشفر دمج لتكييف ميزات الصورة مع المطالبات
  • رأس وجود مبتكر يفصل التعرف ("ماذا") عن التوطين ("أين")
  • رأس قناع لتوليد أقنعة تجزئة المثيلات

• المتتبع: تجزئة فيديو قائمة على الذاكرة موروثة من SAM 2

  • مشفر المطالبة، فك تشفير القناع، مشفر الذاكرة
  • بنك ذاكرة لتخزين مظهر الكائن عبر الإطارات
  • إلغاء الغموض الزمني مدعوم بتقنيات مثل مرشح كالمان في إعدادات الكائنات المتعددة

• رمز الوجود: رمز عالمي متعلم يتنبأ بما إذا كان المفهوم المستهدف موجوداً في الصورة/الإطار، مما يحسن الاكتشاف عن طريق فصل التعرف عن التوطين.

الابتكارات الرئيسية#

1. التعرف والتوطين المفككان: يتنبأ رأس الوجود بوجود المفهوم عالمياً، بينما تركز استعلامات الاقتراح فقط على التوطين، مما يتجنب الأهداف المتضاربة.
2. مطالبات المفاهيم والمطالبات البصرية الموحدة: يدعم كلاً من PCS (مطالبات المفاهيم) و PVS (المطالبات البصرية مثل نقرات/مربعات SAM 2) في نموذج واحد.
3. تحسين الأمثلة التفاعلي: يمكن للمستخدمين إضافة أمثلة صور إيجابية أو سلبية لتحسين النتائج بشكل تكراري، حيث يعمم النموذج على كائنات مشابهة بدلاً من مجرد تصحيح مثيلات فردية.
4. إلغاء الغموض الزمني: يستخدم درجات اكتشاف الأقنعة وإعادة التوجيه الدوري للتعامل مع الانسدادات، والمشاهد المزدحمة، وإخفاقات التتبع في الفيديو، بما يتوافق مع أفضل ممارسات التجزئة المثيلية والتتبع.

مجموعة بيانات SA-Co#

تم تدريب SAM 3 على Segment Anything with Concepts (SA-Co)، وهو أكبر مجموعة بيانات تجزئة لشركة Meta وأكثرها تنوعًا حتى الآن، متجاوزًا المعايير الشائعة مثل COCO وLVIS.

بيانات التدريب#

بيانات القياس#

يحتوي مقياس تقييم SA-Co على 214 ألف عبارة فريدة عبر 126 ألف صورة وفيديو، مما يوفر أكثر من 50 ضعفاً من المفاهيم مقارنة بالمقاييس الحالية. ويشمل:

• SA-Co/Gold: 7 مجالات، مشروحة ثلاثياً لقياس حدود الأداء البشري
• SA-Co/Silver: 10 مجالات، تعليق بشري مفرد
• SA-Co/Bronze و SA-Co/Bio: 9 مجموعات بيانات موجودة تم تكييفها لتجزئة المفاهيم
• SA-Co/VEval: مقياس فيديو بـ 3 مجالات (SA-V, YT-Temporal-1B, SmartGlasses)

ابتكارات محرك البيانات#

يحقق محرك بيانات SAM 3 القابل للتطوير (بشري + نموذج في الحلقة) ضعف إنتاجية التعليق (2×) من خلال:

1. المعلقون الذكيون: النماذج القائمة على Llama تقترح عبارات اسمية متنوعة بما في ذلك السلب الصعب
2. المدققون الذكيون: نماذج اللغات المتعددة الوسائط المُعدلة بدقة تتحقق من جودة القناع والشمولية بأداء يقارب الأداء البشري
3. التنقيب النشط: يركز الجهد البشري على حالات الفشل الصعبة التي تكافح فيها AI
4. مدفوع بعلم Ontologies: يستفيد من علم أنтоلوجيا كبير مستند إلى Wikidata لتغطية المفاهيم

التثبيت#

SAM 3 متاح في Ultralytics الإصدار 8.3.237 وما بعده. قم بالتثبيت أو الترقية باستخدام:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

كيفية استخدام SAM 3: التنوع في تجزئة المفاهيم#

يدعم SAM 3 كلاً من مهام تجزئة المفاهيم القابلة للمطالبة (PCS) والتجزئة البصرية القابلة للمطالبة (PVS) من خلال واجهات متنبئ مختلفة:

المهام والنماذج المدعومة#

أمثلة على تجزئة المفاهيم#

التجزئة باستخدام مطالبات النص#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

التقسيم باستخدام أمثلة الصور#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

الاستدلال القائم على الميزات من أجل الكفاءة#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

تقسيم مفاهيم الفيديو#

تتبع المفاهيم عبر الفيديو باستخدام صناديق الإحاطة#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

تتبع المفاهيم باستخدام التلميحات النصية#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

التلميحات المرئية (التوافق مع SAM 2)#

يحافظ SAM 3 على التوافق الكامل مع التلميحات المرئية في SAM 2 لتقسيم كائن واحد:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

مقاييس الأداء#

تقسيم الصور#

يحقق SAM 3 نتائج متطورة عبر معايير متعددة، بما في ذلك مجموعات البيانات الواقعية مثل LVIS وCOCO للتجزئة:

استكشف خيارات مجموعات البيانات للتجريب السريع في مجموعات بيانات Ultralytics.

أداء تقسيم الفيديو#

يظهر SAM 3 تحسينات كبيرة مقارنة بـ SAM 2 والحالة الفنية السابقة عبر معايير الفيديو مثل DAVIS 2017 وYouTube-VOS:

التكيف مع الأمثلة القليلة#

يتفوق SAM 3 في التكيف مع مجالات جديدة بأمثلة ضئيلة، وهو أمر ذو صلة بسير عمل الذكاء الاصطناعي المتمركز حول البيانات:

فعالية التحسين التفاعلي#

يتقارب توجيه SAM 3 القائم على المفاهيم مع الأمثلة بسرعة أكبر بكثير من التوجيه المرئي:

دقة عد الكائنات#

يوفر SAM 3 عدًا دقيقًا عن طريق تجزئة جميع المثيلات، وهو متطلب شائع في عد الكائنات:

مقارنة بين SAM 3 و SAM 2 و YOLO#

هنا نقارن قدرات SAM 3 مع نماذج SAM 2 و YOLO26. للاكتشاف والتقسيم المفتوح المفردات في الوقت الفعلي من نفس أنواع الموجّهات، راجع YOLOE:

تم قياس السرعة على NVIDIA RTX PRO 6000 باستخدام torch==2.9.1 وultralytics==8.4.19.

الاستنتاجات الرئيسية:

• SAM 3: الأفضل لتقسيم المفاهيم ذات المفردات المفتوحة، والعثور على جميع حالات المفهوم باستخدام مطالبات نصية أو أمثلة توضيحية
• SAM 2: الأفضل للتقسيم التفاعلي لكائن واحد في الصور والفيديوهات باستخدام مطالبات هندسية
• YOLO26: الأفضل للتجزئة عالية السرعة في الوقت الفعلي مع استنتاج طرف إلى طرف خالٍ من NMS، قابل للتصدير إلى العديد من التنسيقات للنشر على وحدات معالجة الرسومات، ووحدات المعالجة المركزية، والأجهزة الطرفية

مقارنة SAM مقابل YOLO#

مقارنة SAM 3 و SAM 2 و SAM و MobileSAM و FastSAM مع نماذج تقسيم Ultralytics YOLO (YOLOv8 و YOLO11 و YOLO26) من حيث الحجم والمعلمات وسرعة استنتاج GPU:

توضح هذه المقارنة الاختلافات الجوهرية في أحجام النماذج وسرعاتها بين متغيرات SAM ونماذج تقسيم YOLO. في حين يوفر SAM قدرات تقسيم تلقائية فريدة، فإن نماذج YOLO، وخاصة YOLOv8n-seg وYOLO11n-seg وYOLO26n-seg، أصغر حجماً وأسرع بكثير وأكثر كفاءة من الناحية الحسابية.

تم تشغيل الاختبارات على NVIDIA RTX PRO 6000 بذاكرة VRAM بسعة 96 جيجابايت باستخدام torch==2.9.1 وultralytics==8.4.19. لإعادة إنتاج هذا الاختبار:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

مقاييس التقييم#

يقدم SAM 3 مقاييس جديدة مصممة لمهمة PCS، مكملة للمقاييس المألوفة مثل درجة F1، والدقة، والاسترجاع.

F1 المعتمد على التصنيف (CGF1)#

المقياس الأساسي الذي يجمع بين التوطين والتصنيف:

CGF1 = 100 × pmF1 × IL_MCC

حيث:

• pmF1 (Macro F1 الإيجابي): يقيس جودة التوطين في الأمثلة الإيجابية
• IL_MCC (معامل ارتباط ماثيوز على مستوى الصورة): يقيس دقة التصنيف الثنائي ("هل المفهوم موجود؟")

لماذا هذه المقاييس؟#

لا تأخذ مقاييس AP التقليدية في الاعتبار المعايرة، مما يجعل النماذج صعبة الاستخدام في الممارسة العملية. من خلال تقييم التنبؤات التي تزيد ثقتها عن 0.5 فقط، تفرض مقاييس SAM 3 معايرة جيدة وتماثل أنماط الاستخدام في العالم الحقيقي في حلقات التنبؤ والتتبع التفاعلية.

أهم الاستنتاجات والرؤى#

تأثير رأس الوجود#

يعمل رأس الوجود على فصل التعرف عن التوطين، مما يوفر تحسينات كبيرة:

يوفر رأس الوجود تعزيزًا بنسبة +5.7 CGF1 (+9.9%)، مما يحسن بشكل أساسي قدرة التعرف (IL_MCC +6.5%).

تأثير الأمثلة السلبية الصعبة#

تعد الأمثلة السلبية الصعبة حاسمة للتعرف باستخدام مفردات مفتوحة، مما يحسن IL_MCC بنسبة 54.5% (0.44 ← 0.68).

توسيع نطاق بيانات التدريب#

توفر التعليقات البشرية عالية الجودة مكاسب كبيرة مقارنة بالبيانات الاصطناعية أو الخارجية وحدها. للحصول على خلفية حول ممارسات جودة البيانات، راجع جمع البيانات وتدوينها.

التطبيقات#

تتيح قدرة تجزئة المفاهيم في SAM 3 حالات استخدام جديدة:

• اعتدال المحتوى: العثور على جميع حالات أنواع محتوى محددة عبر مكتبات الوسائط
• التجارة الإلكترونية: تجزئة جميع المنتجات من نوع معين في صور الكتالوج، ودعم التعليق التلقائي
• التصوير الطبي: تحديد جميع حالات أنواع معينة من الأنسجة أو التشوهات
• الأنظمة المستقلة: تتبع جميع حالات إشارات المرور، أو المشاة، أو المركبات حسب الفئة
• تحليلات الفيديو: حساب وتتبع جميع الأشخاص الذين يرتدون ملابس معينة أو يقومون بإجراءات محددة
• تعليق مجموعة البيانات: تعليق جميع مثيلات فئات الكائنات النادرة بسرعة
• البحث العلمي: قياس وتحليل جميع العينات التي تطابق معايير محددة

وكيل SAM 3: الاستدلال اللغوي الموسع#

يمكن دمج SAM 3 مع النماذج اللغوية الكبيرة المتعددة الوسائط (MLLMs) للتعامل مع الاستعلامات المعقدة التي تتطلب استدلالًا، وهو مشابه في روحه للأنظمة ذات المفردات المفتوحة مثل OWLv2 وT-Rex.

الأداء في مهام الاستدلال#

أمثلة على الاستعلامات المعقدة#

يمكن لوكيل SAM 3 التعامل مع الاستعلامات التي تتطلب استدلالاً:

• "أشخاص يجلسون ولكن لا يحملون صندوق هدايا في أيديهم"
• "الكلب الأقرب إلى الكاميرا الذي لا يرتدي طوقاً"
• "أشياء حمراء أكبر من يد الشخص"

يقترح MLLM استعلامات عبارات اسمية بسيطة إلى SAM 3، ويحلل الأقنعة التي تم إرجاعها، ويكرر العملية حتى الوصول إلى الرضا.

القيود#

على الرغم من أن SAM 3 يمثل تقدماً كبيراً، إلا أن له قيوداً معينة:

• تعقيد العبارة: الأنسب للعبارات الاسمية البسيطة؛ قد تتطلب تعبيرات الإشارة الطويلة أو الاستدلال المعقد تكامل MLLM
• التعامل مع الغموض: تظل بعض المفاهيم غامضة بطبيعتها (على سبيل المثال، "نافذة صغيرة"، "غرفة مريحة")
• المتطلبات الحسابية: أكبر وأبطأ من نماذج الاكتشاف المتخصصة مثل YOLO
• نطاق المفردات: يركز على المفاهيم البصرية الذرية؛ الاستدلال التركيبي محدود بدون مساعدة MLLM
• المفاهيم النادرة: قد يتدهور الأداء مع المفاهيم النادرة جداً أو الدقيقة التي لا يتم تمثيلها بشكل جيد في بيانات التدريب

الاقتباس#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

الأسئلة الشائعة#