SAM 3: تقسيم أي شيء بالمفاهيم

يمثل SAM 3 (نموذج تجزئة أي شيء 3) نموذج أساس الجيل التالي من Meta لتجزئة المفاهيم القابلة للمطالبات (PCS). استنادًا إلى SAM 2، يقدم SAM 3 قدرة جديدة بشكل أساسي: اكتشاف جميع مثيلات المفهوم المرئي المحدد بواسطة مطالبات نصية أو نماذج صور أو كليهما وتجزئتها وتتبعها. على عكس الإصدارات السابقة من SAM التي تقوم بتجزئة كائنات مفردة لكل مطالبة، يمكن SAM 3 العثور على كل تكرار لمفهوم يظهر في أي مكان في الصور أو مقاطع الفيديو وتجزئته، بما يتماشى مع أهداف المفردات المفتوحة في تجزئة النماذج الحديثة.

نظرة عامة

يحقق SAM 3 زيادة في الأداء بمقدار ضعفين مقارنةً بالأنظمة الحالية في تجزئة المفاهيم القابلة للمطالبات مع الحفاظ على قدرات SAM 2 في التجزئة البصرية التفاعلية وتحسينها. يتفوق النموذج في تجزئة المفردات المفتوحة، مما يسمح للمستخدمين بتحديد المفاهيم باستخدام عبارات اسمية بسيطة (على سبيل المثال، "حافلة المدرسة الصفراء"، "قطة مخططة") أو من خلال توفير أمثلة على صور الكائن المستهدف. وتكمل هذه الإمكانات خطوط الإنتاج الجاهزة التي تعتمد على التنبؤ المبسط وتتبع سير العمل.

ما هو تجزئة المفهوم القابل للموجّه (PCS)؟

تأخذ مهمة PCS مطالبة المفهوم كمدخلات وتقوم بإرجاع أقنعة التجزئة مع هويات فريدة لجميع مثيلات الكائنات المطابقة. يمكن أن تكون مطالبات المفاهيم:

• النص: العبارات الاسمية البسيطة مثل "تفاحة حمراء" أو "شخص يرتدي قبعة"، على غرار التعلم من دون إطلاق النار
• نماذج الصور: المربعات المحدودة حول أمثلة الأجسام (موجبة أو سالبة) للتعميم السريع
• مدمجة: كلا النموذجين النصي والصوري معاً للتحكم الدقيق

يختلف هذا الأمر عن المطالبات المرئية التقليدية (النقاط، والمربعات، والأقنعة) التي تقسم مثيل كائن واحد محدد فقط، كما هو شائع في عائلةSAM الأصلية.

مقاييس الأداء الرئيسية

للحصول على سياق حول مقاييس النموذج والمفاضلة في الإنتاج، راجع رؤى تقييم النموذج ومقاييس أداء نموذج YOLO .

البنية

يتألف SAM 3 من كاشف ومتعقب يشتركان في العمود الفقري للرؤية (PE). يتجنب هذا التصميم المنفصل تعارض المهام مع تمكين كل من الكشف على مستوى الصورة والتتبع على مستوى الفيديو، مع واجهة متوافقة معاستخدام Ultralytics Python واستخدامCLI .

المكونات الأساسية

• الكاشف: البنية القائمة على DETR للكشف عن المفاهيم على مستوى الصورة

  • أداة ترميز النص لمطالبات العبارات الاسمية
  • أداة تشفير نموذجية للمطالبات المستندة إلى الصور
  • مشفر الاندماج لتكييف ميزات الصورة على المطالبات
  • رأس التواجد الجديد الذي يفصل بين التعرف ("ماذا") عن التوطين ("أين")
  • رأس القناع لتوليد أقنعة تجزئة المثيل

• تعقب: تجزئة الفيديو المستندة إلى الذاكرة الموروثة من SAM 2

  • أداة تشفير الموجه، وحدة فك تشفير القناع، وحدة تشفير الذاكرة
  • بنك الذاكرة لتخزين مظهر الكائن عبر الإطارات
  • التفكيك الزمني بمساعدة تقنيات مثل مرشح كالمان في إعدادات متعددة الأجسام

• رمز التواجد: رمز رمزي عالمي مكتسب يتنبأ بما إذا كان المفهوم المستهدف موجودًا في الصورة/الإطار، مما يحسن من عملية الكشف عن طريق فصل التعرف عن التوطين.

الابتكارات الرئيسية

1. الفصل بين التعرّف والتوطين: يتنبأ رأس التواجد بتوقع وجود المفهوم على مستوى العالم، بينما تركز استعلامات الاقتراح على التوطين فقط، مما يؤدي إلى تجنب الأهداف المتضاربة.
2. مفهوم موحد ومطالبات مرئية: يدعم كلاً من PCS (موجهات المفاهيم) و PVS (موجهات مرئية مثل نقرات/مربعات SAM 2) في نموذج واحد.
3. تنقيح النماذج التفاعلية: يمكن للمستخدمين إضافة نماذج إيجابية أو سلبية للصور لتحسين النتائج بشكل متكرر، مع تعميم النموذج على كائنات مماثلة بدلاً من مجرد تصحيح الحالات الفردية.
4. التفكيك الزمني: يستخدم درجات الكشف عن الأقنعة وإعادة العرض الدورية للتعامل مع حالات الانسداد، والمشاهد المزدحمة، وفشل التتبع في الفيديو، بما يتماشى مع أفضل ممارسات تجزئة المثيل والتتبع.

مجموعة بيانات SA-Co Dataset

تم تدريب SAM 3 على مجموعة بيانات SAM 3 على Segment Anything with Concepts (SA-Co)، وهي أكبر مجموعة بيانات تجزئة من Meta وأكثرها تنوعًا حتى الآن، مما يتعدى المعايير الشائعة مثل COCO وLVIS.

بيانات التدريب

البيانات المعيارية

يحتوي معيار تقييم SA-Co على 214 ألف عبارة فريدة من نوعها عبر 126 ألف صورة ومقطع فيديو، مما يوفر أكثر من 50 ضعفاً من المفاهيم مقارنةً بالمعايير الحالية. وهو يتضمن:

• SA-Co/Gold: 7 نطاقات ثلاثية لقياس حدود الأداء البشري
• SA-Co/Silver: 10 مجالات، شرح بشري واحد
• SA-Co/Bronze وSA-Co/Bio: 9 مجموعات بيانات موجودة تم تكييفها لتجزئة المفاهيم
• SA-Co/VEval: معيار الفيديو مع 3 نطاقات (SA-V، YT-Temporal-1B، SmartGlasses)

ابتكارات محرك البيانات

يحقق محرك بيانات SAM 3 القابل للتطوير البشري والنموذج في الحلقة محرك بيانات قابل للتطوير البشري والنموذج في الحلقة إنتاجية شروح توضيحية بمعدل 2× من خلال

1. شروح الذكاء الاصطناعي: تقترح النماذج القائمة على اللاما عبارات اسمية متنوعة بما في ذلك النكرات الصلبة
2. أدوات التحقق من الذكاء الاصطناعي: تتحقق أدوات التحقق من جودة القناع واستنفاد القناع بأداء يقارب الأداء البشري
3. التعدين النشط: يركز الجهد البشري على حالات الفشل الصعبة التي يعاني فيها الذكاء الاصطناعي
4. قائم على علم الوجود: يستفيد من أنطولوجيا كبيرة ترتكز على ويكيبيديا لتغطية المفاهيم

التثبيت

سيتم دعم SAM 3 محليًا في حزمة Ultralytics عند إصدارها:

pip install ultralytics

سيتم تنزيل النماذج تلقائيًا عند استخدامها لأول مرة. يمكنك بعد ذلك استخدام وضع التنبؤ القياسي وتصدير النماذج لاحقًا إلى تنسيقات مثل ONNX و TensorRT للنشر.

كيفية استخدام SAM 3: تعدد الاستخدامات في تجزئة المفاهيم

المهام والنماذج المدعومة

يدعم SAM 3 كلاً من مهام التجزئة المفاهيمية القابلة للموجّه (PCS) ومهام التجزئة البصرية القابلة للموجّه (PVS):

أمثلة على تجزئة المفاهيم

مقطع مع موجهات نصية

from ultralytics import SAM

# Load SAM 3 model
model = SAM("sam3.pt")

# Segment all instances of a concept
results = model("path/to/image.jpg", prompt="yellow school bus")

# Works with descriptive phrases
results = model("path/to/image.jpg", prompt="person wearing a red hat")

# Or simple object names
results = model("path/to/image.jpg", prompt="striped cat")

# Segment all matching concepts in an image
yolo segment model=sam3.pt source=path/to/image.jpg prompt="yellow school bus"

جزء مع نماذج الصور

from ultralytics import SAM

model = SAM("sam3.pt")

# Provide a positive example box - finds all similar objects
results = model("path/to/image.jpg", bboxes=[100, 150, 300, 400], labels=[1])

# Add negative examples to exclude certain instances
results = model(
    "path/to/image.jpg",
    bboxes=[[100, 150, 300, 400], [500, 200, 600, 350]],  # Two boxes
    labels=[1, 0],  # First is positive, second is negative
)

# Combine text and image exemplars for precision
results = model("path/to/image.jpg", prompt="dog", bboxes=[100, 150, 300, 400], labels=[1])

التحسين التفاعلي

from ultralytics import SAM

model = SAM("sam3.pt")

# Initial segmentation with text
results = model("path/to/image.jpg", prompt="car")

# If some cars are missed, add a positive exemplar
results = model(
    "path/to/image.jpg",
    prompt="car",
    bboxes=[missed_car_box],
    labels=[1],  # Positive example
)

# If false positives appear, add negative exemplars
results = model(
    "path/to/image.jpg",
    prompt="car",
    bboxes=[false_positive_box],
    labels=[0],  # Negative example
)

تجزئة مفهوم الفيديو

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
predictor = SAM3VideoPredictor(model="sam3.pt", imgsz=1024, conf=0.25)

# Track all instances of a concept
results = predictor(source="video.mp4", prompt="person wearing blue shirt")

# Combine text with exemplar for precision
results = predictor(
    source="video.mp4",
    prompt="kangaroo",
    bboxes=[initial_box],  # Exemplar from first frame
    labels=[1],
)

بالنسبة لإعدادات البث والإنتاج على نطاق أوسع، راجع تتبع الكائنات وعرض النتائج في المنصة.

الموجهات المرئيةSAM توافقSAM 2)

يحافظ SAM 3 على التوافق الكامل مع SAM 2 في المطالبة المرئية:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt (SAM 2 style)
results = model(points=[900, 370], labels=[1])

# Multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt
results = model(bboxes=[100, 150, 300, 400])

معايير الأداء

تجزئة الصور

يحقق SAM 3 أحدث النتائج عبر العديد من المعايير، بما في ذلك مجموعات البيانات الواقعية مثل LVIS وCOCO للتجزئة:

استكشف خيارات مجموعة البيانات لإجراء تجارب سريعة في مجموعات بياناتUltralytics .

أداء تجزئة الفيديو

يُظهر SAM 3 تحسينات كبيرة مقارنةً بـ SAM 2 والأحدث السابقة عبر معايير الفيديو مثل DAVIS 2017 و YouTube-VOS:

تكييف اللقطات القليلة

تتفوق SAM 3 في التكيف مع المجالات الجديدة بأقل قدر من الأمثلة، وهي ذات صلة بسير عمل الذكاء الاصطناعي المرتكز على البيانات:

فعالية التنقيح التفاعلي

يتقارب توجيه SAM 3 القائم على المفاهيم مع النماذج بشكل أسرع بكثير من التوجيه البصري:

دقة عد الكائنات

يوفر SAM 3 عدًا دقيقًا من خلال تجزئة جميع المثيلات، وهو مطلب شائع في عد الكائنات:

مقارنة بين SAM 3 و SAM 2 و YOLO

نقارن هنا إمكانيات SAM 3 مع SAM 2 و YOLO11 و YOLO11:

الوجبات السريعة الرئيسية:

• SAM 3: الأفضل لتجزئة المفاهيم ذات المفردات المفتوحة، والعثور على جميع حالات المفهوم مع النص أو النماذج النموذجية
• SAM 2: الأفضل للتجزئة التفاعلية للكائن الواحد في الصور ومقاطع الفيديو مع مطالبات هندسية
• YOLO11: الأفضل للتجزئة عالية السرعة في الوقت الحقيقي في عمليات النشر المحدودة الموارد باستخدام خطوط أنابيب تصدير فعالة مثل ONNX و TensorRT

مقاييس التقييم

يقدم SAM 3 مقاييس جديدة مصممة لمهمة PCS، مكمّلةً المقاييس المألوفة مثل درجة F1 والدقة والاسترجاع.

تصنيف-بوابة F1 (CGF1)

المقياس الأساسي الذي يجمع بين التوطين والتصنيف:

CGF1 = 100 × pmF1 × IL_MCC

حيث:

• pmF1 (F1 الكلي الإيجابي): يقيس جودة التوطين على الأمثلة الإيجابية
• IL_MCC (معامل ارتباط ماثيوز على مستوى الصورة): يقيس دقة التصنيف الثنائي ("هل المفهوم موجود؟")

لماذا هذه المقاييس؟

لا تأخذ مقاييس AP التقليدية في الحسبان المعايرة، مما يجعل من الصعب استخدام النماذج عملياً. من خلال تقييم التنبؤات التي تزيد عن 0.5 ثقة فقط، تفرض مقاييس SAM 3 معايرة جيدة وتحاكي أنماط الاستخدام في العالم الحقيقي في حلقات التنبؤ والتتبع التفاعلية.

الاستئصالات والرؤى الرئيسية

تأثير رئيس الحضور

يفصل رأس التواجد بين التعرّف على الهوية عن التوطين، مما يوفر تحسينات كبيرة:

يوفر رأس التواجد تعزيزًا بنسبة +5.7 + 5.7 CGF1 (+9.9%)، مما يحسن بشكل أساسي القدرة على التعرف (IL_MCC +6.5%).

تأثير السلبيات الصلبة

تُعد السلبيات الصعبة أمرًا حاسمًا في التعرف على المفردات المفتوحة، حيث تعمل على تحسين IL_MCC بنسبة 54.5% (0.44 → 0.68).

تحجيم بيانات التدريب

توفر التعليقات التوضيحية البشرية عالية الجودة مكاسب كبيرة مقارنة بالبيانات الاصطناعية أو الخارجية وحدها. للحصول على خلفية عن ممارسات جودة البيانات، انظر جمع البيانات والتعليقات التوضيحية.

التطبيقات

تتيح إمكانية تجزئة المفهوم في SAM 3 إمكانية استخدام حالات استخدام جديدة:

• إدارة المحتوى: ابحث عن جميع مثيلات أنواع المحتوى المحددة عبر مكتبات الوسائط
• التجارة الإلكترونية: تجزئة جميع المنتجات من نوع معين في صور الكتالوج، ودعم التعليق التلقائي
• التصوير الطبي: تحديد جميع حالات حدوث أنواع محددة من الأنسجة أو التشوهات
• الأنظمة المستقلة: تتبع جميع حالات إشارات المرور أو المشاة أو المركبات حسب الفئة
• تحليلات الفيديو: عدّ وتتبع جميع الأشخاص الذين يرتدون ملابس معينة أو يؤدون أفعالاً معينة
• شرح مجموعة البيانات: التعليق التوضيحي السريع لجميع حالات فئات الكائنات النادرة
• البحث العلمي: تحديد وتحليل جميع العينات التي تطابق معايير محددة

وكيل SAM 3: الاستدلال اللغوي الموسع

يمكن دمج SAM 3 مع نماذج اللغات الكبيرة متعددة الوسائط (MLLMs) للتعامل مع الاستفسارات المعقدة التي تتطلب الاستدلال، على غرار أنظمة المفردات المفتوحة مثل OWLv2 و T-Rex.

الأداء في مهام الاستدلال

أمثلة على الاستعلامات المعقدة

يمكن لوكيل SAM 3 التعامل مع الاستعلامات التي تتطلب الاستدلال:

• "أشخاص يجلسون ولا يحملون صندوق هدايا في أيديهم"
• "الكلب الأقرب إلى الكاميرا الذي لا يرتدي طوقاً"
• "أجسام حمراء أكبر من يد الشخص"

يقترح MLLM استعلامات عبارة اسمية بسيطة على SAM 3، ويحلل الأقنعة المرتجعة ويكرر العملية حتى يتم استيفاءها.

القيود

على الرغم من أن SAM 3 يمثل تقدمًا كبيرًا، إلا أن له بعض القيود:

• تعقيد العبارة: الأنسب للعبارات الاسمية البسيطة؛ قد تتطلب تعابير الإحالة الطويلة أو التعليلات المعقدة تكامل MLLM
• معالجة الغموض: تظل بعض المفاهيم غامضة بطبيعتها (على سبيل المثال، "نافذة صغيرة"، "غرفة مريحة")
• المتطلبات الحسابية: أكبر وأبطأ من نماذج الكشف المتخصصة مثل YOLO
• نطاق المفردات: يركز على المفاهيم البصرية الذرية؛ الاستدلال التركيبي محدود دون مساعدة من MLLM
• المفاهيم النادرة: قد يتدهور الأداء في المفاهيم النادرة للغاية أو المفاهيم الدقيقة غير الممثلة بشكل جيد في بيانات التدريب

اقتباس

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

الأسئلة الشائعة

متى سيتم إصدار SAM 3؟

يخضع SAM 3 حاليًا للمراجعة في المؤتمر الدولي للبحوث الزراعية الدولية 2026 (المؤتمر في 2026، والمراجعة في 2025). سيتم إصدار النماذج والأوزان والمعايير الرسمية علنًا بعد عملية المراجعة، على الأرجح في عام 2026. ستوفر Ultralytics دعمًا فوريًا لدمج SAM 3 عند إصدار Meta وتوثيق الاستخدام في وضع التنبؤ ووضع التتبع.

هل سيتم دمج SAM 3 في Ultralytics

نعم. سيتم دعم SAM 3 في حزمة Ultralytics Python عند الإصدار، بما في ذلك تجزئة المفاهيم، والمطالبات المرئية على غرار SAM 2، وتتبع الفيديو متعدد الكائنات. ستتمكن من التصدير إلى تنسيقات مثل ONNX و TensorRT للنشر، مع تبسيط Python و CLI مبسطة.

ما هو تجزئة المفهوم القابل للتوجيه (PCS)؟

تُعد PCS مهمة جديدة تم تقديمها في SAM 3 والتي تقوم بتقسيم جميع حالات المفهوم المرئي في صورة أو مقطع فيديو. على عكس التجزئة التقليدية التي تستهدف مثيل كائن معين، تجد PCS كل تكرار لفئة ما. على سبيل المثال:

• موجه النص: "حافلة مدرسية صفراء" → شرائح جميع الحافلات المدرسية الصفراء في المشهد
• نموذج الصورة: مربع حول كلب واحد → شرائح جميع الكلاب في الصورة
• مجتمعة: "قطة مخططة" + مربع المثال → شرائح جميع القطط المخططة المطابقة للمثال

راجع الخلفية ذات الصلة باكتشاف الكائنات وتجزئة المثيل.

كيف يختلف SAM 3 عن SAM 2؟

يحافظ SAM 3 على التوافق مع الإصدارات السابقة مع SAM 2 مع إضافة إمكانات قائمة على المفاهيم.

ما هي مجموعات البيانات المستخدمة لتدريب SAM 3؟

تم تدريب SAM 3 على مجموعة بيانات Segment Anything with Concepts (SA-Co):

بيانات التدريب:

• 5.2 مليون صورة مع 4 ملايين عبارة اسمية فريدة (SA-Co/HQ) - شروح بشرية عالية الجودة
• 52.5 ألف فيديو مع 24.8 ألف عبارة اسمية فريدة (SA-Co/VIDEO)
• 1.4 مليار قناع اصطناعي عبر 38 مليون عبارة اسمية (SA-Co/SYN)
• 15 مجموعة بيانات خارجية غنية بالسلبيات الصلبة (SA-Co/EXT)

البيانات المعيارية:

• 214 ألف مفهوم فريد من نوعه عبر 126 ألف صورة/فيديو
• مفاهيم أكثر ب 50 ضعفًا من المفاهيم الموجودة حاليًا (على سبيل المثال، يحتوي LVIS على حوالي 4 آلاف مفهوم)
• التعليق التوضيحي الثلاثي على SA-Co/Gold لقياس حدود الأداء البشري

يتيح هذا النطاق الهائل والتنوع الهائل تعميم SAM 3 المتفوق في التعميم الصفري عبر مفاهيم المفردات المفتوحة.

كيف يمكن مقارنة SAM 3 بـ YOLO11 للتجزئة؟

يخدم SAM 3 و YOLO11 حالات استخدام مختلفة:

مزاياSAM 3:

• مفردات مفتوحة: تجزئة أي مفهوم عبر مطالبات نصية دون تدريب
• لقطة صفرية: تعمل على الفئات الجديدة على الفور
• تفاعلي: يعمم التنقيح القائم على النماذج على الأجسام المتشابهة
• قائم على المفهوم: العثور تلقائيًا على جميع مثيلات الفئة تلقائيًا
• الدقة: 47.0 نقطة في الثانية على تجزئة مثيل اللقطة الصفرية في نظام تحديد مستوى الحياة

مزاياYOLO11 :

• السرعة: استنتاج أسرع بمعدل 10-15 مرة (2-3 مللي ثانية مقابل 30 مللي ثانية لكل صورة)
• الكفاءة: نماذج أصغر بـ 70 ضعفًا (5.9 ميغابايت مقابل 400 ميغابايت تقريبًا متوقعة)
• ملائم للموارد: يعمل على الأجهزة المتطورة والمحمولة
• في الوقت الفعلي: مُحسّن لعمليات نشر الإنتاج

التوصية:

• استخدم SAM 3 للتجزئة المرنة والمفتوحة للمفردات حيث تحتاج إلى العثور على جميع حالات المفاهيم الموضحة في النص أو الأمثلة
• الاستخدام YOLO11 لعمليات النشر عالية السرعة والإنتاج حيث تكون الفئات معروفة مسبقًا
• استخدام SAM 2 للتجزئة التفاعلية أحادية العنصر مع مطالبات هندسية

هل يمكن SAM 3 التعامل مع الاستعلامات اللغوية المعقدة؟

تم تصميم SAM 3 للعبارات الاسمية البسيطة (على سبيل المثال، "تفاحة حمراء"، "شخص يرتدي قبعة"). بالنسبة للاستعلامات المعقدة التي تتطلب الاستدلال، ادمج SAM 3 مع SAM 3 مع MLLM كوكيلSAM 3:

الاستعلامات البسيطة ( SAM 3 الأصلي):

• "حافلة المدرسة الصفراء"
• "قطة مخططة"
• "شخص يرتدي قبعة حمراء"

الاستعلامات المعقدة (وكيلSAM 3 مع MLLM):

• "أشخاص يجلسون ولكن لا يحملون صندوق هدايا"
• "الكلب الأقرب إلى الكاميرا بدون طوق"
• "أجسام حمراء أكبر من يد الشخص"

يحقق وكيل SAM 3 76.0 وحدة قياس جغرافية في التحقق من صحة ReasonSeg (مقابل 65.0 الأفضل سابقًا، أي بتحسن بنسبة 16.9%) من خلال الجمع بين تجزئة SAM 3 وقدرات الاستدلال في آلية MLLM.

ما مدى دقة SAM 3 مقارنة بالأداء البشري؟

على معيار SA-Co/Gold مع شرح بشري ثلاثي:

• الحد الأدنى البشري: 74.2 CGF1 (الشارح الأكثر تحفظًا)
• أداءSAM 3: 65.0 CGF1
• الإنجاز: 88% من الحد الأدنى البشري المقدر
• الحد الأعلى البشري: 81.4 CGF1 (الشارح الأكثر تحرراً)

تحقق SAM 3 أداءً قويًا يقترب من الدقة على المستوى البشري في تجزئة المفاهيم ذات المفردات المفتوحة، مع وجود فجوة في المقام الأول في المفاهيم الغامضة أو الذاتية (مثل "نافذة صغيرة" و"غرفة مريحة").

📅 تم إنشاؤه منذ 0 أيام ✏️ تم التحديث منذ 0 أيام

تعليقات