SAM 3: Kavramlarla Her Şeyi Segmentleme#

SAM 3 (Her Şeyi Segmentleme Modeli 3), Meta'nın İstemlenebilir Kavram Segmentasyonu (PCS) için yayımladığı temel modeldir. SAM 2 üzerine inşa edilen SAM 3, temelde yeni bir yetenek sunar: metin istemleri, görüntü örnekleri veya her ikisiyle belirtilen bir görsel kavramın tüm örneklerini algılama, segmentlere ayırma ve takip etme. Tek bir istemle tek nesneyi segmentlere ayıran önceki SAM sürümlerinden farklı olarak SAM 3, görüntülerde veya videolarda herhangi bir yerde görünen bir kavramın her örneğini bulup segmentlere ayırabilir; bu da modern örnek segmentasyonu alanındaki açık kelime dağarcığı hedefleriyle uyumludur.

SAM 3, metin ipuçları, görsel örnek ipuçları ve video takibi ile kavram bölütleme için yerel destek sağlayarak ultralytics paketine tamamen entegre edilmiştir. Daha yeni olan SAM 3.1 kontrol noktası, görsel tahmini için desteklenmektedir.

Genel Bakış#

SAM 3, İstemlenebilir Kavram Segmentasyonu alanında mevcut sistemlere kıyasla 2 kat performans artışı sağlarken SAM 2'nin etkileşimli görsel segmentasyon yeteneklerini korur ve geliştirir. Model, kullanıcıların basit isim öbekleri (ör. "sarı okul otobüsü", "çizgili kedi") kullanarak veya hedef nesnenin örnek görüntülerini sağlayarak kavramları belirtmesine olanak tanıyan açık kelime dağarcıklı segmentasyonda başarılıdır. Bu yetenekler, kolaylaştırılmış predict ve track iş akışlarına dayanan üretime hazır işlem hatlarını tamamlar.

İstemlenebilir Kavram Segmentasyonu (PCS) nedir?#

PCS görevi, girdi olarak bir kavram istemi alır ve eşleşen tüm nesne örnekleri için benzersiz kimliklere sahip segmentasyon maskeleri döndürür. Kavram istemleri şunlar olabilir:

• Metin: Sıfır örnekli öğrenmeye benzer şekilde "kırmızı elma" veya "şapka takan kişi" gibi basit isim öbekleri
• Görüntü örnekleri: Hızlı genelleme için örnek nesnelerin etrafındaki (pozitif veya negatif) sınırlayıcı kutular
• Birleşik: Hassas kontrol için hem metin hem de görüntü örnekleri birlikte

Bu yaklaşım, özgün SAM ailesi ile yaygınlaşan ve yalnızca tek bir belirli nesne örneğini segmentlere ayıran geleneksel görsel istemlerden (noktalar, kutular, maskeler) farklıdır.

Temel Performans Ölçütleri#

Üretimde model ölçütleri ve ödünleşimleri hakkında bilgi için model değerlendirme içgörülerine ve YOLO performans ölçütlerine bak.

SAM 3.1#

Meta tarafından 27 Mart 2026'da yayınlanan SAM 3.1, çok nesneli video takibi için paylaşımlı belleğe dayalı bir yaklaşım olan Nesne Çoklaması özelliğini ekleyen yeni bir SAM 3 kontrol noktasıdır. SAM 3.1, takibi yapılan her nesneyi bağımsız olarak işlemek yerine nesneleri sabit kapasiteli gruplarda toplar ve bunları ortaklaşa işler; Meta, bunun tek bir H100 GPU üzerinde 128 nesnede ~7 kat hızlanma sağladığını bildirmektedir. Görsel dedektörü ve etkileşimli nokta ipucu başlığı, SAM 3 mimarisini korur.

Ultralytics, SAM 3.1 kontrol noktasını (sam3.1_multiplex.pt) SAM 3 görsel tahminleyicilerine yükler: nokta ve kutu ipuçları için SAM("sam3.1_multiplex.pt"), metin ve örnek ipuçları için SAM3SemanticPredictor. Nesne Çoklaması video takibi henüz desteklenmemektedir, bu nedenle sam3.pt öğesini SAM3VideoPredictor ve SAM3VideoSemanticPredictor ile birlikte kullanmaya devam et.

Mimari#

SAM 3, Perception Encoder (PE) görsel omurgasını paylaşan bir algılayıcı ve izleyiciden oluşur. Bu ayrıştırılmış tasarım, görev çatışmalarını önlerken hem görüntü düzeyinde algılamayı hem de video düzeyinde takibi mümkün kılar ve Ultralytics Python kullanımı ile CLI kullanımı ile uyumlu bir arayüz sunar.

Temel Bileşenler#

• Algılayıcı: Görüntü düzeyinde kavram algılama için DETR tabanlı mimari

  • İsim öbeği istemleri için metin kodlayıcı
  • Görüntü tabanlı istemler için örnek kodlayıcı
  • Görüntü özelliklerini istemlere göre koşullandıran füzyon kodlayıcı
  • Tanımayı ("ne") yerelleştirmeden ("nerede") ayıran yeni presence head
  • Örnek segmentasyon maskeleri oluşturmak için maske başlığı

• İzleyici: SAM 2'den devralınan bellek tabanlı video segmentasyonu

  • İstem kodlayıcı, maske kod çözücü, bellek kodlayıcı
  • Kareler arasında nesne görünümünü depolamak için bellek bankası
  • Çok nesneli ortamlarda Kalman filtresi gibi tekniklerle desteklenen zamansal ayrıştırma

• Presence Token: Hedef kavramın görüntüde/karede bulunup bulunmadığını tahmin eden, tanımayı yerelleştirmeden ayırarak algılamayı iyileştiren öğrenilmiş küresel belirteç.

Temel Yenilikler#

1. Ayrıştırılmış Tanıma ve Yerelleştirme: Presence head kavramın varlığını genel düzeyde tahmin ederken öneri sorguları yalnızca yerelleştirmeye odaklanır ve çakışan hedefleri önler.
2. Birleşik Kavram ve Görsel İstemler: Hem PCS'yi (kavram istemleri) hem de PVS'yi (SAM 2'nin tıklamaları/kutuları gibi görsel istemler) tek bir modelde destekler.
3. Etkileşimli Örnek İyileştirme: Kullanıcılar sonuçları yinelemeli olarak iyileştirmek için pozitif veya negatif görüntü örnekleri ekleyebilir; model yalnızca tek tek örnekleri düzeltmek yerine benzer nesnelere genelleme yapar.
4. Zamansal Ayrıştırma: Videoda örtülmeleri, kalabalık sahneleri ve takip hatalarını ele almak için maske parçası algılama skorlarını ve düzenli olarak yeniden istem göndermeyi kullanır; bu yaklaşım örnek segmentasyonu ve takibi için en iyi uygulamalarla uyumludur.

SA-Co Veri Kümesi#

SAM 3, Meta'nın bugüne kadarki en büyük ve en çeşitli segmentasyon veri kümesi olan Kavramlarla Her Şeyi Segmentleme (SA-Co) üzerinde eğitilmiştir ve COCO ile LVIS gibi yaygın karşılaştırma ölçütlerinin ötesine geçer.

Eğitim Verileri#

Karşılaştırma Verileri#

SA-Co değerlendirme karşılaştırması, 126 bin görüntü ve videoda 214 bin benzersiz ifade içerir ve mevcut karşılaştırma ölçütlerinden 50 kattan fazla kavram sunar. Şunları içerir:

• SA-Co/Gold: İnsan performansı sınırlarını ölçmek için üçlü açıklanmış 7 alan
• SA-Co/Silver: Tek insan açıklamasına sahip 10 alan
• SA-Co/Bronze ve SA-Co/Bio: Kavram segmentasyonuna uyarlanmış 9 mevcut veri kümesi
• SA-Co/VEval: 3 alana sahip video karşılaştırması (SA-V, YT-Temporal-1B, SmartGlasses)

Veri Motoru Yenilikleri#

SAM 3'ün insanı ve modeli döngüye dahil eden ölçeklenebilir veri motoru, şu yollarla 2 kat açıklama verimliliği sağlar:

1. Yapay Zekâ Açıklayıcıları: Llama tabanlı modeller, zor negatifler dahil olmak üzere çeşitli isim öbekleri önerir
2. Yapay Zekâ Doğrulayıcıları: İnce ayarlı çok modlu LLM'ler, maske kalitesini ve eksiksizliğini insana yakın performansla doğrular
3. Aktif Madencilik: İnsan emeğini, yapay zekânın zorlandığı zorlu hata örneklerine odaklar
4. Ontoloji Odaklı: Kavram kapsamı için Wikidata temelli geniş bir ontolojiden yararlanır

Kurulum#

ultralytics paketini yükle veya yükselt:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

SAM 3 Nasıl Kullanılır: Kavram Segmentasyonunda Çok Yönlülük#

SAM 3, farklı tahminci arayüzleri aracılığıyla hem İstemlenebilir Kavram Segmentasyonu (PCS) hem de İstemlenebilir Görsel Segmentasyon (PVS) görevlerini destekler:

Desteklenen Görevler ve Modeller#

Kavram Segmentasyonu Örnekleri#

Metin İstemleriyle Segmentasyon#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Görüntü Örnekleriyle Segmentasyon#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Verimlilik için Özellik Tabanlı Çıkarım#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Video Kavram Segmentasyonu#

Sınırlayıcı Kutularla Video Boyunca Kavramları İzleme#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Metin İstemleriyle Kavramları İzleme#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Görsel İstemler (SAM 2 Uyumluluğu)#

SAM 3, tek nesne segmentasyonu için SAM 2'nin görsel istemleriyle tam geriye dönük uyumluluğu korur:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Performans Karşılaştırmaları#

Görüntü Segmentasyonu#

SAM 3, LVIS ve segmentasyon için COCO gibi gerçek dünya veri kümeleri de dahil olmak üzere birden çok karşılaştırma testinde son teknoloji sonuçlara ulaşır:

Hızlı denemeler için veri kümesi seçeneklerini Ultralytics veri kümeleri sayfasında keşfet.

Video Segmentasyonu Performansı#

SAM 3, DAVIS 2017 ve YouTube-VOS gibi video karşılaştırma testlerinde SAM 2'ye ve önceki son teknoloji yöntemlere kıyasla önemli iyileştirmeler gösterir:

Az Örnekli Uyarlama#

SAM 3, veri merkezli yapay zeka iş akışlarıyla ilgili olarak, yeni alanlara çok az örnekle uyarlanmada başarılıdır:

Etkileşimli İyileştirmenin Etkinliği#

SAM 3'ün örneklerle kavram tabanlı istem kullanımı, görsel istem kullanımına kıyasla çok daha hızlı yakınsar:

Nesne Sayma Doğruluğu#

SAM 3, nesne sayma için yaygın bir gereksinim olan tüm örnekleri segmente ederek doğru sayım sağlar:

SAM 3 ve SAM 2 ile YOLO Karşılaştırması#

Burada SAM 3'ün yeteneklerini SAM 2 ve YOLO26 modelleriyle karşılaştırıyoruz. Aynı tür istemlerden gerçek zamanlı, açık kelime dağarcıklı algılama ve segmentasyon için YOLOE sayfasına bak:

Hız, torch==2.9.1 ve ultralytics==8.4.19 kullanılarak NVIDIA RTX PRO 6000 üzerinde kıyaslanmıştır.

Önemli Çıkarımlar:

• SAM 3: Açık kelime dağarcıklı kavram segmentasyonu ve metin ya da örnek istemleriyle bir kavramın tüm örneklerini bulmak için en iyisi
• SAM 2: Görüntülerde ve videolarda geometrik istemlerle etkileşimli tek nesne segmentasyonu için en iyisi
• YOLO26: GPU'lar, CPU'lar ve uç cihazlarda dağıtım için birçok biçime aktarılabilir isteğe bağlı NMS'siz uçtan uca çıkarımla gerçek zamanlı, yüksek hızlı bölütleme için en iyisi

SAM ile YOLO Karşılaştırması#

SAM 3, SAM 2, SAM, MobileSAM ve FastSAM ile Ultralytics YOLO segmentasyon modellerinin (YOLOv8, YOLO11, YOLO26) boyut, parametre ve GPU çıkarım hızı açısından karşılaştırması:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutları ve hızlardaki önemli farkları ortaya koyar. SAM benzersiz otomatik segmentasyon yetenekleri sunarken, özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg olmak üzere YOLO modelleri önemli ölçüde daha küçük, daha hızlı ve hesaplama açısından daha verimlidir.

Testler, torch==2.9.1 ve ultralytics==8.4.19 kullanılarak 96 GB VRAM'e sahip NVIDIA RTX PRO 6000 üzerinde gerçekleştirilmiştir. Bu testi yeniden oluşturmak için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Değerlendirme Metrikleri#

SAM 3, tanıdık F1 skoru, kesinlik ve duyarlılık ölçülerini tamamlayan, PCS görevi için tasarlanmış yeni metrikler sunar.

Sınıflandırma Geçişli F1 (CGF1)#

Konumlandırma ve sınıflandırmayı birleştiren birincil metrik:

CGF1 = 100 × pmF1 × IL_MCC

Burada:

• pmF1 (Pozitif Makro F1): Pozitif örneklerdeki konumlandırma kalitesini ölçer
• IL_MCC (Görüntü Düzeyi Matthews Korelasyon Katsayısı): İkili sınıflandırma doğruluğunu ölçer ("kavram mevcut mu?")

Bu Metrikler Neden Kullanılıyor?#

Geleneksel AP metrikleri kalibrasyonu hesaba katmaz ve bu durum modellerin pratikte kullanılmasını zorlaştırır. SAM 3'ün metrikleri yalnızca 0.5'in üzerindeki güven değerine sahip tahminleri değerlendirerek iyi kalibrasyonu zorunlu kılar ve etkileşimli predict ve track döngülerindeki gerçek dünya kullanım modellerini taklit eder.

Temel Ablasyonlar ve İçgörüler#

Varlık Başlığının Etkisi#

Varlık başlığı, tanımayı konumlandırmadan ayırarak önemli iyileştirmeler sağlar:

Varlık başlığı, temel olarak tanıma yeteneğini iyileştirerek +5.7 CGF1 artışı (+%9.9) sağlar (IL_MCC +%6.5).

Zor Negatiflerin Etkisi#

Zor negatifler, açık kelime dağarcıklı tanıma için kritik öneme sahiptir ve IL_MCC'yi %54.5 oranında artırır (0.44 → 0.68).

Eğitim Verilerinin Ölçeklendirilmesi#

Yüksek kaliteli insan açıklamaları, yalnızca sentetik veya harici verilere kıyasla büyük kazanımlar sağlar. Veri kalitesi uygulamaları hakkında arka plan bilgisi için veri toplama ve açıklama sayfasına bak.

Uygulamalar#

SAM 3'ün kavram segmentasyonu yeteneği yeni kullanım alanlarını mümkün kılar:

• İçerik Moderasyonu: Medya kitaplıkları genelinde belirli içerik türlerinin tüm örneklerini bulma
• E-ticaret: Katalog görüntülerindeki belirli bir türe ait tüm ürünleri segmentlere ayırma ve otomatik açıklamayı destekleme
• Tıbbi Görüntüleme: Belirli doku türlerinin veya anormalliklerin tüm oluşumlarını belirleme
• Otonom Sistemler: Trafik işaretlerinin, yayaların veya araçların tüm örneklerini kategoriye göre takip etme
• Video Analitiği: Belirli kıyafetleri giyen veya belirli eylemleri gerçekleştiren tüm insanları sayma ve takip etme
• Veri Kümesi Açıklama: Nadir nesne kategorilerinin tüm örneklerini hızla açıklama
• Bilimsel Araştırma: Belirli ölçütleri karşılayan tüm örnekleri nicel olarak değerlendirme ve analiz etme

SAM 3 Agent: Genişletilmiş Dil Akıl Yürütme#

SAM 3, OWLv2 ve T-Rex gibi açık kelime dağarcıklı sistemlere benzer şekilde, akıl yürütme gerektiren karmaşık sorguları işlemek için Çok Modlu Büyük Dil Modelleri (MLLMs) ile birleştirilebilir.

Akıl Yürütme Görevlerindeki Performans#

Karmaşık Sorgu Örnekleri#

SAM 3 Agent, akıl yürütme gerektiren sorguları işleyebilir:

• "Oturmuş ancak ellerinde hediye kutusu tutmayan insanlar"
• "Kameraya en yakın olan ve tasma takmayan köpek"
• "Kişinin elinden daha büyük kırmızı nesneler"

MLLM, SAM 3'e basit isim öbeği sorguları önerir, döndürülen maskeleri analiz eder ve memnun kalana kadar yinelemeye devam eder.

Sınırlamalar#

SAM 3 önemli bir ilerlemeyi temsil etse de bazı sınırlamaları vardır:

• İfade Karmaşıklığı: Basit isim öbekleri için en uygunudur; uzun gönderimsel ifadeler veya karmaşık akıl yürütme MLLM entegrasyonu gerektirebilir
• Belirsizlik İşleme: Bazı kavramlar doğası gereği belirsiz kalır (ör. "küçük pencere", "kullanışlı oda")
• Hesaplama Gereksinimleri: YOLO gibi özelleştirilmiş algılama modellerinden daha büyük ve daha yavaştır
• Kelime Dağarcığı Kapsamı: Atomik görsel kavramlara odaklanır; MLLM desteği olmadan bileşimsel akıl yürütme sınırlıdır
• Nadir Kavramlar: Eğitim verilerinde yeterince temsil edilmeyen son derece nadir veya ince ayrıntılı kavramlarda performans düşebilir

Atıf#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

SSS#