SAM 3: Her Şeyi Kavramlarla Bölütle#

SAM 3 (Her Şeyi Bölütleme Modeli 3), Meta tarafından yayımlanan, İstemle Yönlendirilebilir Kavram Bölütleme (PCS) için temel modeldir. SAM 2 üzerine inşa edilen SAM 3, temel bir yenilik sunar: metin istemleri, örnek görüntüler veya her ikisiyle belirtilen bir görsel kavramın tüm örneklerini algılama, bölütleme ve izleme. İstem başına tek bir nesneyi bölütleyen önceki SAM sürümlerinden farklı olarak SAM 3, modern örnek bölütleme yaklaşımlarının açık söz dağarcığı hedefleriyle uyumlu biçimde, görüntülerin veya videoların herhangi bir yerinde görünen bir kavramın her örneğini bulup bölütleyebilir.

SAM 3, ultralytics paketine bütünüyle entegre edilmiştir ve metin istemleriyle, örnek görüntü istemleriyle kavram bölütleme ve video izleme için yerel destek sunar. Daha yeni SAM 3.1 kontrol noktası, görüntü tahmini için desteklenir.

Genel Bakış#

SAM 3, İstemle Yönlendirilebilir Kavram Bölütleme alanında mevcut sistemlere kıyasla 2× performans artışı sağlarken, etkileşimli görsel bölütleme için SAM 2'nin yeteneklerini korur ve geliştirir. Model, açık söz dağarcıklı bölütlemede öne çıkar; kullanıcıların basit isim öbekleri (ör. "yellow school bus", "striped cat") kullanarak kavram belirtmesine veya hedef nesnenin örnek görüntülerini sağlamasına olanak tanır. Bu yetenekler, kolaylaştırılmış tahmin ve izleme iş akışlarına dayanan üretime hazır işlem hatalarını tamamlar.

İstemle Yönlendirilebilir Kavram Bölütleme (PCS) nedir?#

PCS görevi, girdi olarak bir kavram istemi alır ve eşleşen tüm nesne örnekleri için benzersiz kimliklere sahip bölütleme maskeleri döndürür. Kavram istemleri şunlar olabilir:

• Metin: Sıfır örnekli öğrenmeye benzer şekilde, "red apple" veya "person wearing a hat" gibi basit isim öbekleri
• Örnek görüntüler: Hızlı genelleme için örnek nesnelerin çevresine çizilen sınırlayıcı kutular (olumlu veya olumsuz)
• Birleşik: Hassas denetim için hem metin hem de örnek görüntüler

Bu yaklaşım, özgün SAM ailesinin yaygınlaştırdığı ve yalnızca tek bir belirli nesne örneğini bölütleyen geleneksel görsel istemlerden (noktalar, kutular, maskeler) farklıdır.

Temel Performans Ölçütleri#

Üretimdeki model ölçütleri ve ödünleşimler hakkında bağlam için model değerlendirme içgörülerine ve YOLO performans ölçütlerine bak.

SAM 3.1#

Meta'nın 27 Mart 2026'da yayımladığı SAM 3.1, çok nesneli video izleme için paylaşımlı bellek yaklaşımı olan Object Multiplex özelliğini ekleyen yeni bir SAM 3 kontrol noktasıdır. İzlenen her nesneyi ayrı ayrı işlemek yerine SAM 3.1, nesneleri sabit kapasiteli gruplara ayırıp birlikte işler. Meta, tek bir H100 GPU'da 128 nesne için ~7× hızlanma sağlandığını bildiriyor. Görüntü algılayıcısı ve etkileşimli nokta istemi başlığı SAM 3 mimarisini korur.

Ultralytics, SAM 3.1 kontrol noktasını (sam3.1_multiplex.pt) SAM 3 görüntü tahmincilerine yükler: nokta ve kutu istemleri için SAM("sam3.1_multiplex.pt"), metin ve örnek istemleri için SAM3SemanticPredictor. Object Multiplex video izleme henüz desteklenmediğinden sam3.pt ile SAM3VideoPredictor ve SAM3VideoSemanticPredictor kullanmaya devam et.

Mimari#

SAM 3, algılayıcı ve izleyici tarafından paylaşılan bir Perception Encoder (PE) görsel omurgasından oluşur. Bu ayrıştırılmış tasarım, görev çatışmalarını önlerken hem görüntü düzeyinde algılamaya hem de video düzeyinde izlemeye olanak tanır ve Ultralytics Python kullanımına ve CLI kullanımına uygun bir arayüz sunar.

Temel Bileşenler#

• Algılayıcı: Görüntü düzeyinde kavram algılama için DETR tabanlı mimari

  • İsim öbeği istemleri için metin kodlayıcı
  • Görüntü tabanlı istemler için örnek kodlayıcı
  • Görüntü özelliklerini istemlere göre koşullandıran birleştirme kodlayıcısı
  • Tanımayı ("ne") konum belirlemeden ("nerede") ayıran yeni varlık başlığı
  • Örnek bölütleme maskeleri oluşturan maske başlığı

• İzleyici: SAM 2'den devralınan bellek tabanlı video bölütleme

  • İstem kodlayıcı, maske çözücü, bellek kodlayıcı
  • Nesnelerin görünümünü kareler boyunca depolayan bellek bankası
  • Çok nesneli senaryolarda Kalman filtresi gibi tekniklerin yardımıyla zamansal belirsizlik giderme

• Varlık Belirteci: Hedef kavramın görüntüde/karede bulunup bulunmadığını tahmin eden ve tanımayı konum belirlemeden ayırarak algılamayı iyileştiren, öğrenilmiş genel bir belirteç.

Temel Yenilikler#

1. Ayrıştırılmış Tanıma ve Konum Belirleme: Varlık başlığı, kavramın varlığını genel düzeyde tahmin ederken öneri sorguları yalnızca konum belirlemeye odaklanır ve çelişen hedefleri önler.
2. Birleşik Kavram ve Görsel İstemler: Tek bir modelde hem PCS'yi (kavram istemleri) hem de PVS'yi (SAM 2'nin tıklama ve kutu gibi görsel istemleri) destekler.
3. Etkileşimli Örnek İyileştirme: Kullanıcılar sonuçları yinelemeli olarak iyileştirmek için pozitif veya negatif görüntü örnekleri ekleyebilir; model, yalnızca tek tek örnekleri düzeltmek yerine benzer nesnelere genelleme yapar.
4. Zamansal Belirsizliği Giderme: Videodaki örtülmeleri, yoğun sahneleri ve izleme hatalarını ele almak için maskelet algılama puanlarından ve belirli aralıklarla istemleri yeniden vermekten yararlanır; örnek segmentasyonu ve izleme en iyi uygulamalarıyla uyumludur.

SA-Co Veri Kümesi#

SAM 3, bugüne kadarki en büyük ve en çeşitli segmentasyon veri kümesi olan Meta'nın Kavramlarla Her Şeyi Segmentle (SA-Co) veri kümesiyle eğitilmiştir; COCO ve LVIS gibi yaygın kıyaslama veri kümelerinin kapsamını genişletir.

Eğitim Verileri#

Kıyaslama Verileri#

SA-Co değerlendirme kıyaslama veri kümesi, 126 bin görüntü ve videoda yer alan 214 bin benzersiz öbek içerir ve mevcut kıyaslama veri kümelerinden 50 kattan fazla kavram sunar. Şunları içerir:

• SA-Co/Gold: İnsan performansının sınırlarını ölçmek için üç kez etiketlenmiş 7 alan
• SA-Co/Silver: İnsanlar tarafından bir kez etiketlenmiş 10 alan
• SA-Co/Bronze ve SA-Co/Bio: Kavram segmentasyonuna uyarlanmış 9 mevcut veri kümesi
• SA-Co/VEval: 3 alan içeren video kıyaslama veri kümesi (SA-V, YT-Temporal-1B, SmartGlasses)

Veri Motoru Yenilikleri#

SAM 3'ün ölçeklenebilir, insan ve model döngüde veri motoru şu yöntemlerle 2 kat daha yüksek etiketleme verimliliği sağlar:

1. Yapay Zekâ Etiketleyicileri: Llama tabanlı modeller, zor negatifler de dahil olmak üzere çeşitli isim öbekleri önerir.
2. Yapay Zekâ Doğrulayıcıları: İnce ayarlı çok modlu LLM'ler, maske kalitesini ve kapsamlılığını insan performansına yakın düzeyde doğrular.
3. Aktif Madencilik: İnsan emeğini, yapay zekânın zorlandığı güç hata örneklerine yönlendirir.
4. Ontoloji Odaklı: Kavram kapsamı için Wikidata temelli geniş bir ontolojiden yararlanır.

Kurulum#

ultralytics paketini yükle veya yükselt:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

SAM 3 Nasıl Kullanılır: Kavram Segmentasyonunda Çok Yönlülük#

SAM 3, farklı tahminci arayüzleriyle hem İstemlenebilir Kavram Segmentasyonu (PCS) hem de İstemlenebilir Görsel Segmentasyon (PVS) görevlerini destekler:

Desteklenen Görevler ve Modeller#

Kavram Segmentasyonu Örnekleri#

Metin İstemleriyle Segmentasyon#

from ultralytics.models.sam import SAM3SemanticPredictor

# Yapılandırmayla tahminciyi başlat
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Daha hızlı çıkarım için FP16 kullan
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Birden fazla sorgu için görüntüyü bir kez ayarla
predictor.set_image("path/to/image.jpg")

# Birden fazla metin istemiyle sorgula
results = predictor(text=["person", "bus", "glasses"])

# Betimleyici öbeklerle çalışır
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Tek bir kavramla sorgula
results = predictor(text=["a person"])

Görüntü Örnekleriyle Segmentasyon#

from ultralytics.models.sam import SAM3SemanticPredictor

# Tahminciyi başlat
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Görüntüyü ayarla
predictor.set_image("path/to/image.jpg")

# Benzer nesneleri segmentlere ayırmak için sınırlayıcı kutu örnekleri ver
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Aynı görsel kavramın örnekleri olarak birden fazla sınırlayıcı kutu kullan
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Verimlilik için Özellik Tabanlı Çıkarım#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Tahmincileri başlat
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# İlk tahminciden özellikleri çıkar
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# İkinci tahminciyi ayarla ve özellikleri yeniden kullan
predictor2.setup_model()

# Metin istemiyle paylaşılan özellikleri kullanarak çıkarım yap
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Sınırlayıcı kutu istemiyle paylaşılan özellikleri kullanarak çıkarım yap
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Sonuçları görselleştir
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Video Kavram Segmentasyonu#

Sınırlayıcı Kutularla Video Boyunca Kavramları İzleme#

from ultralytics.models.sam import SAM3VideoPredictor

# Video tahmincisini oluştur
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Nesneleri sınırlayıcı kutu istemleriyle izle
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Sonuçları işle ve görüntüle
for r in results:
    r.show()  # Segmentasyon maskesiyle kareyi görüntüle

Metin İstemleriyle Kavramları İzleme#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Anlamsal video tahmincisini başlat
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Kavramları metin istemleriyle izle
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Sonuçları işle
for r in results:
    r.show()  # İzlenen nesnelerle kareyi görüntüle

# Alternatif: Sınırlayıcı kutu istemleriyle izle
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Pozitif etiketler
    stream=True,
)

Görsel İstemler (SAM 2 Uyumluluğu)#

SAM 3, tek nesne segmentasyonu için SAM 2'nin görsel istem özellikleriyle tam geriye dönük uyumluluğu korur:

from ultralytics import SAM

model = SAM("sam3.pt")

# Tek nokta istemi - nesneyi belirli bir konumda segmentlere ayırır
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Birden çok nokta - tek bir nesneyi birden çok nokta ipucuyla segmentlere ayırır
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Kutu istemi - sınırlayıcı kutunun içindeki nesneyi segmentlere ayırır
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Performans Karşılaştırmaları#

Görüntü Segmentasyonu#

SAM 3, LVIS ve segmentasyon için COCO gibi gerçek dünya veri kümeleri de dahil olmak üzere birçok kıyaslamada son teknoloji sonuçlar elde ediyor:

Hızlı denemeler için veri kümesi seçeneklerini Ultralytics veri kümelerinde keşfet.

Video Segmentasyonu Performansı#

SAM 3, DAVIS 2017 ve YouTube-VOS gibi video kıyaslamalarında SAM 2'ye ve önceki son teknoloji modellere kıyasla önemli iyileşmeler gösteriyor:

Az Örnekli Uyarlama#

SAM 3, veri odaklı yapay zekâ iş akışları açısından önemli olan yeni alanlara az sayıda örnekle uyum sağlama konusunda başarılıdır:

Etkileşimli İyileştirmenin Etkinliği#

SAM 3'ün örneklerle kavram tabanlı istemleri, görsel istemlerden çok daha hızlı yakınsar:

Nesne Sayma Doğruluğu#

SAM 3, nesne sayma iş akışlarında sıkça gerektiği gibi tüm örnekleri segmentlere ayırarak doğru sayım sağlar:

SAM 3 ve SAM 2 ile YOLO Karşılaştırması#

Burada SAM 3'ün yeteneklerini SAM 2 ve YOLO26 modelleriyle karşılaştırıyoruz. Aynı tür istemlerle gerçek zamanlı, açık kelime dağarcıklı tespit ve segmentasyon için YOLOE sayfasına göz at:

Hız kıyaslaması NVIDIA RTX PRO 6000 üzerinde torch==2.9.1 ve ultralytics==8.4.19 ile yapıldı.

Önemli Çıkarımlar:

• SAM 3: Metin veya örnek istemleriyle bir kavramın tüm örneklerini bulmaya yönelik açık kelime dağarcıklı kavram segmentasyonu için en iyisi
• SAM 2: Geometrik istemlerle görüntü ve videolarda tek nesnenin etkileşimli segmentasyonu için en iyisi
• YOLO26: İsteğe bağlı NMS içermeyen uçtan uca çıkarımla gerçek zamanlı, yüksek hızlı segmentasyon için en iyisi; GPU'lara, CPU'lara ve uç cihazlara dağıtım için birçok biçime aktarılabilir

SAM ve YOLO Karşılaştırması#

Boyut, parametre sayısı ve GPU çıkarım hızı açısından SAM 3, SAM 2, SAM, MobileSAM ve FastSAM modellerini Ultralytics YOLO segmentasyon modelleriyle (YOLOv8, YOLO11, YOLO26) karşılaştırma:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hız farklarının ne kadar büyük olduğunu gösteriyor. SAM, kendine özgü otomatik segmentasyon yetenekleri sunarken YOLO modelleri, özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg, önemli ölçüde daha küçük, daha hızlı ve hesaplama açısından daha verimlidir.

Testler, torch==2.9.1 ve ultralytics==8.4.19 kullanılarak 96 GB VRAM'e sahip NVIDIA RTX PRO 6000 üzerinde çalıştırıldı. Bu testi yeniden oluşturmak için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM profili oluştur
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profili oluştur
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO modellerinin profilini oluştur
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS içermeyen başlık; YOLOv8/YOLO11 için işlem yapmaz

Değerlendirme Metrikleri#

SAM 3, PCS görevi için tasarlanmış yeni metrikler sunarak F1 puanı, kesinlik ve duyarlılık gibi bilinen ölçütleri tamamlıyor.

Sınıflandırma Kontrollü F1 (CGF1)#

Yerelleştirme ile sınıflandırmayı birleştiren temel metrik:

CGF1 = 100 × pmF1 × IL_MCC

Burada:

• pmF1 (Pozitif Makro F1): Pozitif örneklerdeki yerelleştirme kalitesini ölçer
• IL_MCC (Görüntü Düzeyinde Matthews Korelasyon Katsayısı): İkili sınıflandırma doğruluğunu ("kavram mevcut mu?") ölçer

Bu Metrikler Neden Kullanılıyor?#

Geleneksel AP metrikleri kalibrasyonu hesaba katmadığından modellerin pratikte kullanımı zorlaşır. SAM 3'ün metrikleri, yalnızca güven puanı 0.5'in üzerinde olan tahminleri değerlendirerek iyi kalibrasyonu zorunlu kılar ve etkileşimli tahmin ve izleme döngülerindeki gerçek dünya kullanım örüntülerini taklit eder.

Temel Ablasyonlar ve İçgörüler#

Varlık Başlığının Etkisi#

Varlık başlığı, tanımayı yerelleştirmeden ayırarak önemli iyileştirmeler sağlar:

Varlık başlığı, başlıca tanıma becerisini iyileştirerek +5.7 CGF1 artışı (+%9.9) sağlar (IL_MCC +%6.5).

Zor Negatiflerin Etkisi#

Zor negatifler açık kelime dağarcıklı tanıma için kritik önem taşır ve IL_MCC'yi %54.5 (0.44 → 0.68) artırır.

Eğitim Verisinin Ölçeklendirilmesi#

Yüksek kaliteli insan açıklamaları, yalnızca sentetik veya harici veriye kıyasla büyük kazanımlar sağlar. Veri kalitesi uygulamalarının arka planı için veri toplama ve açıklama ekleme sayfasına bak.

Uygulamalar#

SAM 3'ün kavram segmentasyonu yeteneği yeni kullanım alanları sağlar:

• İçerik Moderasyonu: Medya arşivlerindeki belirli içerik türlerinin tüm örneklerini bul
• E-ticaret: Katalog görüntülerindeki belirli türdeki tüm ürünleri segmentlere ayırarak otomatik açıklama eklemeyi destekle
• Tıbbi Görüntüleme: Belirli doku türlerinin veya anormalliklerin tüm örneklerini belirle
• Otonom Sistemler: Trafik işaretleri, yayalar veya araçların tüm örneklerini kategorilerine göre izle
• Video Analitiği: Belirli kıyafetleri giyen veya belirli eylemleri gerçekleştiren tüm kişileri say ve izle
• Veri Kümesi Açıklaması: Nadir nesne kategorilerinin tüm örneklerine hızla açıklama ekle
• Bilimsel Araştırma: Belirli ölçütlere uyan tüm örnekleri ölç ve analiz et

SAM 3 Agent: Genişletilmiş Dilsel Akıl Yürütme#

SAM 3, akıl yürütme gerektiren karmaşık sorguları işlemek için, OWLv2 ve T-Rex gibi açık kelime dağarcıklı sistemlere benzer şekilde Çok Modlu Büyük Dil Modelleri (MLLMs) ile birleştirilebilir.

Akıl Yürütme Görevlerindeki Performans#

Karmaşık Sorgu Örnekleri#

SAM 3 Agent, akıl yürütme gerektiren sorguları işleyebilir:

• "Oturmuş ancak ellerinde hediye kutusu tutmayan kişiler"
• "Kameraya en yakın, tasma takmayan köpek"
• "Kişinin elinden daha büyük kırmızı nesneler"

MLLM, SAM 3'e basit isim tamlaması sorguları önerir, döndürülen maskeleri analiz eder ve sonuçtan memnun kalana kadar yineler.

Sınırlamalar#

SAM 3 büyük bir ilerlemeyi temsil etse de bazı sınırlamaları vardır:

• İfade Karmaşıklığı: Basit isim tamlamaları için en uygunudur; uzun gönderim ifadeleri veya karmaşık akıl yürütme MLLM entegrasyonu gerektirebilir
• Belirsizlikleri Ele Alma: Bazı kavramlar doğası gereği belirsiz kalır (ör. "küçük pencere", "rahat oda")
• Hesaplama Gereksinimleri: YOLO gibi özel algılama modellerinden daha büyük ve daha yavaştır
• Kelime Dağarcığı Kapsamı: Atomik görsel kavramlara odaklanır; MLLM desteği olmadan bileşimsel akıl yürütme sınırlıdır
• Nadir Kavramlar: Eğitim verisinde iyi temsil edilmeyen son derece nadir veya ince ayrıntılı kavramlarda performans düşebilir

Atıf#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Sık Sorulan Sorular#