SAM 2: Segment Anything Model 2#

Meta'nın Segment Anything Model (SAM) modelinin devamı olan SAM 2, hem görsellerde hem de videolarda kapsamlı nesne segmentasyonu için tasarlanmış son teknoloji bir araçtır. Gerçek zamanlı işlemeyi ve sıfır örnekli genellemeyi destekleyen, birleşik ve istemle yönlendirilebilir model mimarisi sayesinde karmaşık görsel verileri işlemede öne çıkar.

Temel Özellikler#

Birleşik Model Mimarisi#

SAM 2, görsel ve video segmentasyonu yeteneklerini tek bir modelde birleştirir. Bu bütünleşme, dağıtımı basitleştirir ve farklı medya türlerinde tutarlı performans sağlar. Noktalar, sınırlayıcı kutular veya maskeler gibi çeşitli istem türleriyle kullanıcıların ilgilendikleri nesneleri belirtmesine olanak tanıyan esnek, istem tabanlı bir arayüzden yararlanır.

Gerçek Zamanlı Performans#

Model, saniyede yaklaşık 44 kare işleyerek gerçek zamanlı çıkarım hızlarına ulaşır. Bu sayede SAM 2, video düzenleme ve artırılmış gerçeklik gibi anında geri bildirim gerektiren uygulamalar için uygundur.

Sıfır Örnekli Genelleme#

SAM 2, daha önce hiç karşılaşmadığı nesneleri bölümleyebilir ve güçlü bir sıfır atış genelleme yeteneği sergiler. Bu özellik, önceden tanımlanmış kategorilerin olası tüm nesneleri kapsamayabileceği çeşitli veya değişken görsel alanlarda özellikle kullanışlıdır.

Etkileşimli İyileştirme#

Kullanıcılar ek istemler sağlayarak bölümleme sonuçlarını yinelemeli biçimde iyileştirebilir ve böylece çıktı üzerinde hassas denetim sağlayabilir. Bu etkileşim, video açıklama ekleme veya tıbbi görüntüleme gibi uygulamalarda sonuçlara ince ayar yapmak için gereklidir.

Görsel Zorlukların Gelişmiş Yönetimi#

SAM 2, nesnelerin örtülmesi ve yeniden görünmesi gibi yaygın video bölümleme zorluklarını yönetmek için mekanizmalar içerir. Kareler boyunca nesneleri izlemek için gelişmiş bir bellek mekanizması kullanır; böylece nesneler geçici olarak gizlense veya sahneden çıkıp yeniden girse bile süreklilik sağlanır.

SAM 2'nin mimarisini ve yeteneklerini daha iyi anlamak için SAM 2 araştırma makalesini incele.

Performans ve Teknik Ayrıntılar#

SAM 2, çeşitli ölçütlerde önceki modelleri geride bırakarak alanda yeni bir standart belirliyor:

Model Mimarisi#

Temel Bileşenler#

• Görüntü ve Video Kodlayıcı: Hem görüntülerden hem de video karelerinden üst düzey özellikler çıkarmak için Transformer tabanlı bir mimari kullanır. Bu bileşen, her zaman adımındaki görsel içeriği anlamaktan sorumludur.
• İstem Kodlayıcı: Bölümleme görevine yön vermek için kullanıcı tarafından sağlanan istemleri (noktalar, kutular, maskeler) işler. Bu sayede SAM 2, kullanıcı girdisine uyum sağlayabilir ve sahnedeki belirli nesneleri hedefleyebilir.
• Bellek Mekanizması: Bir bellek kodlayıcı, bellek bankası ve bellek dikkat modülü içerir. Bu bileşenler birlikte önceki karelerden gelen bilgileri depolar ve kullanır; böylece model zaman içinde tutarlı nesne takibi yapabilir.
• Maske Kod Çözücü: Kodlanmış görüntü özelliklerine ve istemlere göre nihai bölümleme maskelerini oluşturur. Videoda, kareler boyunca doğru takibi sağlamak için bellek bağlamından da yararlanır.

Bellek Mekanizması ve Örtülme Yönetimi#

Bellek mekanizması, SAM 2'nin video verilerindeki zamansal bağımlılıkları ve örtülmeleri yönetmesini sağlar. Nesneler hareket edip etkileşime girdikçe SAM 2, özelliklerini bir bellek bankasına kaydeder. Bir nesne örtüldüğünde model, nesne yeniden göründüğünde konumunu ve görünümünü tahmin etmek için bu bellekten yararlanabilir. Örtülme başlığı, özellikle nesnelerin görünür olmadığı durumları ele alır ve bir nesnenin örtülmüş olma olasılığını tahmin eder.

Çoklu Maske Belirsizliğini Giderme#

Belirsizlik içeren durumlarda (ör. üst üste binen nesneler), SAM 2 birden fazla maske tahmini oluşturabilir. Bu özellik, tek bir maskenin sahnenin inceliklerini yeterince yansıtamayabileceği karmaşık sahneleri doğru biçimde temsil etmek için çok önemlidir.

SA-V Veri Kümesi#

SAM 2'nin eğitimi için geliştirilen SA-V veri kümesi, kullanıma sunulmuş en büyük ve en çeşitli video bölümleme veri kümelerinden biridir. Şunları içerir:

• 51.000'den Fazla Video: 47 ülkede çekilmiş olup çok çeşitli gerçek dünya senaryoları sunar.
• 600.000'den Fazla Maske Açıklaması: Nesnelerin tamamını ve parçalarını kapsayan, "masklet" olarak adlandırılan ayrıntılı uzamsal-zamansal maske açıklamaları.
• Veri Kümesinin Ölçeği: Önceki en büyük veri kümelerine kıyasla 4,5 kat daha fazla video ve 53 kat daha fazla açıklama içererek eşi görülmemiş bir çeşitlilik ve karmaşıklık sunar.

Kıyaslamalar#

Video Nesne Bölümleme#

SAM 2, önemli video bölümleme kıyaslamalarında üstün performans sergiledi:

Etkileşimli Bölümleme#

SAM 2, etkileşimli bölümleme görevlerinde önemli ölçüde verimli ve doğru sonuçlar sunuyor:

Kurulum#

SAM 2'yi yüklemek için aşağıdaki komutu kullan. Tüm SAM 2 modelleri ilk kullanımda otomatik olarak indirilir.

pip install ultralytics

SAM 2 Nasıl Kullanılır: Görüntü ve Video Bölümlemede Çok Yönlülük#

Aşağıdaki tabloda kullanılabilir SAM 2 modelleri, önceden eğitilmiş ağırlıkları, desteklenen görevleri ve Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumlulukları ayrıntılı olarak açıklanıyor.

SAM 2 Tahmin Örnekleri#

SAM 2; gerçek zamanlı video düzenleme, tıbbi görüntüleme ve otonom sistemler dâhil olmak üzere çok çeşitli görevlerde kullanılabilir. Hem statik hem de dinamik görsel verileri bölümleyebilmesi, onu araştırmacılar ve geliştiriciler için çok yönlü bir araç hâline getirir.

İstemlerle Bölümleme#

from ultralytics import SAM

# Bir model yükle
model = SAM("sam2.1_b.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# bbox istemiyle çıkarım çalıştır
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# tek noktayla çıkarım çalıştır
results = model(points=[900, 370], labels=[1])

# birden çok noktayla çıkarım çalıştır
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# her nesne için birden çok nokta istemiyle çıkarım çalıştır
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# negatif nokta istemiyle çıkarım çalıştır
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Her Şeyi Bölümle#

from ultralytics import SAM

# Bir model yükle
model = SAM("sam2.1_b.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# Çıkarımı çalıştır
model("path/to/video.mp4")

• Bu örnek, herhangi bir istem (bbox/nokta/maske) sağlanmadığında SAM 2'nin bir görüntü veya videonun tüm içeriğini bölümlemek için nasıl kullanılabileceğini gösteriyor.

Videoyu Bölümle ve Nesneleri Takip Et#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# tek noktayla çıkarım çalıştır
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# birden çok noktayla çıkarım çalıştır
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# her nesne için birden çok nokta istemiyle çıkarım çalıştır
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# negatif nokta istemiyle çıkarım çalıştır
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

Dinamik Etkileşimli Bölümleme ve Takip#

SAM2DynamicInteractivePredictor, SAM 2'nin dinamik olarak etkileşim kurmayı ve sürekli öğrenme yeteneklerini sağlayan, ileri düzey ve eğitim gerektirmeyen bir uzantısıdır. Bu öngörücü, bir görüntü dizisi boyunca takip performansını iyileştirmek için gerçek zamanlı istem güncellemelerini ve bellek yönetimini destekler. Orijinal SAM 2 ile karşılaştırıldığında SAM2DynamicInteractivePredictor, ek eğitim gerektirmeden önceden eğitilmiş SAM 2 modellerinden en iyi şekilde yararlanmak için çıkarım akışını yeniden oluşturur.

Temel Özellikler#

Üç önemli iyileştirme sunar:

1. Dinamik Etkileşim: Video işleme sırasında istenen herhangi bir anda, sonraki karelerde birleştirilecek veya izlenmeyen yeni örnekler için yeni istemler ekle
2. Sürekli Öğrenme: Model performansını zaman içinde iyileştirmek için mevcut örneklere yeni istemler ekle
3. Bağımsız Çoklu Görüntü Desteği: Bellek paylaşımı ve görüntüler arası nesne takibiyle birden fazla bağımsız görüntüyü (bunların bir video dizisinden gelmesi gerekmez) işle

Temel Yetenekler#

• İstem Esnekliği: Sınırlayıcı kutuları, noktaları ve maskeleri istem olarak kabul eder
• Bellek Bankası Yönetimi: Kareler boyunca nesne durumlarını depolamak için dinamik bir bellek bankası tutar
• Çoklu Nesne Takibi: Her nesneye ayrı bir kimlik atayarak birden fazla nesnenin aynı anda izlenmesini destekler
• Gerçek Zamanlı Güncellemeler: Önceki kareleri yeniden işlemeden çıkarım sırasında yeni istemler eklenmesini sağlar
• Bağımsız Görüntü İşleme: Görüntüler arasında nesne tutarlılığı sağlamak için paylaşılan bellek bağlamıyla bağımsız görüntüleri işle

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Kutu istemiyle bir kategori tanımla
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Bu belirli nesneyi yeni bir görüntüde algıla
results = predictor(source="image2.jpg")

# Yeni nesne kimliğiyle yeni bir kategori ekle
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # Yeni nesne
    obj_ids=[1],  # Yeni nesne kimliği
    update_memory=True,  # Belleğe ekle
)
# Çıkarım yap
results = predictor(source="image5.jpg")

# Performansı artırmak için aynı kategoriye iyileştirme istemleri ekle
# Bu, nesnelerin görünümü önemli ölçüde değiştiğinde yardımcı olur
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # İyileştirme noktası
    labels=[1],  # Pozitif nokta
    obj_ids=[1],  # Aynı nesne kimliği
    update_memory=True,  # Belleği yeni bilgilerle güncelle
)
# Yeni görüntü üzerinde çıkarım yap
results = predictor(source="image7.jpg")

Bağımsız değişkenler#

Kullanım Alanları#

SAM2DynamicInteractivePredictor şu alanlar için idealdir:

• Video etiketleme iş akışları: Dizi sırasında yeni nesnelerin ortaya çıktığı durumlar
• Etkileşimli video düzenleme: Gerçek zamanlı nesne ekleme ve iyileştirme gerektiren durumlar
• Gözetim uygulamaları: Dinamik nesne izleme gereksinimleri olan durumlar
• Tıbbi görüntüleme: Anatomik yapıları zaman serileri boyunca izlemek için
• Otonom sistemler: Uyarlanabilir nesne algılama ve izleme gerektiren durumlar
• Çok görüntülü veri kümeleri: Birbirinden bağımsız görüntülerde tutarlı nesne bölümleme için
• Görüntü koleksiyonu analizi: Nesnelerin farklı sahneler boyunca izlenmesi gereken durumlar
• Alanlar arası bölümleme: Çeşitli görüntü bağlamlarından gelen bellekten yararlanma
• Yarı otomatik etiketleme: En az düzeyde manuel müdahaleyle verimli veri kümesi oluşturma

SAM ve YOLO Karşılaştırması#

Burada, en küçük SAM2-t varyantı da dahil olmak üzere Meta'nın SAM 2 modellerini, YOLO26n-seg dahil Ultralytics bölümleme modelleriyle karşılaştırıyoruz:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hız farklarının ne kadar büyük olduğunu gösteriyor. SAM, kendine özgü otomatik segmentasyon yetenekleri sunarken YOLO modelleri, özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg, önemli ölçüde daha küçük, daha hızlı ve hesaplama açısından daha verimlidir.

SAM hızları PyTorch, YOLO hızları ise ONNX Runtime kullanılarak ölçülmüştür. Testler, 16 GB RAM'e sahip 2025 Apple M4 Air üzerinde torch==2.10.0, ultralytics==8.4.31 ve onnxruntime==1.24.4 kullanılarak gerçekleştirilmiştir. Bu testi tekrarlamak için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t, SAM2-b, SAM-b, MobileSAM profillerini çıkar
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profili oluştur
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO modellerinin profilini çıkar (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS içermeyen başlık; YOLOv8/YOLO11 için işlem yapmaz
    model = YOLO(onnx_path)
    model(ASSETS)

Otomatik Etiketleme: Verimli Veri Kümesi Oluşturma#

Otomatik etiketleme, önceden eğitilmiş modellerden yararlanarak kullanıcıların bölümleme veri kümelerini hızlı ve doğru biçimde oluşturmasını sağlayan güçlü bir SAM 2 özelliğidir. Bu özellik, kapsamlı manuel çalışma gerektirmeden büyük ve yüksek kaliteli veri kümeleri oluşturmak için özellikle kullanışlıdır.

SAM 2 ile Otomatik Etiketleme Nasıl Yapılır#

Veri kümeni SAM 2 ile otomatik olarak etiketlemek için şu örneği izle:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Bu işlev, projelerini hızlandırmayı amaçlayan araştırmacılar ve geliştiriciler için ideal olan yüksek kaliteli bölümleme veri kümelerinin hızlıca oluşturulmasını kolaylaştırır.

Sınırlamalar#

Güçlü yönlerine rağmen SAM 2'nin bazı sınırlamaları vardır:

• İzleme Kararlılığı: SAM 2, uzun diziler sırasında veya bakış açısı önemli ölçüde değiştiğinde nesnelerin izini kaybedebilir.
• Nesne Karışıklığı: Model, özellikle kalabalık sahnelerde birbirine benzeyen nesneleri zaman zaman karıştırabilir.
• Birden Çok Nesnede Verimlilik: Nesneler arası iletişimin olmaması nedeniyle birden fazla nesne eş zamanlı işlendiğinde bölümleme verimliliği düşer.
• Ayrıntı Doğruluğu: Özellikle hızlı hareket eden nesnelerde ince ayrıntıları kaçırabilir. Ek istemler bu sorunu kısmen giderebilir ancak zamansal akıcılık garanti edilmez.

Atıflar ve Teşekkürler#

SAM 2 araştırma veya geliştirme çalışmalarının önemli bir parçasıysa lütfen aşağıdaki kaynakçayı kullanarak atıfta bulun:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Bu çığır açan model ve veri kümesiyle yapay zekâ topluluğuna yaptıkları katkılardan dolayı Meta AI'ya teşekkür ederiz.

Sık Sorulan Sorular#