Başla

SAM 2: Segment Anything Model 2

SAM'in Evrimi

SAM 2, video segmentasyonu yetenekleriyle özgün SAM modelini geliştirir. Metin ve görsel örnek istemleriyle İstemle Yönlendirilebilir Kavram Segmentasyonu için SAM 3 sayfasına bak.

Inference with Segment Anything 2 In Colab

Meta'nın Her Şeyi Bölütleme Modeli'nin (SAM) devamı olan SAM 2, hem görüntülerde hem de videolarda istemlenebilir nesne bölütleme için geliştirilmiş birleşik bir modeldir. Tek istemlenebilir mimarisi, gerçek zamanlı işlemeyi ve sıfır örnekli genellemeyi destekler.

Ultralytics Platform'da SAM 2

SAM 2.1 modelleri, hızlı veri kümesi etiketlemeyi sağlayan tıklama tabanlı segmentasyon için akıllı anotasyon özelliğine Ultralytics Platform üzerinden güç verir. Ayrıntılar için anotasyon kılavuzuna bak.

SAM 2 örnek bölütleme sonuçları

Temel Özellikler#



İzle: Ultralytics ile Meta'nın SAM2 Modelini Kullanarak Çıkarım Nasıl Yapılır | Adım Adım Kılavuz

Birleşik Model Mimarisi#

SAM 2, görüntü ve video bölütleme yeteneklerini tek bir modelde birleştirir. Bu birleşim, dağıtımı basitleştirir ve farklı medya türlerinde tutarlı performans sağlar. Esnek bir istem tabanlı arayüz kullanarak kullanıcıların ilgilendikleri nesneleri noktalar, sınırlayıcı kutular veya maskeler gibi çeşitli istem türleriyle belirtmelerine olanak tanır.

Gerçek Zamanlı Performans#

Model, saniyede yaklaşık 44 kare işleyerek gerçek zamanlı çıkarım hızlarına ulaşır. Bu sayede SAM 2, video düzenleme ve artırılmış gerçeklik gibi anında geri bildirim gerektiren uygulamalar için uygundur.

Sıfır Örnekli Genelleme#

SAM 2, daha önce hiç karşılaşmadığı nesneleri bölümleyebilir ve güçlü bir sıfır atış genelleme yeteneği sergiler. Bu özellik, önceden tanımlanmış kategorilerin olası tüm nesneleri kapsamayabileceği çeşitli veya değişken görsel alanlarda özellikle kullanışlıdır.

Etkileşimli İyileştirme#

Kullanıcılar ek istemler sağlayarak bölütleme sonuçlarını yinelemeli biçimde iyileştirebilir ve çıktı üzerinde hassas denetim sağlayabilir. Bu etkileşim, video etiketleme veya tıbbi görüntüleme gibi uygulamalarda sonuçları iyileştirmek için gereklidir.

Görsel Zorlukların Gelişmiş Yönetimi#

SAM 2, nesne örtülmesi ve yeniden görünmesi gibi yaygın video bölütleme zorluklarını yönetmek için mekanizmalar içerir. Kareler boyunca nesneleri izlemek için bir bellek mekanizması kullanır; böylece nesneler geçici olarak gizlendiğinde veya sahneden çıkıp yeniden girdiğinde bile sürekliliği korur.

SAM 2'nin mimarisini ve yeteneklerini daha iyi anlamak için SAM 2 araştırma makalesini incele.

Performans ve Teknik Ayrıntılar#

Meta'ya göre SAM 2, çeşitli ölçümlerde önceki modellerden daha iyi performans gösterir:

ÖlçütSAM 2Önceki SOTA
Etkileşimli Video BölümlemeEn iyi-
Gerekli İnsan Etkileşimi3 kat daha azTemel değer
Görüntü Bölümleme DoğruluğuİyileştirildiSAM
Çıkarım Hızı6 kat daha hızlıSAM

Model Mimarisi#

Temel Bileşenler#

  • Görüntü ve Video Kodlayıcı: Hem görüntülerden hem de video karelerinden üst düzey özellikler çıkarmak için Transformer tabanlı bir mimari kullanır. Bu bileşen, her zaman adımındaki görsel içeriği anlamaktan sorumludur.
  • İstem Kodlayıcı: Bölümleme görevine yön vermek için kullanıcı tarafından sağlanan istemleri (noktalar, kutular, maskeler) işler. Bu sayede SAM 2, kullanıcı girdisine uyum sağlayabilir ve sahnedeki belirli nesneleri hedefleyebilir.
  • Bellek Mekanizması: Bellek kodlayıcı, bellek bankası ve bellek dikkat modülünü içerir. Bu bileşenler birlikte önceki karelerdeki bilgileri depolayıp kullanarak modelin zaman içinde tutarlı nesne takibi yapmasını sağlar.
  • Maske Kod Çözücü: Kodlanmış görüntü özelliklerine ve istemlere göre nihai bölümleme maskelerini oluşturur. Videoda, kareler boyunca doğru takibi sağlamak için bellek bağlamından da yararlanır.

Görüntü kodlayıcıyı, bellek mekanizmasını ve maske kod çözücüyü gösteren SAM 2 mimari diyagramı

Bellek Mekanizması ve Örtülme Yönetimi#

Bellek mekanizması, SAM 2'nin video verilerindeki zamansal bağımlılıkları ve örtülmeleri yönetmesini sağlar. Nesneler hareket edip etkileşime girdikçe SAM 2, özelliklerini bir bellek bankasına kaydeder. Bir nesne örtüldüğünde model, nesne yeniden göründüğünde konumunu ve görünümünü tahmin etmek için bu bellekten yararlanabilir. Örtülme başlığı, özellikle nesnelerin görünür olmadığı durumları ele alır ve bir nesnenin örtülmüş olma olasılığını tahmin eder.

Çoklu Maske Belirsizliğini Giderme#

Belirsizlik içeren durumlarda (ör. üst üste binen nesneler) SAM 2 birden fazla maske tahmini oluşturabilir. Bu, tek bir maskenin amaçlanan nesneyi temsil etmekte yetersiz kalabileceği karmaşık sahneleri betimlemeye yardımcı olur.

SA-V Veri Kümesi#

SAM 2'nin eğitimi için geliştirilen SA-V veri kümesi, kullanıma sunulmuş en büyük ve en çeşitli video bölümleme veri kümelerinden biridir. Şunları içerir:

  • 51.000'den Fazla Video: 47 ülkede çekilmiş olup çok çeşitli gerçek dünya senaryoları sunar.
  • 600.000'den Fazla Maske Açıklaması: Nesnelerin tamamını ve parçalarını kapsayan, "masklet" olarak adlandırılan ayrıntılı uzamsal-zamansal maske açıklamaları.
  • Veri Kümesi Ölçeği: Önceki en büyük video bölütleme veri kümelerine kıyasla 4,5 kat daha fazla video ve 53 kat daha fazla açıklama içerir.

Kıyaslamalar#

Video Nesne Bölümleme#

SAM 2, başlıca video bölütleme kıyaslama testlerinde şu sonuçları bildirir:

Veri kümesiJ&FJF
DAVIS 201782.579.885.2
YouTube-VOS81.278.983.5

Etkileşimli Bölümleme#

Etkileşimli bölütleme görevlerinde SAM 2 şu sonuçlara ulaşır:

Veri kümesiNoC@90AUC
DAVIS Etkileşimli1.540.872

Kurulum#

SAM 2, ultralytics paketine dahildir. Aşağıdaki komutla yükle; SAM 2 ağırlıkları ilk kullanımda otomatik olarak indirilir.

pip install ultralytics

SAM 2 Nasıl Kullanılır: Görüntü ve Video Bölümlemede Çok Yönlülük#

Aşağıdaki tabloda kullanılabilir SAM 2 modelleri, önceden eğitilmiş ağırlıkları, desteklenen görevleri ve Eğitim, Doğrulama, Çıkarım ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumlulukları ayrıntılı biçimde açıklanır.

Model TürüÖnceden Eğitilmiş AğırlıklarDesteklenen GörevlerEğitimDoğrulamaÇıkarımDışa aktar
SAM 2 tinysam2_t.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2 smallsam2_s.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2 basesam2_b.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2 largesam2_l.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2.1 tinysam2.1_t.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2.1 smallsam2.1_s.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2.1 basesam2.1_b.ptÖrnek Segmentasyonu❌❌✅❌
SAM 2.1 largesam2.1_l.ptÖrnek Segmentasyonu❌❌✅❌

SAM 2 Tahmin Örnekleri#

SAM 2; gerçek zamanlı video düzenleme, tıbbi görüntüleme ve otonom sistemler dahil çok çeşitli görevlerde kullanılabilir. Hem statik hem de dinamik görsel verileri bölütleyebilmesi, onu araştırmacılar ve geliştiriciler için çok yönlü bir araca dönüştürür.

İstemlerle Bölümleme#

İstemlerle Bölümleme

Görüntülerdeki veya videolardaki belirli nesneleri bölümlemek için istemleri kullan.

from ultralytics import SAM

# Bir model yükle
model = SAM("sam2.1_b.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# bbox istemiyle çıkarım çalıştır
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# tek noktayla çıkarım çalıştır
results = model(points=[900, 370], labels=[1])

# birden çok noktayla çıkarım çalıştır
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# her nesne için birden çok nokta istemiyle çıkarım çalıştır
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# negatif nokta istemiyle çıkarım çalıştır
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Her Şeyi Bölümle#

Her Şeyi Bölümle

Belirli istemler olmadan görüntü veya videodaki tüm içeriği bölümle.

from ultralytics import SAM

# Bir model yükle
model = SAM("sam2.1_b.pt")

# Model bilgilerini görüntüle (isteğe bağlı)
model.info()

# Çıkarımı çalıştır
model("path/to/video.mp4")
  • Bu örnek, herhangi bir istem (bbox/nokta/maske) sağlanmadığında SAM 2'nin bir görüntü veya videonun tüm içeriğini bölümlemek için nasıl kullanılabileceğini gösteriyor.

Videoyu Bölümle ve Nesneleri Takip Et#

Videoyu Bölümle

Belirli istemlerle videonun tüm içeriğini bölümle ve nesneleri takip et.

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# tek noktayla çıkarım çalıştır
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# birden çok noktayla çıkarım çalıştır
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# her nesne için birden çok nokta istemiyle çıkarım çalıştır
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# negatif nokta istemiyle çıkarım çalıştır
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

Dinamik Etkileşimli Bölümleme ve Takip#

SAM2DynamicInteractivePredictor, birden fazla kareyle dinamik etkileşim ve sürekli öğrenme yetenekleri sağlayan, SAM 2'nin eğitim gerektirmeyen bir uzantısıdır. Bu tahminleyici, bir görüntü dizisi boyunca izleme performansını artırmak için gerçek zamanlı istem güncellemelerini ve bellek yönetimini destekler. Özgün SAM 2 ile karşılaştırıldığında SAM2DynamicInteractivePredictor, ek eğitim gerektirmeden önceden eğitilmiş SAM 2 modellerinden en iyi şekilde yararlanmak için çıkarım akışını yeniden oluşturur.

SAM 2 dinamik etkileşimli bölütleme ve izleme örneği

Temel Özellikler#

Üç geliştirme sunar:

  1. Dinamik Etkileşim: Video işleme sırasında istediğin zaman, sonraki karelerdeki yeni ve izlenmeyen örnekler için istemler ekle
  2. Sürekli Öğrenme: Model performansını zaman içinde iyileştirmek için mevcut örneklere yeni istemler ekle
  3. Bağımsız Çoklu Görüntü Desteği: Bellek paylaşımı ve görüntüler arası nesne takibiyle birden fazla bağımsız görüntüyü (bunların bir video dizisinden gelmesi gerekmez) işle

Temel Yetenekler#

  • İstem Esnekliği: Sınırlayıcı kutuları, noktaları ve maskeleri istem olarak kabul eder
  • Bellek Bankası Yönetimi: Kareler boyunca nesne durumlarını depolamak için dinamik bir bellek bankası tutar
  • Çoklu Nesne Takibi: Her nesneye ayrı bir kimlik atayarak birden fazla nesnenin aynı anda izlenmesini destekler
  • Gerçek Zamanlı Güncellemeler: Önceki kareleri yeniden işlemeden çıkarım sırasında yeni istemler eklenmesini sağlar
  • Bağımsız Görüntü İşleme: Görüntüler arasında nesne tutarlılığı sağlamak için paylaşılan bellek bağlamıyla bağımsız görüntüleri işle
Dinamik Nesne Ekleme
from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Kutu istemiyle bir kategori tanımla
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Bu belirli nesneyi yeni bir görüntüde algıla
results = predictor(source="image2.jpg")

# Yeni nesne kimliğiyle yeni bir kategori ekle
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # Yeni nesne
    obj_ids=[1],  # Yeni nesne kimliği
    update_memory=True,  # Belleğe ekle
)
# Çıkarım yap
results = predictor(source="image5.jpg")

# Performansı artırmak için aynı kategoriye iyileştirme istemleri ekle
# Bu, nesnelerin görünümü önemli ölçüde değiştiğinde yardımcı olur
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # İyileştirme noktası
    labels=[1],  # Pozitif nokta
    obj_ids=[1],  # Aynı nesne kimliği
    update_memory=True,  # Belleği yeni bilgilerle güncelle
)
# Yeni görüntü üzerinde çıkarım yap
results = predictor(source="image7.jpg")
Not

SAM2DynamicInteractivePredictor, SAM 2 modelleriyle çalışacak şekilde tasarlanmıştır ve SAM 2'nin yerel olarak desteklediği tüm kutu, nokta ve maske istemleri ile kategoriler eklemeyi ve iyileştirmeyi destekler. Video etiketleme veya etkileşimli düzenleme görevleri gibi, nesnelerin zaman içinde ortaya çıktığı ya da değiştiği senaryolarda özellikle kullanışlıdır.

Bağımsız değişkenler#

AdVarsayılan DeğerVeri TürüAçıklama
max_obj_num3intÖnceden ayarlanmış maksimum kategori sayısı
update_memoryFalseboolBelleğin yeni istemlerle güncellenip güncellenmeyeceği
obj_idsNoneList[int]İstemlere karşılık gelen nesne kimliklerinin listesi

Kullanım Alanları#

SAM2DynamicInteractivePredictor şu alanlar için idealdir:

  • Video etiketleme iş akışları: Dizi sırasında yeni nesnelerin ortaya çıktığı durumlar
  • Etkileşimli video düzenleme: Gerçek zamanlı nesne ekleme ve iyileştirme gerektiren durumlar
  • Gözetim uygulamaları: Dinamik nesne izleme gereksinimleri olan durumlar
  • Tıbbi görüntüleme: Anatomik yapıları zaman serileri boyunca izlemek için
  • Otonom sistemler: Uyarlanabilir nesne algılama ve izleme gerektiren durumlar
  • Çok görüntülü veri kümeleri: Birbirinden bağımsız görüntülerde tutarlı nesne bölümleme için
  • Görüntü koleksiyonu analizi: Nesnelerin farklı sahneler boyunca izlenmesi gereken durumlar
  • Alanlar arası bölümleme: Çeşitli görüntü bağlamlarından gelen bellekten yararlanma
  • Yarı otomatik etiketleme: En az düzeyde manuel müdahaleyle verimli veri kümesi oluşturma

SAM ve YOLO Karşılaştırması#

Burada, en küçük SAM2-t varyantı dahil Meta'nın SAM 2 modellerini, YOLO26 dahil Ultralytics bölütleme modelleriyle karşılaştırıyoruz:

ModelBoyut
(MB)
Parametreler
(M)
Hız (CPU)
(ms/görüntü)
Meta SAM-b37593.741703
Meta SAM2-b16280.828867
Meta SAM2-t78.138.923430
MobileSAM40.710.123802
FastSAM-s ve YOLOv8 omurgası23.911.858.0
Ultralytics YOLOv8n-seg7.1 (11.0 kat daha küçük)3.4 (11.4 kat daha az)24.8 (945 kat daha hızlı)
Ultralytics YOLO11n-seg6.2 (12.6 kat daha küçük)2.9 (13.4 kat daha az)24.3 (964 kat daha hızlı)
Ultralytics YOLO26n-seg6.7 (11.7 kat daha küçük)2.7 (14.4 kat daha az)25.2 (930 kat daha hızlı)

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hız farklarının ne kadar büyük olduğunu gösteriyor. SAM, kendine özgü otomatik segmentasyon yetenekleri sunarken YOLO modelleri, özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg, önemli ölçüde daha küçük, daha hızlı ve hesaplama açısından daha verimlidir.

SAM hızları PyTorch, YOLO hızları ise ONNX Runtime kullanılarak ölçülmüştür. Testler, 16 GB RAM'e sahip 2025 Apple M4 Air üzerinde torch==2.10.0, ultralytics==8.4.31 ve onnxruntime==1.24.4 kullanılarak gerçekleştirilmiştir. Bu testi tekrarlamak için:

Örnek
from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t, SAM2-b, SAM-b, MobileSAM profillerini çıkar
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profili oluştur
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO modellerinin profilini çıkar (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS içermeyen başlık; YOLOv8/YOLO11 için işlem yapmaz
    model = YOLO(onnx_path)
    model(ASSETS)

Otomatik Etiketleme: Verimli Veri Kümesi Oluşturma#

Otomatik etiketleme, kapsamlı manuel etiketleme gerektirmeden bölütleme veri kümelerini hızla oluşturmak için SAM 2'yi önceden eğitilmiş bir tespit modeliyle eşleştirir. Ultralytics Platform ayrıca barındırılan görsel modellerle tarayıcı tabanlı otomatik etiketleme sunar; bu modellerin tespit doğruluğunu, maliyetini ve hızını VLM sıralama tablosunda karşılaştır.

SAM 2 ile Otomatik Etiketleme Nasıl Yapılır#



İzle: Ultralytics Kullanarak Meta'nın Segment Anything 2 Modeliyle Otomatik Etiketleme | Veri Etiketleme

Veri kümeni bir YOLO26x algılayıcısı ve SAM 2 ile otomatik etiketlemek için şu örneği izle:

Otomatik Etiketleme Örneği
from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")
Bağımsız değişkenTürVarsayılanAçıklama
datastrgerekliEtiketleme veya bölümleme için hedef görüntüleri içeren dizinin yolu.
det_modelstr'yolo26x.pt'İlk nesne algılama için YOLO algılama modelinin yolu.
sam_modelstr'sam_b.pt'Bölümleme için SAM modelinin yolu (SAM, SAM 2, MobileSAM ve SAM 3 ağırlıklarını destekler).
devicestr''Hesaplama aygıtı (ör. 'cuda:0', 'cpu' veya aygıtın otomatik algılanması için '').
conffloat0.25Zayıf algılamaları filtrelemek için YOLO algılama güven eşiği.
ioufloat0.5Çakışan kutuları filtrelemek için Maksimum Olmayan Bastırma IoU eşiği.
imgszint640Görüntüleri yeniden boyutlandırmak için giriş boyutu (gerekirse 32'nin bir üst katına yuvarlanır).
max_detint300Bellek verimliliği için görüntü başına maksimum algılama sayısı.
classeslist[int]NoneAlgılanacak sınıf indekslerinin listesi (ör. kişi ve bisiklet için [0, 1]).
output_dirstrNoneEtiketler için kayıt dizini (varsayılan: kardeş dizin <data>_auto_annotate_labels).

Bu işlev, etiketsiz görüntülerden oluşan bir klasörü asgari düzeyde manuel çabayla bir bölütleme veri kümesine dönüştürür.

Sınırlamalar#

Güçlü yönlerine rağmen SAM 2'nin bazı sınırlamaları vardır:

  • İzleme Kararlılığı: SAM 2, uzun diziler sırasında veya bakış açısı önemli ölçüde değiştiğinde nesnelerin izini kaybedebilir.
  • Nesne Karışıklığı: Model, özellikle kalabalık sahnelerde birbirine benzeyen nesneleri zaman zaman karıştırabilir.
  • Birden Çok Nesnede Verimlilik: Nesneler arası iletişimin olmaması nedeniyle birden fazla nesne eş zamanlı işlendiğinde bölümleme verimliliği düşer.
  • Ayrıntı Doğruluğu: Özellikle hızlı hareket eden nesnelerde ince ayrıntıları kaçırabilir. Ek istemler bu sorunu kısmen giderebilir ancak zamansal akıcılık garanti edilmez.

Atıflar ve Teşekkürler#

SAM 2'yi araştırma veya geliştirme çalışmalarında kullanıyorsan lütfen aşağıdaki kaynakçayı kullanarak atıfta bulun:

Atıf
@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Bu modeli ve veri kümesini yapay zekâ topluluğuyla paylaştığı için Meta AI'ya teşekkür ederiz.

Sık Sorulan Sorular#

  • Meta'nın Segment Anything Model'inin (SAM) devamı olan SAM 2, hem görüntülerde hem de videolarda nesne segmentasyonu için istemlerle yönlendirilebilen birleşik bir modeldir. SAM 2, orijinal SAM'e kıyasla aşağıdakiler dahil çeşitli iyileştirmeler sunar:

    • Birleşik Model Mimarisi: Görüntü ve video bölümleme özelliklerini tek bir modelde birleştirir.
    • Gerçek Zamanlı Performans: Saniyede yaklaşık 44 kare işler; bu da onu anında geri bildirim gerektiren uygulamalar için uygun kılar.
    • Sıfır Örnekli Genelleme: Daha önce hiç karşılaşmadığı nesneleri bölümleyerek çeşitli görsel alanlarda kullanışlı olur.
    • Etkileşimli İyileştirme: Kullanıcıların ek istemler sağlayarak bölümleme sonuçlarını yinelemeli biçimde iyileştirmesine olanak tanır.
    • Görsel Zorlukların Gelişmiş Yönetimi: Nesnelerin örtülmesi ve yeniden görünmesi gibi yaygın video bölümleme zorluklarının üstesinden gelir.

    SAM 2'nin mimarisi ve yetenekleri hakkında daha fazla ayrıntı için SAM 2 araştırma makalesini incele.

  • SAM 2, istemlerle yönlendirilebilen arayüzü ve hızlı çıkarım özelliği sayesinde gerçek zamanlı video segmentasyonunu destekler. İşte basit bir örnek:

    İstemlerle Bölümleme

    Görüntülerdeki veya videolardaki belirli nesneleri bölümlemek için istemleri kullan.

    from ultralytics import SAM
    
    # Bir model yükle
    model = SAM("sam2_b.pt")
    
    # Model bilgilerini görüntüle (isteğe bağlı)
    model.info()
    
    # Sınırlayıcı kutu istemiyle bölümle
    results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])
    
    # Nokta istemiyle bölümle
    results = model("path/to/image.jpg", points=[150, 150], labels=[1])

    Daha kapsamlı kullanım bilgileri için SAM 2 Nasıl Kullanılır bölümüne bak.

  • SAM 2, mevcut en büyük ve en çeşitli video segmentasyonu veri kümelerinden biri olan SA-V veri kümesi üzerinde eğitilir. SA-V veri kümesi şunları içerir:

    • 51.000'den Fazla Video: 47 ülkede çekilmiş olup çok çeşitli gerçek dünya senaryoları sunar.
    • 600.000'den Fazla Maske Açıklaması: Nesnelerin tamamını ve parçalarını kapsayan, "masklet" olarak adlandırılan ayrıntılı uzamsal-zamansal maske açıklamaları.
    • Veri Kümesinin Ölçeği: Önceki en büyük veri kümelerine kıyasla 4.5 kat daha fazla video ve 53 kat daha fazla açıklama içerir; eşi görülmemiş bir çeşitlilik ve karmaşıklık sunar.

    Bu veri kümesi, SAM 2'nin önemli video segmentasyonu karşılaştırma ölçütlerinde güçlü sonuçlar elde etmesini sağlar ve sıfır örnekli genelleme yeteneklerini geliştirir.

  • SAM 2, video verilerindeki zamansal bağımlılıkları ve örtülmeleri yönetmek için bir bellek mekanizması içerir. Bellek mekanizması şunlardan oluşur:

    • Bellek Kodlayıcısı ve Bellek Bankası: Önceki karelerden gelen özellikleri depolar.
    • Bellek Dikkat Modülü: Zaman içinde tutarlı nesne izlemeyi sürdürmek için depolanan bilgileri kullanır.
    • Örtülme Başlığı: Nesnelerin görünür olmadığı durumları özel olarak ele alır ve bir nesnenin örtülmüş olma olasılığını tahmin eder.

    Bu mekanizma, nesneler geçici olarak gizlendiğinde veya sahneden çıkıp yeniden girdiğinde bile sürekliliği sağlar. Daha fazla ayrıntı için Bellek Mekanizması ve Örtülme Yönetimi bölümüne bak.

  • Meta'nın SAM2-t ve SAM2-b modelleri gibi SAM 2 modelleri güçlü sıfır örnekli bölümleme yetenekleri sunar ancak YOLO modellerine kıyasla önemli ölçüde daha büyük ve yavaştır. Örneğin YOLO26n-seg, CPU'da SAM2-b'den yaklaşık 24 kat daha küçük ve 1145 kattan fazla daha hızlıdır. SAM 2 çok yönlü, istem tabanlı ve sıfır örnekli bölümleme senaryolarında öne çıkarken YOLO26; NMS gerektirmeyen uçtan uca çıkarımıyla hız, verimlilik ve gerçek zamanlı uygulamalar için optimize edilmiştir ve bu nedenle kaynakları kısıtlı ortamlarda dağıtım için daha uygundur.

Yorumlar150

Bir soru sor, sonuçlarını paylaş veya başka birine yardım et.

  1. Glenn JocherUltralytics

    Hey everyone! We wanted to give you a quick update: our team is currently busy integrating SAM 2 (Segment Anything Model 2) into the Ultralytics package. This new model is super exciting, with features like real-time performance and the ability to segment objects it’s never seen before.

    We're really pumped about what SAM2 can do, but it's still in the works. Thanks for your patience as we get everything set up! We'll keep you posted as we make progress. Stay tuned!

    10
    1. Glenn JocherUltralytics

      Update: SAM 2 is now fully integrated! Update your package to ultralytics>=8.2.70 with pip install -U ultralytics and then for example:

      from ultralytics import ASSETS, SAM
      
      # Load a model
      model = SAM("sam2_s.pt")
      
      # Segment with point prompt
      results = model(ASSETS / "bus.jpg", points=[150, 150], labels=[1], device="cpu")
      1
  2. avasanjeshGitHub

    Hello,

    Can i use sam2.1 for real time segmentation? i want to specify the object on the first frame of live video webcam then sam2.1 shows the segmentation and continue to track and show the result of segmentation of that object. Is it possible to do this?

    1
  3. thedatamaskGitHub

    Breaking News: 🚨 SAM 1.0 outperforms SAM 2.0 on low-contrast images like CT Scan and MRI images! Check out this insightful video from Data Mask YouTube channel where they dive deep into the architecture, demos, and limitations of both Meta's segmentation models. Discover when to use SAM 1.0 for superior results on challenging images.

    Use case with ultralytics

    https://www.youtube.com/watch?v=vMI-TnyNLYU

    Please do like and subscribe for exciting video like above .

    #SAM #SAM2.0 #MetaAI #ImageSegmentation #AI #MachineLearning #DeepLearning #DataMask #BreakingNews

    1
    1. Glenn JocherUltralytics

      @thedatamask thank you for sharing the video. For insights on SAM 2's capabilities and its comparison with other models, you can explore our documentation. If you have specific questions about using SAM 2 with Ultralytics, feel free to ask!

  4. ram-from-tvlGitHub

    Hi Team,

    the below is the code I have been using to annotate some items in a folder of several images. I am planning to segment everything first and then try to cherry pick the ones that are to be annotated for a downstream segmentation task. Could you please tailor the code for the same. I am not getting any help from the docs regarding the same. i have tried auto annotate but its not working for my use case. So please help me in this approach

    ` from ultralytics import SAM

    Load a model

    model = SAM("sam2.1_b.pt")

    Display model information (optional)

    model.info()

    Run inference

    model("/kaggle/working/10_random_frames") `

    Thankyou

    Regards Ram

    1. Onuralp SezerUltralytics

      Hi Team,

      the below is the code I have been using to annotate some items in a folder of several images. I am planning to segment everything first and then try to cherry pick the ones that are to be annotated for a downstream segmentation task. Could you please tailor the code for the same. I am not getting any help from the docs regarding the same. i have tried auto annotate but its not working for my use case. So please help me in this approach

      ` from ultralytics import SAM

      Load a model

      model = SAM("sam2.1_b.pt")

      Display model information (optional)

      model.info()

      Run inference

      model("/kaggle/working/10_random_frames") `

      Thankyou

      Regards Ram

      You may want check out here https://docs.ultralytics.com/reference/data/annotator/#ultralytics.data.annotator.auto_annotate

  5. zhaowangalreadyGitHub

    Hello, dear doctor, I encountered some problems in the automatic annotation segmentation. I used the successfully annotated data for verification and found that the data of each species has a serial number border. How can I remove the serial number border? I hope to hear from you.

    1. Glenn JocherUltralytics

      auto_annotate() 生成的是标准 YOLO-seg 标签:每一行开头的“数字”是类别 class_id(必需字段,不能删),如果你看到的是验证/预测保存出来的图片上带编号的边框/轮廓,那只是可视化绘图,不会写进数据本身;你可以按 SAM 2 文档 继续用同一套数据训练/验证,同时关掉这些 plot:

      yolo val model=yolo26n-seg.pt data=path/to/data.yaml plots=False
      yolo predict model=sam2.1_b.pt source=path/to/images show_labels=False show_boxes=False

      方便的话把“带序号边框”的截图 + 对应的一行标签 .txt 内容贴在这个 discussion 里,我帮你确认你看到的到底是 class_id 还是绘图叠加效果。

  6. cyberpunk-edgerunnerGitHub

    I have to question related to SAM2 :

    1. How to use text-prompt for segmentation using SAM ?
    2. Along with the bounding box coordinates, is there a way to tell SAM what not to segment ?
  7. cyberpunk-edgerunnerGitHub

    I have two questions regarding segmentation with SAM2 and YOLOv11:

    1. Visualization and Editing with SAM2 I've used the auto_annotate feature and I'm wondering:

    • How can I visualize the segmentations produced by the SAM2 model?
    • Is there a way to manually inspect or edit these segmentations?

    I'm aiming to verify the outputs before proceeding further.

    2. Saving and Cropping Segmentations I'm using the following code to detect and segment images with YOLOv11 and SAM2:

    from ultralytics import YOLO
    from ultralytics import SAM
    
    model = YOLO(r"runs\detect\train2\weights\best.pt")
    sam_model = SAM("sam2_b.pt")
    
    results = model("more_test_images", save=True)
    
    for result in results:
        class_ids = result.boxes.cls.int().tolist()
    
        if len(class_ids):
            boxes = result.boxes.xyxy
            sam_results = sam_model(result.orig_img, bboxes=boxes, verbose=False, save=True)

    The detection results from YOLOv11 are saved correctly, but only one segmented result is saved by SAM2.

    Questions:

    1. How can I ensure all SAM2 segmentations are saved for each image?
    2. How can I crop and save only the segmented parts (i.e., masked regions) from each image? I need these as separate images, containing only the segmented pixels.

    Any help or pointers would be greatly appreciated!

  8. fangyuZ1025GitHub

    Hello, dear doctor, I encountered some problems in the automatic annotation segmentation. The automatic annotation automatically marked various marks on my output, but in fact, this is not the correct mark of my picture, and even some pictures cannot recognise the objects in it. How can I make it change the label uniform? For example, all of them are labelled as "fruit", "vehicle" and so on? I hope to get your reply.

    from ultralytics.data.annotator import auto_annotate

    auto_annotate(data=r"D:\graduation.thesis\mydata\mt_label\images", det_model="yolov8n.pt", sam_model="sam2_b.pt")

    image 19/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112848.jpg: 640x640 (no detections), 33.4ms image 20/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112858.jpg: 640x640 1 orange, 31.9ms image 21/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112907.jpg: 640x640 1 apple, 35.3ms image 22/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112916.jpg: 640x640 (no detections), 34.0ms image 23/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112938.jpg: 640x640 (no detections), 35.3ms image 24/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_112947.jpg: 640x640 1 donut, 32.1ms image 25/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_113004.jpg: 640x640 (no detections), 28.6ms image 26/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_113014.jpg: 640x640 1 donut, 33.9ms image 27/461 D:\graduation.thesis\mydata\mt_label\images\IMG_20241003_113028.jpg: 640x640 1 apple, 1 donut, 35.8ms

    1. Glenn JocherUltralytics(düzenlendi)

      @fangyuZ1025 to improve label consistency in auto-annotation, you'll need to train a custom detection model with your specific classes ("fruit", "vehicle") first. The auto_annotate function relies on your detection model's class definitions - it doesn't rename labels but uses whatever classes your det_model was trained on. For immediate improvement, try a newer detection model such as YOLO26 (for example det_model="yolo26n.pt"), which is more accurate than YOLOv8.

  9. Fatima-khanjarGitHub

    Hello, I am using SAM2 with my fine-tuned YOLOv11 on my custom dataset to perform auto-annotation for an object detection task. However, the annotations in the .txt file are not in the YOLO format (class_label x_center y_center width height).

    Could you clarify the format of the labels generated when using both SAM2 and YOLOv11 for auto-annotation?

    1. Glenn JocherUltralytics

      @Fatima-khanjar the auto-annotation function generates segmentation masks in YOLO segmentation format (polygon points normalized 0-1), not bounding boxes. For object detection tasks, you'll need to convert these masks to bounding boxes using masks.xy from Results objects. We recommend reviewing the Auto-Annotation with SAM2 documentation for implementation details and conversion examples.

      1
  10. danieltudosiuGitHub(düzenlendi)

    How does one use SAM2 with a numpy input? I saw how to do it with SAM but SAM2 does not have a preprocess method like SAM.

    1. Glenn JocherUltralytics(düzenlendi)

      @danieltudosiu you can pass numpy arrays directly as the source to SAM. Here's a minimal example:

      import numpy as np
      
      from ultralytics import SAM
      
      model = SAM("sam2.1_b.pt")
      img = np.random.randint(0, 255, (640, 640, 3), dtype=np.uint8)  # Your numpy array
      results = model(img, points=[100, 100], labels=[1])

      For more details, see the SAM 2 documentation.

    2. Glenn JocherUltralytics(düzenlendi)

      You can pass numpy arrays or file paths directly to SAM("sam2.1_b.pt"), for example model(img_array, points=[100, 100], labels=[1]). SAM2VideoPredictor is only needed for video. For image-specific examples, see the SAM 2 documentation.