SAM 2: Segment Herhangi Bir Şey Model 2

SAM 2, Meta'nın Segment Anything Model'inin (SAM) halefi, hem görüntülerde hem de videolarda kapsamlı nesne segmentasyonu için tasarlanmış son teknoloji bir araçtır. Gerçek zamanlı işlemeyi ve sıfır vuruşlu genelleştirmeyi destekleyen birleşik, uyarılabilir bir model mimarisi aracılığıyla karmaşık görsel verileri işlemede mükemmeldir.

Temel Özellikler

İzle: Ultralytics kullanarak Meta's SAM2 ile Çıkarım Nasıl Çalıştırılır | Adım Adım Kılavuz 🎉

Birleşik Model Mimarisi

SAM 2 görüntü ve video segmentasyonu yeteneklerini tek bir modelde birleştirir. Bu birleştirme, dağıtımı basitleştirir ve farklı medya türlerinde tutarlı performans sağlar. Kullanıcıların noktalar, sınırlayıcı kutular veya maskeler gibi çeşitli istem türleri aracılığıyla ilgilenilen nesneleri belirtmelerine olanak tanıyan esnek istem tabanlı bir arayüzden yararlanır.

Gerçek Zamanlı Performans

Model, saniyede yaklaşık 44 kare işleyerek gerçek zamanlı çıkarım hızlarına ulaşır. Bu da SAM 2'yi video düzenleme ve artırılmış gerçeklik gibi anında geri bildirim gerektiren uygulamalar için uygun hale getiriyor.

Sıfır Atış Genelleme

SAM 2 daha önce hiç karşılaşmadığı nesneleri segmentlere ayırabilir ve güçlü sıfır atış genellemesi gösterir. Bu, özellikle önceden tanımlanmış kategorilerin tüm olası nesneleri kapsamayabileceği çeşitli veya gelişen görsel alanlarda kullanışlıdır.

İnteraktif İyileştirme

Kullanıcılar, ek istemler sağlayarak segmentasyon sonuçlarını yinelemeli olarak hassaslaştırabilir ve çıktı üzerinde hassas kontrol sağlayabilir. Bu etkileşim, video açıklama veya tıbbi görüntüleme gibi uygulamalarda sonuçlara ince ayar yapmak için gereklidir.

Görsel Zorlukların İleri Düzeyde Ele Alınması

SAM 2, nesne tıkanıklığı ve yeniden ortaya çıkma gibi yaygın video segmentasyon zorluklarını yönetmek için mekanizmalar içerir. Nesneleri kareler boyunca takip etmek için sofistike bir bellek mekanizması kullanır ve nesneler geçici olarak gizlendiğinde veya sahneden çıkıp tekrar girdiğinde bile sürekliliği sağlar.

SAM 2'nin mimarisi ve yetenekleri hakkında daha derin bir anlayış için SAM 2 araştırma makalesini inceleyin.

Performans ve Teknik Detaylar

SAM 2, çeşitli ölçütlerde önceki modellerden daha iyi performans göstererek bu alanda yeni bir ölçüt oluşturmaktadır:

Model Mimari

Çekirdek Bileşenler

• Görüntü ve Video Kodlayıcı: Hem görüntülerden hem de video karelerinden üst düzey özellikler çıkarmak için dönüştürücü tabanlı bir mimari kullanır. Bu bileşen, her zaman adımında görsel içeriği anlamaktan sorumludur.
• İstem Kodlayıcı: Segmentasyon görevini yönlendirmek için kullanıcı tarafından sağlanan istemleri (noktalar, kutular, maskeler) işler. Bu, SAM 2'nin kullanıcı girdisine uyum sağlamasına ve bir sahne içindeki belirli nesneleri hedeflemesine olanak tanır.
• Hafıza Mekanizması: Bir hafıza kodlayıcı, hafıza bankası ve hafıza dikkat modülü içerir. Bu bileşenler toplu olarak geçmiş karelerdeki bilgileri depolar ve kullanır, böylece modelin zaman içinde tutarlı nesne takibini sürdürmesini sağlar.
• Maske Çözücü: Kodlanmış görüntü özelliklerine ve istemlere dayalı olarak nihai segmentasyon maskelerini oluşturur. Videoda, kareler arasında doğru izleme sağlamak için bellek bağlamını da kullanır.

Bellek Mekanizması ve Oklüzyon İşleme

Bellek mekanizması SAM 2'nin video verilerindeki zamansal bağımlılıkları ve tıkanıklıkları ele almasını sağlar. Nesneler hareket ettikçe ve etkileşime girdikçe, SAM 2 onların özelliklerini bir hafıza bankasına kaydeder. Bir nesne tıkandığında, model yeniden ortaya çıktığında konumunu ve görünümünü tahmin etmek için bu belleğe güvenebilir. Oklüzyon kafası, nesnelerin görünür olmadığı senaryoları özel olarak ele alır ve bir nesnenin oklüzyona uğrama olasılığını tahmin eder.

Çoklu Görev Belirsizlik Çözümü

Belirsizlik içeren durumlarda (örneğin, üst üste binen nesneler), SAM 2 birden fazla maske tahmini oluşturabilir. Bu özellik, tek bir maskenin sahnenin nüanslarını yeterince tanımlayamayabileceği karmaşık sahneleri doğru bir şekilde temsil etmek için çok önemlidir.

SA-V Veri Kümesi

SAM 2'nin eğitimi için geliştirilen SA-V veri kümesi, mevcut en büyük ve en çeşitli video segmentasyon veri kümelerinden biridir. Bu veri kümesi şunları içerir:

• 51.000'den fazla Video: 47 ülkede çekilen ve çok çeşitli gerçek dünya senaryoları sunan videolar.
• 600.000'den fazla Maske Ek Açıklaması: Tüm nesneleri ve parçaları kapsayan "masklet" olarak adlandırılan ayrıntılı uzamsal-zamansal maske ek açıklamaları.
• Veri Kümesi Ölçeği: Önceki en büyük veri kümelerinden 4,5 kat daha fazla video ve 53 kat daha fazla açıklama içeriyor ve benzeri görülmemiş bir çeşitlilik ve karmaşıklık sunuyor.

Ölçütler

Video Nesne Segmentasyonu

SAM 2 önemli video segmentasyon kıyaslamalarında üstün performans göstermiştir:

İnteraktif Segmentasyon

Etkileşimli segmentasyon görevlerinde, SAM 2 önemli verimlilik ve doğruluk göstermektedir:

Kurulum

SAM 2'yi yüklemek için aşağıdaki komutu kullanın. Tüm SAM 2 modelleri ilk kullanımda otomatik olarak indirilecektir.

pip install ultralytics

SAM 2 Nasıl Kullanılır: Görüntü ve Video Segmentasyonunda Çok Yönlülük

Aşağıdaki tabloda mevcut SAM 2 modelleri, bunların önceden eğitilmiş ağırlıkları, desteklenen görevler ve Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumluluk ayrıntılı olarak açıklanmaktadır.

SAM 2 Tahmin Örnekleri

SAM 2 gerçek zamanlı video düzenleme, tıbbi görüntüleme ve otonom sistemler de dahil olmak üzere geniş bir görev yelpazesinde kullanılabilir. Hem statik hem de dinamik görsel verileri bölümlere ayırma yeteneği, onu araştırmacılar ve geliştiriciler için çok yönlü bir araç haline getirmektedir.

İpuçları ile Segment

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Segment Her Şey

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

# Run inference with a SAM 2 model
yolo predict model=sam2.1_b.pt source=path/to/video.mp4

Videoyu Segmentlere Ayırma ve Nesneleri İzleme

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024, model="sam2_b.pt")
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=1)

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• Bu örnekte, herhangi bir istem (bboxes/points/masks) sağlanmadığı takdirde SAM 2 adresinin bir resim veya videonun tüm içeriğini bölümlere ayırmak için nasıl kullanılabileceği gösterilmektedir.

SAM 2 karşılaştırma vs YOLOv8

Burada Meta'nın en küçük SAM 2 modeli olan SAM2-t ile Ultralytics en küçük segmentasyon modeli olan YOLOv8n-seg'i karşılaştırıyoruz:

Bu karşılaştırma, modeller arasındaki model boyutları ve hızlarındaki büyüklük sırası farklarını göstermektedir. SAM otomatik segmentasyon için benzersiz yetenekler sunarken, daha küçük, daha hızlı ve daha verimli olan YOLOv8 segment modellerine doğrudan rakip değildir.

Testler, 16 GB RAM kullanan 2023 Apple M2 Macbook üzerinde gerçekleştirilmiştir. torch==2.3.1 ve ultralytics==8.3.82. Bu testi yeniden oluşturmak için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLOv8n-seg
model = YOLO("yolov8n-seg.pt")
model.info()
model(ASSETS)

Otomatik Notasyon: Verimli Veri Kümesi Oluşturma

Otomatik açıklama, SAM 2'nin güçlü bir özelliğidir ve kullanıcıların önceden eğitilmiş modellerden yararlanarak segmentasyon veri kümelerini hızlı ve doğru bir şekilde oluşturmalarını sağlar. Bu özellik, yoğun manuel çaba gerektirmeden büyük, yüksek kaliteli veri kümeleri oluşturmak için özellikle yararlıdır.

SAM 2 ile Otomatik Not Alma

İzle: Ultralytics | Veri Etiketleme kullanarak Meta'nın Segment Anything 2 Modeli ile Otomatik Ek Açıklama

Veri setinizi SAM 2 adresini kullanarak otomatik olarak notlandırmak için bu örneği izleyin:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo11x.pt", sam_model="sam2_b.pt")

Bu işlev, projelerini hızlandırmayı amaçlayan araştırmacılar ve geliştiriciler için ideal olan yüksek kaliteli segmentasyon veri kümelerinin hızlı bir şekilde oluşturulmasını kolaylaştırır.

Sınırlamalar

Güçlü yönlerine rağmen, SAM 2'nin bazı sınırlamaları vardır:

• İzleme Kararlılığı: SAM 2, uzun sekanslar veya önemli bakış açısı değişiklikleri sırasında nesnelerin izini kaybedebilir.
• Nesne Karışıklığı: Model, özellikle kalabalık sahnelerde bazen benzer görünümlü nesneleri karıştırabilir.
• Birden Fazla Nesne ile Verimlilik: Birden fazla nesne aynı anda işlenirken nesneler arası iletişim eksikliği nedeniyle segmentasyon verimliliği düşer.
• Detay Doğruluğu: Özellikle hızlı hareket eden nesnelerde ince ayrıntıları kaçırabilir. Ek istemler bu sorunu kısmen çözebilir, ancak zamansal düzgünlük garanti edilmez.

Atıflar ve Teşekkür

SAM 2 araştırma veya geliştirme çalışmalarınızın önemli bir parçasıysa, lütfen aşağıdaki referansı kullanarak atıfta bulunun:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Bu çığır açan model ve veri seti ile yapay zeka topluluğuna katkılarından dolayı Meta AI'ya şükranlarımızı sunuyoruz.

SSS

SAM 2 nedir ve orijinal Segment Anything Modelini (SAM) nasıl geliştirmektedir?

SAM 2, Meta'nın Segment Anything Model'inin (SAM) halefi, hem görüntülerde hem de videolarda kapsamlı nesne segmentasyonu için tasarlanmış son teknoloji bir araçtır. Gerçek zamanlı işlemeyi ve sıfır atışlı genelleştirmeyi destekleyen birleşik, istenebilir bir model mimarisi aracılığıyla karmaşık görsel verilerin işlenmesinde mükemmeldir. SAM 2, orijinal SAM üzerinde aşağıdakiler de dahil olmak üzere çeşitli iyileştirmeler sunar:

• Birleşik Model Mimarisi: Görüntü ve video segmentasyon yeteneklerini tek bir modelde birleştirir.
• Gerçek Zamanlı Performans: Saniyede yaklaşık 44 kare işleyerek anında geri bildirim gerektiren uygulamalar için uygun hale getirir.
• Sıfır Atış Genelleme: Daha önce hiç karşılaşmadığı nesneleri segmentlere ayırır, çeşitli görsel alanlarda kullanışlıdır.
• İnteraktif İyileştirme: Kullanıcıların ek istemler sağlayarak segmentasyon sonuçlarını yinelemeli olarak iyileştirmesine olanak tanır.
• Görsel Zorlukların Gelişmiş Yönetimi: Nesne tıkanıklığı ve yeniden ortaya çıkma gibi yaygın video segmentasyon zorluklarını yönetir.

SAM 2'nin mimarisi ve yetenekleri hakkında daha fazla ayrıntı için SAM 2 araştırma makalesini inceleyin.

Gerçek zamanlı video segmentasyonu için SAM 2 adresini nasıl kullanabilirim?

SAM 2, uyarılabilir arayüzü ve gerçek zamanlı çıkarım yeteneklerinden yararlanarak gerçek zamanlı video segmentasyonu için kullanılabilir. İşte basit bir örnek:

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

Daha kapsamlı kullanım için SAM 2 Nasıl Kullanılır bölümüne bakın.

SAM 2'yi eğitmek için hangi veri kümeleri kullanılıyor ve bunlar performansı nasıl artırıyor?

SAM 2, mevcut en büyük ve en çeşitli video segmentasyon veri kümelerinden biri olan SA-V veri kümesi üzerinde eğitilmiştir. SA-V veri kümesi şunları içerir:

• 51.000'den fazla Video: 47 ülkede çekilen ve çok çeşitli gerçek dünya senaryoları sunan videolar.
• 600.000'den fazla Maske Ek Açıklaması: Tüm nesneleri ve parçaları kapsayan "masklet" olarak adlandırılan ayrıntılı uzamsal-zamansal maske ek açıklamaları.
• Veri Kümesi Ölçeği: Önceki en büyük veri kümelerine göre 4,5 kat daha fazla video ve 53 kat daha fazla açıklama içererek benzeri görülmemiş bir çeşitlilik ve karmaşıklık sunar.

Bu kapsamlı veri seti, SAM 2'nin başlıca video segmentasyon karşılaştırmalarında üstün performans elde etmesini sağlar ve sıfır çekim genelleme yeteneklerini geliştirir. Daha fazla bilgi için SA-V Veri Kümesi bölümüne bakın.

SAM 2 video segmentasyonunda oklüzyonları ve nesnelerin yeniden ortaya çıkmasını nasıl ele alıyor?

SAM 2, video verilerindeki zamansal bağımlılıkları ve tıkanıklıkları yönetmek için gelişmiş bir bellek mekanizması içerir. Bellek mekanizması şunlardan oluşur:

• Hafıza Kodlayıcı ve Hafıza Bankası: Geçmiş karelerdeki özellikleri depolar.
• Hafıza Dikkat Modülü: Zaman içinde tutarlı nesne takibini sürdürmek için depolanan bilgileri kullanır.
• Oklüzyon Kafası: Nesnelerin görünmediği senaryoları özel olarak ele alır ve bir nesnenin oklüzyona uğrama olasılığını tahmin eder.

Bu mekanizma, nesneler geçici olarak gizlendiğinde veya sahneden çıkıp tekrar girdiğinde bile sürekliliği sağlar. Daha fazla ayrıntı için Bellek Mekanizması ve Oklüzyon İşleme bölümüne bakın.

SAM 2, YOLOv8 gibi diğer segmentasyon modelleriyle nasıl karşılaştırılır?

SAM 2 ve Ultralytics YOLOv8 farklı amaçlara hizmet eder ve farklı alanlarda mükemmeldir. SAM 2, sıfır çekim genelleme ve gerçek zamanlı performans gibi gelişmiş özelliklerle kapsamlı nesne segmentasyonu için tasarlanmışken, YOLOv8 nesne algılama ve segmentasyon görevlerinde hız ve verimlilik için optimize edilmiştir. İşte bir karşılaştırma:

Daha fazla ayrıntı için SAM 2 ile YOLOv8 karşılaştırması bölümüne bakın.

📅4 ay önce oluşturuldu ✏️ 13 gün önce güncellendi

Yorumlar