Mobil Her Şeyi Segmentleme (MobileSAM)#

MobileSAM, mobil ve uç cihazlar için özel olarak tasarlanmış kompakt ve verimli bir görüntü segmentasyonu modelidir. Meta'nın Her Şeyi Segmentleme Modelinin (SAM) gücünü hesaplama kaynakları sınırlı ortamlara taşımak üzere tasarlanan MobileSAM, orijinal SAM işlem hattıyla uyumluluğunu korurken neredeyse anında segmentasyon sağlar. İster gerçek zamanlı uygulamalar ister hafif dağıtımlar geliştiriyor ol, MobileSAM öncüllerine kıyasla çok daha düşük boyut ve hız gereksinimleriyle etkileyici segmentasyon sonuçları sunar.

MobileSAM; Grounding-SAM, AnyLabeling ve Segment Anything in 3D dâhil çeşitli projelerde kullanılmıştır.

MobileSAM, tek bir GPU üzerinde 100 bin görüntülük bir veri kümesiyle (orijinal görüntülerin %1'i) bir günden kısa sürede eğitildi.

Kullanılabilir Modeller, Desteklenen Görevler ve Çalışma Modları#

Aşağıdaki tabloda kullanılabilir MobileSAM modeli, önceden eğitilmiş ağırlıkları, desteklenen görevleri ve Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumluluğu özetlenir. Desteklenen modlar ✅, desteklenmeyen modlar ise ❌ ile belirtilir.

MobileSAM ile YOLO'nun Karşılaştırması#

Aşağıdaki karşılaştırmada Meta'nın SAM çeşitleri, MobileSAM ve YOLO26n-seg dâhil Ultralytics segmentasyon modelleri arasındaki farklar vurgulanmaktadır:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hız farklarının ne kadar büyük olduğunu gösteriyor. SAM modelleri kendilerine özgü otomatik segmentasyon özellikleri sunarken YOLO modelleri —özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg— çok daha küçük, hızlı ve hesaplama açısından verimlidir.

SAM hızları PyTorch ile, YOLO hızları ise ONNX Runtime ile ölçülmüştür. Testler, 16 GB RAM'e sahip 2025 model Apple M4 Air üzerinde torch==2.10.0, ultralytics==8.4.31 ve onnxruntime==1.24.4 kullanılarak gerçekleştirilmiştir. Bu sonuçları yeniden üretmek için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t, SAM2-b, SAM-b, MobileSAM profillerini çıkar
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profili oluştur
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO modellerinin profilini çıkar (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS içermeyen başlık; YOLOv8/YOLO11 için işlem yapmaz
    model = YOLO(onnx_path)
    model(ASSETS)

SAM'den MobileSAM'e Geçiş#

MobileSAM; ön işleme, son işleme ve tüm arayüzler dahil olmak üzere orijinal SAM ile aynı işlem hattını korur. Böylece iş akışında en az değişiklikle SAM'den MobileSAM'e geçebilirsin.

Temel fark görüntü kodlayıcısıdır: MobileSAM, orijinal ViT-H kodlayıcının (637M parametre) yerine çok daha küçük bir Tiny-ViT kodlayıcı (5M parametre) kullanır. Tek bir GPU'da MobileSAM, bir görüntüyü yaklaşık 12 ms'de işler (kodlayıcı 8 ms, maske kod çözücü 4 ms).

ViT Tabanlı Görüntü Kodlayıcı Karşılaştırması#

İstem Kılavuzlu Maske Kod Çözücü#

Tüm İşlem Hattının Karşılaştırması#

MobileSAM ve orijinal SAM'in performansı aşağıda hem nokta hem de kutu istemleri kullanılarak gösterilmiştir.

MobileSAM, FastSAM'den yaklaşık 7 kat daha küçük ve 5 kat daha hızlıdır. Daha fazla bilgi için MobileSAM proje sayfasını ziyaret et.

Ultralytics'te MobileSAM'i Test Etme#

Orijinal SAM gibi Ultralytics de MobileSAM'i test etmek için Nokta ve Kutu istemlerini destekleyen basit bir arayüz sunar.

Modeli İndirme#

MobileSAM önceden eğitilmiş ağırlıklarını Ultralytics varlıklarından indir.

Nokta İstemi#

from ultralytics import SAM

# Modeli yükle
model = SAM("mobile_sam.pt")

# Tek bir nokta istemine göre bir segment tahmin et
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Birden fazla nokta istemine göre birden fazla segment tahmin et
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Her nesne için birden fazla nokta istemine göre bir segment tahmin et
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Hem pozitif hem de negatif istemler kullanarak bir segment tahmin et.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Kutu İstemi#

from ultralytics import SAM

# Modeli yükle
model = SAM("mobile_sam.pt")

# Tek bir kutu istemine göre bir segment tahmin et
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Birden fazla kutu istemine göre birden fazla segment tahmin et
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Hem MobileSAM hem de SAM aynı API'yi kullanır. Kullanım hakkında daha fazla bilgi için SAM belgelerine bak.

Bir Algılama Modeli Kullanarak Segmentasyon Veri Kümelerini Otomatik Olarak Oluşturma#

Ultralytics çerçevesiyle veri kümeni otomatik olarak etiketlemek için aşağıda gösterildiği gibi auto_annotate işlevini kullan:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Atıflar ve Teşekkürler#

MobileSAM araştırmana veya geliştirme çalışmalarına katkı sağlıyorsa aşağıdaki makaleye atıf yapmanı öneririz:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

arXiv'deki MobileSAM makalesinin tamamını oku.

Sık Sorulan Sorular#