Mobile Segment Anything (MobileSAM)#

MobileSAM, mobil ve uç cihazlar için özel olarak geliştirilmiş kompakt, verimli bir görüntü bölütleme modelidir. Meta'nın Segment Anything Model (SAM) modelinin gücünü sınırlı hesaplama kapasitesine sahip ortamlara getirmek için tasarlanan MobileSAM, orijinal SAM işlem hattıyla uyumluluğunu korurken neredeyse anında bölütleme sağlar. İster gerçek zamanlı uygulamalar ister hafif dağıtımlar geliştiriyor olun, MobileSAM önceki sürümlerinin boyut ve hız gereksinimlerinin çok küçük bir kısmıyla etkileyici bölütleme sonuçları sunar.

MobileSAM; Grounding-SAM, AnyLabeling ve Segment Anything in 3D dahil olmak üzere çeşitli projelerde benimsenmiştir.

MobileSAM, 100 bin görüntülük bir veri kümesi (orijinal görüntülerin %1'i) kullanılarak tek bir GPU üzerinde bir günden kısa sürede eğitilmiştir. Eğitim kodu gelecekte yayınlanacaktır.

Mevcut Modeller, Desteklenen Görevler ve Çalışma Modları#

Aşağıdaki tabloda mevcut MobileSAM modeli, önceden eğitilmiş ağırlıkları, desteklenen görevleri ve Inference, Validation, Training ve Export gibi farklı çalışma modlarıyla uyumluluğu özetlenmektedir. Desteklenen modlar ✅ ile, desteklenmeyen modlar ise ❌ ile gösterilir.

MobileSAM ve YOLO Karşılaştırması#

Aşağıdaki karşılaştırma, Meta'nın SAM varyantları, MobileSAM ve YOLO26n-seg dahil olmak üzere Ultralytics bölütleme modelleri arasındaki farkları vurgulamaktadır:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hızı konusundaki önemli farkları göstermektedir. SAM modelleri benzersiz otomatik segmentasyon yetenekleri sunarken, YOLO modelleri — özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg — önemli ölçüde daha küçük, daha hızlı ve daha hesaplama açısından verimlidir.

SAM hızları PyTorch ile, YOLO hızları ONNX Runtime ile ölçülmüştür. Testler, torch==2.10.0, ultralytics==8.4.31 ve onnxruntime==1.24.4 kullanılarak 16GB RAM'e sahip 2025 çıkışlı bir Apple M4 Air üzerinde çalıştırılmıştır. Bu sonuçları yeniden üretmek için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

SAM'den MobileSAM'e Uyarlama#

MobileSAM; ön işleme, son işleme ve tüm arayüzler dahil olmak üzere orijinal SAM ile aynı işlem hattını korur. Bu, iş akışınızda minimum değişiklik yaparak SAM'den MobileSAM'e geçebileceğiniz anlamına gelir.

Temel fark görüntü kodlayıcıdır: MobileSAM, orijinal ViT-H kodlayıcıyı (637M parametre) çok daha küçük bir Tiny-ViT kodlayıcı (5M parametre) ile değiştirir. MobileSAM tek bir GPU üzerinde bir görüntüyü yaklaşık 12 ms'de (kodlayıcı için 8 ms, maske kod çözücü için 4 ms) işler.

ViT Tabanlı Görüntü Kodlayıcı Karşılaştırması#

İstem Kılavuzlu Maske Çözücü#

Tüm Hattın Karşılaştırması#

MobileSAM ve orijinal SAM'in performansı, hem nokta hem de kutu istemleri kullanılarak aşağıda gösterilmektedir.

MobileSAM, FastSAM'e kıyasla yaklaşık 7 kat daha küçük ve 5 kat daha hızlıdır. Daha fazla ayrıntı için MobileSAM project page adresini ziyaret edin.

Ultralytics'te MobileSAM Testi#

Orijinal SAM gibi Ultralytics de hem Nokta (Point) hem de Kutu (Box) istemlerini destekleyen, MobileSAM'i test etmek için basit bir arayüz sağlar.

Model İndirme#

MobileSAM önceden eğitilmiş ağırlıklarını Ultralytics assets adresinden indirin.

Nokta İstemi#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Kutu İstemi#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Hem MobileSAM hem de SAM aynı API'yi paylaşır. Daha fazla kullanım ayrıntısı için SAM documentation sayfasına bakın.

Bir Algılama Modeli Kullanarak Otomatik Olarak Segmentasyon Veri Kümeleri Oluşturma#

Ultralytics çerçevesi ile veriseti açıklama işlemlerini otomatik olarak gerçekleştirmek için aşağıda gösterildiği gibi auto_annotate fonksiyonunu kullanın:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Alıntılar ve Teşekkür#

MobileSAM araştırman veya geliştirmende faydalı olursa, lütfen aşağıdaki makaleyi alıntılamayı düşün:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Eksiksiz MobileSAM paper on arXiv makalesini okuyun.

SSS#