Mobil Her Şeyi Segmentle (MobileSAM)#

MobileSAM, mobil ve uç cihazlar için özel olarak tasarlanmış kompakt ve verimli bir görüntü segmentasyonu modelidir. Meta'nın Her Şeyi Segmentle Modeli'nin (SAM) gücünü sınırlı hesaplama kaynaklarına sahip ortamlara taşımak için tasarlanan MobileSAM, orijinal SAM işlem hattıyla uyumluluğunu korurken neredeyse anında segmentasyon sağlar. İster gerçek zamanlı uygulamalar geliştiriyor ister hafif dağıtımlar gerçekleştiriyor ol, MobileSAM önceki modellerinin boyut ve hız gereksinimlerinin çok küçük bir kısmıyla etkileyici segmentasyon sonuçları sunar.

MobileSAM, Grounding-SAM, AnyLabeling ve Segment Anything in 3D dahil olmak üzere çeşitli projelerde kullanılmıştır.

MobileSAM, tek bir GPU üzerinde 100 bin görüntülük bir veri kümesi (orijinal görüntülerin %1'i) kullanılarak bir günden kısa sürede eğitildi.

Kullanılabilir Modeller, Desteklenen Görevler ve Çalışma Modları#

Aşağıdaki tablo, kullanılabilir MobileSAM modelini, önceden eğitilmiş ağırlıklarını, desteklenen görevleri ve Çıkarım, Doğrulama, Eğitim ve Dışa Aktarma gibi farklı çalışma modlarıyla uyumluluğunu gösterir. Desteklenen modlar ✅, desteklenmeyen modlar ise ❌ ile belirtilmiştir.

MobileSAM ve YOLO Karşılaştırması#

Aşağıdaki karşılaştırma, Meta'nın SAM varyantları, MobileSAM ve YOLO26n-seg dahil Ultralytics segmentasyon modelleri arasındaki farkları vurgular:

Bu karşılaştırma, SAM varyantları ile YOLO segmentasyon modelleri arasındaki model boyutu ve hız farklarının oldukça büyük olduğunu gösterir. SAM modelleri benzersiz otomatik segmentasyon yetenekleri sunarken, YOLO modelleri —özellikle YOLOv8n-seg, YOLO11n-seg ve YOLO26n-seg— önemli ölçüde daha küçük, daha hızlı ve hesaplama açısından daha verimlidir.

SAM hızları PyTorch, YOLO hızları ise ONNX Runtime kullanılarak ölçülmüştür. Testler, torch==2.10.0, ultralytics==8.4.31 ve onnxruntime==1.24.4 kullanılarak 16 GB RAM'e sahip 2025 Apple M4 Air üzerinde gerçekleştirilmiştir. Bu sonuçları yeniden oluşturmak için:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

SAM'den MobileSAM'e Geçiş#

MobileSAM, ön işleme, son işleme ve tüm arayüzler dahil olmak üzere orijinal SAM ile aynı işlem hattını korur. Bu, iş akışında yalnızca minimum değişikliklerle SAM'den MobileSAM'e geçebileceğin anlamına gelir.

Temel fark görüntü kodlayıcıdır: MobileSAM, orijinal ViT-H kodlayıcıyı (637 milyon parametre) çok daha küçük bir Tiny-ViT kodlayıcıyla (5 milyon parametre) değiştirir. MobileSAM, tek bir GPU üzerinde bir görüntüyü yaklaşık 12 ms'de işler (kodlayıcı için 8 ms, maske kod çözücü için 4 ms).

ViT Tabanlı Görüntü Kodlayıcı Karşılaştırması#

İstem Kılavuzlu Maske Kod Çözücü#

Tüm İşlem Hattı Karşılaştırması#

MobileSAM ve orijinal SAM'in performansı, hem nokta hem de kutu istemleri kullanılarak aşağıda gösterilmiştir.

MobileSAM, FastSAM'den yaklaşık 7 kat daha küçük ve 5 kat daha hızlıdır. Daha fazla bilgi için MobileSAM proje sayfasını ziyaret et.

Ultralytics'te MobileSAM'i Test Etme#

Tıpkı orijinal SAM gibi Ultralytics, hem Nokta hem de Kutu istemlerini destekleyen MobileSAM'i test etmek için basit bir arayüz sağlar.

Modeli İndirme#

MobileSAM'in önceden eğitilmiş ağırlıklarını Ultralytics varlıklarından indir.

Nokta İstemi#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Kutu İstemi#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Hem MobileSAM hem de SAM aynı API'yi paylaşır. Daha fazla kullanım ayrıntısı için SAM belgelerine bak.

Algılama Modeli Kullanarak Segmentasyon Veri Kümelerini Otomatik Olarak Oluşturma#

Ultralytics çerçevesiyle veri kümeni otomatik olarak açıklamak için aşağıda gösterildiği gibi auto_annotate işlevini kullan:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Atıflar ve Teşekkürler#

MobileSAM araştırmanda veya geliştirme çalışmalarında faydalı olduysa aşağıdaki makaleye atıf yapmayı düşün:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

ArXiv'deki MobileSAM makalesinin tamamını oku.

SSS#