Mobile Segment Anything (MobileSAM)#

MobileSAM è un modello di segmentazione di immagini compatto ed efficiente, creato appositamente per dispositivi mobili ed edge. Progettato per portare la potenza del Segment Anything Model (SAM) di Meta in ambienti con risorse di calcolo limitate, MobileSAM offre una segmentazione quasi istantanea mantenendo la compatibilità con la pipeline originale di SAM. Che tu stia sviluppando applicazioni in tempo reale o distribuzioni leggere, MobileSAM garantisce risultati di segmentazione impressionanti con una frazione dei requisiti di dimensioni e velocità dei suoi predecessori.

MobileSAM è stato adottato in vari progetti, tra cui Grounding-SAM, AnyLabeling e Segment Anything in 3D.

MobileSAM è stato addestrato su una singola GPU utilizzando un dataset di 100k immagini (l'1% delle immagini originali) in meno di un giorno. Il codice di addestramento verrà rilasciato in futuro.

Modelli disponibili, attività supportate e modalità operative#

La tabella seguente elenca il modello MobileSAM disponibile, i suoi pesi pre-addestrati, i task supportati e la compatibilità con diverse modalità operative come Inference, Validation, Training ed Export. Le modalità supportate sono indicate da ✅ e quelle non supportate da ❌.

Confronto MobileSAM vs YOLO#

Il seguente confronto evidenzia le differenze tra le varianti SAM di Meta, MobileSAM e i modelli di segmentazione Ultralytics, incluso YOLO26n-seg:

Questo confronto dimostra le sostanziali differenze nelle dimensioni e nella velocità del modello tra le varianti SAM e i modelli di segmentazione YOLO. Mentre i modelli SAM offrono capacità di segmentazione automatica uniche, i modelli YOLO—specialmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg—sono significativamente più piccoli, più veloci e più efficienti dal punto di vista computazionale.

Velocità di SAM misurate con PyTorch, velocità di YOLO misurate con ONNX Runtime. Test eseguiti su un Apple M4 Air del 2025 con 16GB di RAM utilizzando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Per riprodurre questi risultati:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Adattamento da SAM a MobileSAM#

MobileSAM mantiene la stessa pipeline del SAM originale, inclusi pre-elaborazione, post-elaborazione e tutte le interfacce. Ciò significa che puoi passare da SAM a MobileSAM con modifiche minime al tuo flusso di lavoro.

La differenza principale è l'encoder dell'immagine: MobileSAM sostituisce l'encoder originale ViT-H (637M parametri) con un encoder Tiny-ViT molto più piccolo (5M parametri). Su una singola GPU, MobileSAM elabora un'immagine in circa 12ms (8ms per l'encoder, 4ms per il decoder delle maschere).

Confronto Encoder Immagini Basato su ViT#

Decodificatore di Maschere Guidato da Prompt#

Confronto Intera Pipeline#

Le prestazioni di MobileSAM e del SAM originale sono illustrate di seguito utilizzando sia prompt di tipo punto che di tipo riquadro.

MobileSAM è circa 7 volte più piccolo e 5 volte più veloce di FastSAM. Per ulteriori dettagli, visita la MobileSAM project page.

Testare MobileSAM in Ultralytics#

Proprio come il SAM originale, Ultralytics fornisce una semplice interfaccia per testare MobileSAM, supportando prompt sia a punto che a riquadro.

Download del Modello#

Scarica i pesi pre-addestrati di MobileSAM da Ultralytics assets.

Prompt Punto#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt Riquadro#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Sia MobileSAM che SAM condividono la stessa API. Per maggiori dettagli sull'utilizzo, consulta la SAM documentation.

Costruisci Automaticamente Dataset di Segmentazione Usando un Modello di Rilevamento#

Per annotare automaticamente il tuo dataset con il framework Ultralytics, usa la funzione auto_annotate come mostrato di seguito:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citazioni e riconoscimenti#

Se MobileSAM ti è utile nella tua ricerca o sviluppo, ti preghiamo di considerare di citare il seguente paper:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Leggi il MobileSAM paper on arXiv completo.

FAQ#