Segment Anything per dispositivi mobili (MobileSAM)#

MobileSAM è un modello compatto ed efficiente di segmentazione delle immagini, progettato appositamente per dispositivi mobili ed edge. Pensato per portare la potenza del Modello Segment Anything di Meta (SAM) in ambienti con risorse di calcolo limitate, MobileSAM esegue la segmentazione quasi istantaneamente e mantiene la compatibilità con la pipeline SAM originale. Che tu stia sviluppando applicazioni in tempo reale o implementazioni leggere, MobileSAM offre risultati di segmentazione notevoli con requisiti di dimensioni e velocità ridotti rispetto ai predecessori.

MobileSAM è stato adottato in diversi progetti, tra cui Grounding-SAM, AnyLabeling e Segment Anything in 3D.

MobileSAM è stato addestrato su una singola GPU usando un dataset di 100k immagini (l'1% delle immagini originali) in meno di un giorno.

Modelli disponibili, attività supportate e modalità operative#

La tabella seguente presenta il modello MobileSAM disponibile, i relativi pesi preaddestrati, le attività supportate e la compatibilità con le diverse modalità operative, come Inferenza, Validazione, Addestramento ed Esportazione. ✅ indica le modalità supportate e ❌ quelle non supportate.

Confronto tra MobileSAM e YOLO#

Il confronto seguente evidenzia le differenze tra le varianti SAM di Meta, MobileSAM e i modelli di segmentazione Ultralytics, incluso YOLO26n-seg:

Questo confronto evidenzia le notevoli differenze in termini di dimensioni e velocità tra le varianti SAM e i modelli di segmentazione YOLO. Sebbene i modelli SAM offrano funzionalità uniche di segmentazione automatica, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, veloci ed efficienti dal punto di vista computazionale.

Le velocità di SAM sono state misurate con PyTorch, quelle di YOLO con ONNX Runtime. I test sono stati eseguiti su un Apple M4 Air del 2025 con 16 GB di RAM usando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Per riprodurre questi risultati:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profila SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profilo FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profila i modelli YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Head senza NMS di YOLO26; non fa nulla per YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Passare da SAM a MobileSAM#

MobileSAM mantiene la stessa pipeline di SAM, inclusi pre-elaborazione, post-elaborazione e tutte le interfacce. Ciò significa che puoi passare da SAM a MobileSAM apportando modifiche minime al tuo flusso di lavoro.

La differenza principale è l'encoder delle immagini: MobileSAM sostituisce l'encoder ViT-H originale (637M parametri) con un encoder Tiny-ViT molto più piccolo (5M parametri). Su una singola GPU, MobileSAM elabora un'immagine in circa 12 ms (8 ms per l'encoder, 4 ms per il decodificatore delle maschere).

Confronto tra encoder di immagini basati su ViT#

Decodificatore delle maschere guidato da prompt#

Confronto dell'intera pipeline#

Le prestazioni di MobileSAM e del SAM originale sono illustrate di seguito usando prompt sia puntuali sia basati su riquadri.

MobileSAM è circa 7 volte più piccolo e 5 volte più veloce di FastSAM. Per ulteriori dettagli, visita la pagina del progetto MobileSAM.

Testare MobileSAM in Ultralytics#

Proprio come per SAM, Ultralytics offre un'interfaccia semplice per testare MobileSAM, che supporta prompt puntuali e basati su riquadri.

Download del modello#

Scarica i pesi preaddestrati di MobileSAM dagli asset di Ultralytics.

Prompt puntuale#

from ultralytics import SAM

# Carica il modello
model = SAM("mobile_sam.pt")

# Prevedi un segmento a partire da un singolo prompt puntuale
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Prevedi più segmenti a partire da più prompt puntuali
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Prevedi un segmento per oggetto a partire da più prompt puntuali
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Prevedi un segmento usando prompt positivi e negativi.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt basato su riquadro#

from ultralytics import SAM

# Carica il modello
model = SAM("mobile_sam.pt")

# Prevedi un segmento a partire da un singolo prompt basato su riquadro
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Prevedi più segmenti a partire da più prompt basati su riquadri
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Sia MobileSAM sia SAM condividono la stessa API. Per ulteriori dettagli sull'uso, consulta la documentazione di SAM.

Creare automaticamente dataset di segmentazione usando un modello di rilevamento#

Per annotare automaticamente il tuo dataset con il framework Ultralytics, usa la funzione auto_annotate come mostrato di seguito:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citazioni e ringraziamenti#

Se MobileSAM ti è utile per la tua ricerca o il tuo sviluppo, valuta la possibilità di citare il seguente articolo:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Leggi l'articolo completo MobileSAM su arXiv.

Domande frequenti#