Segment Anything mobile (MobileSAM)#

MobileSAM è un modello compatto ed efficiente per la segmentazione delle immagini, progettato appositamente per dispositivi mobili ed edge. Progettato per portare la potenza del modello Segment Anything di Meta (SAM) in ambienti con risorse di calcolo limitate, MobileSAM offre una segmentazione quasi istantanea mantenendo la compatibilità con la pipeline SAM originale. Che tu stia sviluppando applicazioni in tempo reale o implementazioni leggere, MobileSAM fornisce risultati di segmentazione notevoli con una frazione delle dimensioni e dei requisiti di velocità dei suoi predecessori.

MobileSAM è stato adottato in diversi progetti, tra cui Grounding-SAM, AnyLabeling e Segment Anything in 3D.

MobileSAM è stato addestrato su una singola GPU utilizzando un set di dati di 100k immagini (l'1% delle immagini originali) in meno di un giorno.

Modelli disponibili, attività supportate e modalità operative#

La tabella seguente illustra il modello MobileSAM disponibile, i relativi pesi preaddestrati, le attività supportate e la compatibilità con diverse modalità operative, come Inferenza, Validazione, Addestramento ed Esportazione. Le modalità supportate sono indicate con ✅, mentre quelle non supportate con ❌.

Confronto tra MobileSAM e YOLO#

Il confronto seguente evidenzia le differenze tra le varianti SAM di Meta, MobileSAM e i modelli di segmentazione Ultralytics, incluso YOLO26n-seg:

Questo confronto dimostra le notevoli differenze in termini di dimensioni e velocità del modello tra le varianti SAM e i modelli di segmentazione YOLO. Sebbene i modelli SAM offrano funzionalità uniche di segmentazione automatica, i modelli YOLO, in particolare YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, sono significativamente più piccoli, veloci ed efficienti dal punto di vista computazionale.

Le velocità di SAM sono state misurate con PyTorch, mentre quelle di YOLO sono state misurate con ONNX Runtime. I test sono stati eseguiti su un Apple M4 Air del 2025 con 16 GB di RAM utilizzando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Per riprodurre questi risultati:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Adattamento da SAM a MobileSAM#

MobileSAM mantiene la stessa pipeline del modello SAM originale, inclusi pre-processing, post-processing e tutte le interfacce. Questo significa che puoi passare da SAM a MobileSAM con modifiche minime al tuo workflow.

La differenza principale è l'encoder delle immagini: MobileSAM sostituisce l'encoder ViT-H originale (637 milioni di parametri) con un encoder Tiny-ViT molto più piccolo (5 milioni di parametri). Su una singola GPU, MobileSAM elabora un'immagine in circa 12 ms (8 ms per l'encoder, 4 ms per il decoder delle maschere).

Confronto tra encoder delle immagini basati su ViT#

Decoder delle maschere guidato da prompt#

Confronto dell'intera pipeline#

Le prestazioni di MobileSAM e del SAM originale sono illustrate di seguito utilizzando prompt di tipo punto e riquadro.

MobileSAM è circa 7 volte più piccolo e 5 volte più veloce di FastSAM. Per ulteriori dettagli, visita la pagina del progetto MobileSAM.

Testare MobileSAM in Ultralytics#

Proprio come per il SAM originale, Ultralytics offre un'interfaccia semplice per testare MobileSAM, con supporto per prompt di tipo punto e riquadro.

Download del modello#

Scarica i pesi preaddestrati di MobileSAM dagli asset di Ultralytics.

Prompt punto#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt riquadro#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM e SAM condividono la stessa API. Per ulteriori dettagli sull'utilizzo, consulta la documentazione di SAM.

Creare automaticamente dataset di segmentazione utilizzando un modello di rilevamento#

Per annotare automaticamente il tuo dataset con il framework Ultralytics, utilizza la funzione auto_annotate come mostrato di seguito:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citazioni e ringraziamenti#

Se MobileSAM è utile per la tua ricerca o il tuo sviluppo, valuta la possibilità di citare il seguente articolo:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Leggi l'articolo completo su MobileSAM su arXiv.

FAQ#