Mobile Segment Anything (MobileSAM)#

MobileSAM est un modèle compact et efficace de segmentation d’images, spécialement conçu pour les appareils mobiles et périphériques. Pensé pour apporter la puissance du modèle de segmentation universelle de Meta (SAM) aux environnements disposant de capacités de calcul limitées, MobileSAM réalise une segmentation presque instantanée tout en restant compatible avec le pipeline SAM d’origine. Que tu développes des applications en temps réel ou des déploiements légers, MobileSAM fournit des résultats de segmentation impressionnants avec des besoins en taille et en vitesse bien inférieurs à ceux de ses prédécesseurs.

MobileSAM a été adopté dans plusieurs projets, notamment Grounding-SAM, AnyLabeling et Segment Anything in 3D.

MobileSAM a été entraîné sur un seul GPU à l’aide d’un jeu de données de 100 000 images (1 % des images d’origine), en moins d’une journée.

Modèles disponibles, tâches prises en charge et modes de fonctionnement#

Le tableau ci-dessous présente le modèle MobileSAM disponible, ses poids préentraînés, les tâches prises en charge et sa compatibilité avec différents modes de fonctionnement, tels que l’inférence, la validation, l’entraînement et l’exportation. Les modes pris en charge sont indiqués par ✅ et les modes non pris en charge par ❌.

Comparaison de MobileSAM et YOLO#

La comparaison suivante met en évidence les différences entre les variantes SAM de Meta, MobileSAM et les modèles de segmentation Ultralytics, notamment YOLO26n-seg :

Cette comparaison met en évidence les différences considérables de taille et de vitesse entre les variantes de SAM et les modèles de segmentation YOLO. Si les modèles SAM offrent des capacités uniques de segmentation automatique, les modèles YOLO — en particulier YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg — sont nettement plus petits, plus rapides et plus économes en ressources de calcul.

Vitesses de SAM mesurées avec PyTorch, vitesses de YOLO mesurées avec ONNX Runtime. Tests effectués sur un Apple M4 Air de 2025 avec 16 Go de RAM à l’aide de torch==2.10.0, ultralytics==8.4.31 et onnxruntime==1.24.4. Pour reproduire ces résultats :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profiler SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profiler FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profiler les modèles YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Tête sans NMS de YOLO26 ; sans effet pour YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Passer de SAM à MobileSAM#

MobileSAM conserve le même pipeline que SAM d’origine, y compris le prétraitement, le post-traitement et toutes les interfaces. Tu peux donc passer de SAM à MobileSAM en apportant un minimum de modifications à ton workflow.

La principale différence concerne l’encodeur d’image : MobileSAM remplace l’encodeur ViT-H d’origine (637 M de paramètres) par un encodeur Tiny-ViT beaucoup plus petit (5 M de paramètres). Sur un seul GPU, MobileSAM traite une image en environ 12 ms (8 ms pour l’encodeur et 4 ms pour le décodeur de masques).

Comparaison des encodeurs d’image basés sur ViT#

Décodeur de masques guidé par des prompts#

Comparaison du pipeline complet#

Les performances de MobileSAM et du SAM d’origine sont illustrées ci-dessous à l’aide de prompts de points et de boîtes.

MobileSAM est environ 7 fois plus petit et 5 fois plus rapide que FastSAM. Pour en savoir plus, consulte la page du projet MobileSAM.

Tester MobileSAM dans Ultralytics#

Comme pour SAM d’origine, Ultralytics propose une interface simple pour tester MobileSAM, avec prise en charge des prompts Point et Box.

Télécharger le modèle#

Télécharge les poids préentraînés de MobileSAM depuis les ressources Ultralytics.

Prompt de point#

from ultralytics import SAM

# Charger le modèle
model = SAM("mobile_sam.pt")

# Prédire un segment à partir d’un prompt de point unique
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Prédire plusieurs segments à partir de plusieurs prompts de points
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Prédire un segment à partir de plusieurs prompts de points par objet
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Prédire un segment à l’aide de prompts positifs et négatifs.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt de boîte#

from ultralytics import SAM

# Charger le modèle
model = SAM("mobile_sam.pt")

# Prédire un segment à partir d’un prompt de boîte unique
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Prédire plusieurs segments à partir de plusieurs prompts de boîtes
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM et SAM utilisent la même API. Pour en savoir plus sur leur utilisation, consulte la documentation de SAM.

Créer automatiquement des jeux de données de segmentation à l’aide d’un modèle de détection#

Pour annoter automatiquement ton jeu de données avec le framework Ultralytics, utilise la fonction auto_annotate comme indiqué ci-dessous :

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citations et remerciements#

Si MobileSAM t’est utile dans tes travaux de recherche ou de développement, pense à citer l’article suivant :

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lis l’article complet sur MobileSAM sur arXiv.

FAQ#