Segmentation mobile de tout (MobileSAM)#

MobileSAM est un modèle compact et efficace de segmentation d'images, spécialement conçu pour les appareils mobiles et périphériques. Conçu pour apporter la puissance du modèle Segment Anything de Meta (SAM) aux environnements disposant de ressources de calcul limitées, MobileSAM fournit une segmentation quasi instantanée tout en restant compatible avec le pipeline SAM d'origine. Que tu développes des applications en temps réel ou des déploiements légers, MobileSAM fournit des résultats de segmentation impressionnants avec une fraction de la taille et des exigences de vitesse de ses prédécesseurs.

MobileSAM a été adopté dans divers projets, notamment Grounding-SAM, AnyLabeling et Segment Anything in 3D.

MobileSAM a été entraîné sur un seul GPU en utilisant un jeu de données de 100k images (1% des images d'origine) en moins d'une journée.

Modèles disponibles, tâches prises en charge et modes de fonctionnement#

Le tableau ci-dessous présente le modèle MobileSAM disponible, ses poids préentraînés, les tâches prises en charge et sa compatibilité avec différents modes de fonctionnement tels que Inférence, Validation, Entraînement et Exportation. Les modes pris en charge sont indiqués par ✅ et les modes non pris en charge par ❌.

Comparaison de MobileSAM avec YOLO#

La comparaison suivante met en évidence les différences entre les variantes SAM de Meta, MobileSAM et les modèles de segmentation Ultralytics, notamment YOLO26n-seg :

Cette comparaison montre les différences considérables de taille et de vitesse entre les variantes SAM et les modèles de segmentation YOLO. Si les modèles SAM offrent des capacités uniques de segmentation automatique, les modèles YOLO, en particulier YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg, sont nettement plus petits, plus rapides et plus efficaces en termes de calcul.

Les vitesses de SAM ont été mesurées avec PyTorch et celles de YOLO avec ONNX Runtime. Les tests ont été effectués sur un Apple M4 Air de 2025 doté de 16 Go de RAM, avec torch==2.10.0, ultralytics==8.4.31 et onnxruntime==1.24.4. Pour reproduire ces résultats :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Passer de SAM à MobileSAM#

MobileSAM conserve le même pipeline que le SAM d'origine, notamment le prétraitement, le post-traitement et toutes les interfaces. Tu peux donc passer de SAM à MobileSAM en apportant un minimum de modifications à ton workflow.

La principale différence réside dans l'encodeur d'images : MobileSAM remplace l'encodeur ViT-H d'origine (637 millions de paramètres) par un encodeur Tiny-ViT beaucoup plus petit (5 millions de paramètres). Sur un seul GPU, MobileSAM traite une image en environ 12 ms (8 ms pour l'encodeur, 4 ms pour le décodeur de masques).

Comparaison des encodeurs d'images basés sur ViT#

Décodeur de masques guidé par invite#

Comparaison de l'ensemble du pipeline#

Les performances de MobileSAM et du SAM d'origine sont illustrées ci-dessous à l'aide d'invites de points et de boîtes.

MobileSAM est environ 7 fois plus petit et 5 fois plus rapide que FastSAM. Pour plus de détails, consulte la page du projet MobileSAM.

Tester MobileSAM dans Ultralytics#

Tout comme le SAM d'origine, Ultralytics fournit une interface simple pour tester MobileSAM, prenant en charge les invites de points et de boîtes.

Téléchargement du modèle#

Télécharge les poids préentraînés de MobileSAM depuis les ressources Ultralytics.

Invite de point#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Invite de boîte#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM et SAM utilisent la même API. Pour plus de détails sur l'utilisation, consulte la documentation SAM.

Créer automatiquement des jeux de données de segmentation à l'aide d'un modèle de détection#

Pour annoter automatiquement ton jeu de données avec le framework Ultralytics, utilise la fonction auto_annotate comme indiqué ci-dessous :

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citations et remerciements#

Si MobileSAM est utile à tes travaux de recherche ou de développement, pense à citer l'article suivant :

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lis l'article complet sur MobileSAM publié sur arXiv.

FAQ#