Mobile Segment Anything (MobileSAM)

L'article MobileSAM est maintenant disponible sur arXiv.

Une démonstration de l'exécution de MobileSAM sur CPU est accessible sur ce lien de démonstration. La performance sur un Mac i5 CPU prend environ 3 secondes. Sur la démonstration Hugging Face , l'interface et les unités centrales moins performantes contribuent à une réponse plus lente, mais elle continue à fonctionner efficacement.

Regarder : Comment exécuter une inférence avec MobileSAM en utilisant Ultralytics | Guide étape par étape 🎉

MobileSAM est mis en œuvre dans divers projets, notamment Grounding-SAM, AnyLabeling et Segment Anything in 3D.

MobileSAM est entraîné sur un seul site GPU avec un ensemble de données de 100 000 images (1 % des images originales) en moins d'une journée. Le code de cet entraînement sera mis à disposition ultérieurement.

Modèles disponibles, tâches prises en charge et modes de fonctionnement

Ce tableau présente les modèles disponibles avec leurs poids pré-entraînés spécifiques, les tâches qu'ils prennent en charge et leur compatibilité avec différents modes de fonctionnement tels que l'inférence, la validation, l'entraînement et l'exportation, indiqués par des émojis ✅ pour les modes pris en charge et des émojis ❌ pour les modes non pris en charge.

Adaptation de SAM à MobileSAM

Étant donné que MobileSAM conserve le même pipeline que l'original SAM, nous avons incorporé le prétraitement, le post-traitement et toutes les autres interfaces de l'original. Par conséquent, ceux qui utilisent actuellement l'original SAM peuvent passer à MobileSAM avec un minimum d'effort.

MobileSAM a des performances comparables à celles de l'original SAM et conserve le même pipeline, à l'exception d'un changement dans le codeur d'image. Plus précisément, nous remplaçons le lourd encodeur ViT-H original (632M) par un encodeur Tiny-ViT plus petit (5M). Sur un seul site GPU, MobileSAM fonctionne à une vitesse d'environ 12 ms par image : 8 ms pour le codeur d'image et 4 ms pour le décodeur de masque.

Le tableau suivant présente une comparaison des encodeurs d'images basés sur le ViT :

L'original SAM et MobileSAM utilisent tous deux le même décodeur de masque guidé par une invite :

Voici la comparaison de l'ensemble de la filière :

Les performances de MobileSAM et de l'original SAM sont démontrées en utilisant un point et une boîte comme invites.

Grâce à ses performances supérieures, MobileSAM est environ 5 fois plus petit et 7 fois plus rapide que l'actuel FastSAM. Plus de détails sont disponibles sur la page du projetMobileSAM .

Tester MobileSAM dans Ultralytics

Tout comme l'original SAM, nous offrons une méthode de test simple dans Ultralytics, y compris des modes pour les invites de type Point et Box.

Modèle à télécharger

Vous pouvez télécharger le modèle ici.

Invitation à la discussion

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box Prompt

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict mutiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Nous avons mis en œuvre MobileSAM et SAM en utilisant la même API. Pour plus d'informations sur l'utilisation, veuillez consulter la page SAM page.

Citations et remerciements

Si vous trouvez MobileSAM utile dans votre travail de recherche ou de développement, pensez à citer notre article :

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

FAQ

Qu'est-ce que MobileSAM et en quoi diffère-t-il du modèle original SAM ?

MobileSAM est un modèle de segmentation d'image léger et rapide conçu pour les applications mobiles. Il conserve le même pipeline que l'original SAM mais remplace le lourd encodeur ViT-H (632 millions de paramètres) par un encodeur Tiny-ViT plus petit (5 millions de paramètres). Ce changement permet à MobileSAM d'être environ 5 fois plus petit et 7 fois plus rapide que l'original SAM. Par exemple, MobileSAM fonctionne à une vitesse d'environ 12 ms par image, contre 456 ms pour l'original SAM. Pour en savoir plus sur la mise en œuvre de MobileSAM dans divers projets , cliquez ici.

Comment puis-je tester MobileSAM en utilisant Ultralytics?

Le test de MobileSAM dans Ultralytics peut être réalisé par des méthodes simples. Vous pouvez utiliser les invites Point et Box pour prédire les segments. Voici un exemple utilisant une invite de type Point :

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

Vous pouvez également vous référer à la section Test de MobileSAM pour plus de détails.

Pourquoi devrais-je utiliser MobileSAM pour mon application mobile ?

MobileSAM est idéal pour les applications mobiles en raison de son architecture légère et de sa vitesse d'inférence. Par rapport à l'original SAM, MobileSAM est environ 5 fois plus petit et 7 fois plus rapide, ce qui le rend adapté aux environnements où les ressources informatiques sont limitées. Cette efficacité garantit que les appareils mobiles peuvent effectuer une segmentation d'image en temps réel sans latence significative. En outre, les modèles de MobileSAM, tels que Inference, sont optimisés pour les performances mobiles.

Comment MobileSAM a-t-il été formé et le code de formation est-il disponible ?

MobileSAM a été entraîné sur un seul site GPU avec un ensemble de données de 100 000 images, soit 1 % des images originales, en moins d'une journée. Le code d'entraînement sera disponible à l'avenir, mais vous pouvez actuellement explorer d'autres aspects de MobileSAM dans le dépôt GitHub MobileSAM . Ce dépôt comprend des poids pré-entraînés et des détails de mise en œuvre pour diverses applications.

Quels sont les principaux cas d'utilisation de MobileSAM?

MobileSAM est conçu pour une segmentation rapide et efficace des images dans les environnements mobiles. Les principaux cas d'utilisation sont les suivants :

• Détection et segmentation d'objets en temps réel pour les applications mobiles.
• Traitement d'images à faible latence dans des appareils aux ressources informatiques limitées.
• Intégration dans les applications mobiles pilotées par l'IA pour des tâches telles que la réalité augmentée (AR) et l'analyse en temps réel.

Pour des cas d'utilisation plus détaillés et des comparaisons de performances, voir la section Adaptation de SAM à MobileSAM.

📅C réé il y a 1 an ✏️ Mis à jour il y a 2 mois

Commentaires