Segment Anything Model (SAM)#

Bienvenue à la pointe de la segmentation d'images avec le Segment Anything Model, ou SAM. Ce modèle révolutionnaire a changé la donne en introduisant la segmentation d'images guidée par des invites avec des performances en temps réel, établissant de nouvelles normes dans le domaine.

Introduction à SAM : Le Segment Anything Model#

Le Segment Anything Model, ou SAM, est un modèle de segmentation d'image de pointe qui permet une segmentation sollicitable, offrant une polyvalence inégalée dans les tâches d'analyse d'image. SAM constitue le cœur de l'initiative Segment Anything, un projet révolutionnaire qui introduit un nouveau modèle, une nouvelle tâche et un nouveau jeu de données pour la segmentation d'image.

La conception avancée de SAM lui permet de s'adapter à de nouvelles distributions d'images et à de nouvelles tâches sans connaissances préalables, une fonctionnalité connue sous le nom de transfert zero-shot. Entraîné sur le vaste jeu de données SA-1B, qui contient plus d'un milliard de masques répartis sur 11 millions d'images soigneusement sélectionnées, SAM a affiché des performances zero-shot impressionnantes, surpassant les précédents résultats entièrement supervisés dans de nombreux cas.

Images d'exemple SA-1B. Images du jeu de données superposées avec des masques du jeu de données SA-1B nouvellement introduit. SA-1B contient 11 millions d'images diverses, haute résolution, sous licence et protégeant la vie privée, ainsi que 1,1 milliard de masques de segmentation de haute qualité. Ces masques ont été annotés de manière entièrement automatique par SAM et, comme l'ont vérifié des évaluations humaines et de nombreuses expériences, sont d'une haute qualité et diversité. Les images sont regroupées par nombre de masques par image pour la visualisation (il y a environ 100 masques par image en moyenne).

Fonctionnalités clés du Segment Anything Model (SAM)#

• Tâche de segmentation sollicitable : SAM a été conçu avec une tâche de segmentation sollicitable à l'esprit, lui permettant de générer des masques de segmentation valides à partir de n'importe quelle invite donnée, telle que des indices spatiaux ou textuels identifiant un objet.
• Architecture avancée : Le Segment Anything Model utilise un encodeur d'image puissant, un encodeur d'invite et un décodeur de masque léger. Cette architecture unique permet une sollicitation flexible, un calcul de masque en temps réel et une sensibilisation à l'ambiguïté dans les tâches de segmentation.
• Le jeu de données SA-1B : Introduit par le projet Segment Anything, le jeu de données SA-1B présente plus d'un milliard de masques sur 11 millions d'images. En tant que plus grand jeu de données de segmentation à ce jour, il fournit à SAM une source de données d'entraînement diversifiée et à grande échelle.
• Performances zero-shot : SAM présente des performances zero-shot exceptionnelles sur diverses tâches de segmentation, ce qui en fait un outil prêt à l'emploi pour diverses applications avec un besoin minimal de prompt engineering.

Pour un aperçu approfondi du Segment Anything Model et du jeu de données SA-1B, visite le Segment Anything GitHub et consulte l'article de recherche Segment Anything.

Modèles disponibles, tâches prises en charge et modes de fonctionnement#

Ce tableau présente les modèles disponibles avec leurs poids pré-entraînés spécifiques, les tâches qu'ils prennent en charge et leur compatibilité avec différents modes de fonctionnement tels que l'Inference, la Validation, l'Training et l'Export, indiqués par des emojis ✅ pour les modes pris en charge et des emojis ❌ pour les modes non pris en charge.

Comment utiliser SAM : Polyvalence et puissance dans la segmentation d'image#

Le Segment Anything Model peut être utilisé pour une multitude de tâches en aval qui vont au-delà de ses données d'entraînement. Cela inclut la détection des contours, la génération de propositions d'objets, la segmentation d'instances et la prédiction préliminaire texte-masque. Grâce au prompt engineering, SAM peut s'adapter rapidement à de nouvelles tâches et à de nouvelles distributions de données de manière zero-shot, s'imposant comme un outil polyvalent et puissant pour tous tes besoins de segmentation d'images.

Exemple de prédiction SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• La logique ici est de segmenter toute l'image si tu ne passes aucune invite (bbox/points/masques).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Pour plus d'arguments supplémentaires pour Segment everything, consulte la Référence Predictor/generate.

Comparaison de SAM vs YOLO#

Nous comparons ici le modèle SAM-b de Meta avec les modèles de segmentation Ultralytics, y compris YOLO26n-seg :

Cette comparaison démontre les différences substantielles de tailles et de vitesses de modèle entre les variantes de SAM et les modèles de segmentation YOLO. Bien que SAM offre des capacités de segmentation automatique uniques, les modèles YOLO, en particulier YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg, sont nettement plus petits, plus rapides et plus efficaces sur le plan informatique.

Vitesses SAM mesurées avec PyTorch, vitesses YOLO mesurées avec ONNX Runtime. Tests exécutés sur un Apple M4 Air de 2025 avec 16 Go de RAM en utilisant torch==2.10.0, ultralytics==8.4.31 et onnxruntime==1.24.4. Pour reproduire ce test :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Auto-Annotation : Un chemin rapide vers les jeux de données de segmentation#

L'annotation automatique est une fonctionnalité clé de SAM, permettant aux utilisateurs de générer un jeu de données de segmentation à l'aide d'un modèle de détection pré-entraîné. Cette fonctionnalité permet une annotation rapide et précise d'un grand nombre d'images, évitant ainsi un étiquetage manuel fastidieux.

Génère ton jeu de données de segmentation en utilisant un modèle de détection#

Pour annoter automatiquement ton jeu de données avec le framework Ultralytics, utilise la fonction auto_annotate comme indiqué ci-dessous :

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

La fonction auto_annotate prend le chemin de tes images, avec des arguments optionnels pour spécifier les modèles de détection pré-entraîné et de segmentation SAM, le dispositif sur lequel exécuter les modèles et le répertoire de sortie pour enregistrer les résultats annotés.

L'auto-annotation avec des modèles pré-entraînés peut réduire considérablement le temps et les efforts nécessaires pour créer des jeux de données de segmentation de haute qualité. Cette fonctionnalité est particulièrement avantageuse pour les chercheurs et développeurs traitant de grandes collections d'images, car elle leur permet de se concentrer sur le développement et l'évaluation du modèle plutôt que sur l'annotation manuelle.

Citations et remerciements#

Si SAM t'est utile dans tes travaux de recherche ou de développement, pense à citer notre article :

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous tenons à exprimer notre gratitude à Meta AI pour la création et la maintenance de cette ressource précieuse pour la communauté de la computer vision.

FAQ#