Modèle de segmentation universelle (SAM)#

Découvre les possibilités de la segmentation d’images avec le modèle de segmentation universelle, ou SAM. Ce modèle révolutionnaire a changé la donne en introduisant la segmentation d’images guidée par des invites avec des performances en temps réel, établissant ainsi de nouvelles normes dans ce domaine.

Présentation de SAM : le modèle de segmentation universelle#

Le modèle de segmentation universelle, ou SAM, est un modèle de segmentation d’images de pointe qui permet une segmentation guidée par des invites et offre une polyvalence inégalée pour les tâches d’analyse d’images. SAM est au cœur de l’initiative Segment Anything, un projet novateur qui introduit un nouveau modèle, une nouvelle tâche et un nouveau jeu de données pour la segmentation d’images.

La conception avancée de SAM lui permet de s’adapter à de nouvelles distributions d’images et à de nouvelles tâches sans connaissances préalables, une caractéristique appelée transfert zero-shot. Entraîné sur le vaste jeu de données SA-1B, qui contient plus d’un milliard de masques répartis sur 11 millions d’images soigneusement sélectionnées, SAM a affiché d’impressionnantes performances zero-shot, dépassant dans de nombreux cas les résultats précédents obtenus avec un apprentissage entièrement supervisé.

Exemples d’images SA-1B. Masques superposés aux images du jeu de données SA-1B récemment présenté. SA-1B contient 11 M d’images variées, haute résolution, sous licence et respectueuses de la vie privée, ainsi que 1,1 milliard de masques de segmentation de haute qualité. SAM a entièrement annoté ces masques automatiquement. Les évaluations humaines et de nombreuses expériences ont confirmé leur grande qualité et leur diversité. Pour la visualisation, les images sont regroupées selon le nombre de masques par image (en moyenne, il y a ∼100 masques par image).

Principales fonctionnalités du modèle de segmentation universelle (SAM)#

• Tâche de segmentation guidée par des invites : SAM a été conçu pour effectuer des tâches de segmentation guidées par des invites. Il peut ainsi générer des masques de segmentation valides à partir de n’importe quelle invite, comme des indices spatiaux ou textuels permettant d’identifier un objet.
• Architecture avancée : le modèle de segmentation universelle utilise un puissant encodeur d’images, un encodeur d’invites et un décodeur de masques léger. Cette architecture unique permet de formuler des invites de manière flexible, de calculer des masques en temps réel et de prendre en compte les ambiguïtés dans les tâches de segmentation.
• Le jeu de données SA-1B : présenté par le projet Segment Anything, le jeu de données SA-1B contient plus d’un milliard de masques sur 11 millions d’images. Plus grand jeu de données de segmentation à ce jour, il fournit à SAM une source de données d’entraînement vaste et diversifiée.
• Performances zero-shot : SAM affiche d’excellentes performances zero-shot pour diverses tâches de segmentation, ce qui en fait un outil immédiatement utilisable pour de nombreuses applications nécessitant peu d’ingénierie des invites.

Pour en savoir plus sur le modèle de segmentation universelle et le jeu de données SA-1B, consulte le dépôt GitHub Segment Anything et l’article de recherche Segment Anything.

Modèles disponibles, tâches prises en charge et modes de fonctionnement#

Ce tableau présente les modèles disponibles et leurs poids préentraînés, les tâches qu’ils prennent en charge ainsi que leur compatibilité avec différents modes de fonctionnement, tels que l’inférence, la validation, l’entraînement et l’exportation. Les modes pris en charge sont indiqués par l’émoji ✅ et les modes non pris en charge par l’émoji ❌.

Comment utiliser SAM : polyvalence et puissance pour la segmentation d’images#

Le modèle de segmentation universelle peut être utilisé pour de nombreuses tâches en aval qui dépassent le cadre de ses données d’entraînement. Il s’agit notamment de la détection des contours, de la génération de propositions d’objets, de la segmentation d’instances et de la prédiction préliminaire de masques à partir de texte. Grâce à l’ingénierie des invites, SAM peut rapidement s’adapter à de nouvelles tâches et distributions de données en zero-shot, ce qui en fait un outil polyvalent et puissant pour tous tes besoins en segmentation d’images.

Exemple de prédiction avec SAM#

from ultralytics import SAM

# Charger un modèle
model = SAM("sam_b.pt")

# Afficher les informations du modèle (facultatif)
model.info()

# Exécuter l’inférence avec des bboxes comme invite
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Exécuter l’inférence avec un seul point
results = model(points=[900, 370], labels=[1])

# Exécuter l’inférence avec plusieurs points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Exécuter l’inférence avec une invite à plusieurs points par objet
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Exécuter l’inférence avec une invite de points négatifs
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Charger un modèle
model = SAM("sam_b.pt")

# Afficher les informations du modèle (facultatif)
model.info()

# Exécuter l’inférence
model("path/to/image.jpg")

• La logique consiste ici à segmenter l’image entière si tu ne fournis aucune invite (bboxes/points/masques).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Créer SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Définir l’image
predictor.set_image("ultralytics/assets/zidane.jpg")  # Définir le fichier image
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # Définir avec np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Exécuter l’inférence avec une invite à un seul point
results = predictor(points=[900, 370], labels=[1])

# Exécuter l’inférence avec une invite à plusieurs points
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Exécuter l’inférence avec une invite de points négatifs
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Réinitialiser l’image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Créer SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segmenter avec des arguments supplémentaires
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64, min_mask_region_area=100)

• Pour en savoir plus sur les arguments Segment everything, consulte la référence Predictor/generate.

Comparaison de SAM et YOLO#

Nous comparons ici le modèle SAM-b de Meta aux modèles de segmentation Ultralytics, notamment YOLO26n-seg :

Cette comparaison met en évidence les différences considérables de taille et de vitesse entre les variantes de SAM et les modèles de segmentation YOLO. SAM offre des capacités uniques de segmentation automatique, mais les modèles YOLO, en particulier YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg, sont nettement plus petits, plus rapides et plus efficaces sur le plan des calculs.

Les vitesses de SAM ont été mesurées avec PyTorch, et celles de YOLO avec ONNX Runtime. Les tests ont été réalisés sur un Apple M4 Air de 2025 doté de 16 Go de RAM, avec torch==2.10.0, ultralytics==8.4.31 et onnxruntime==1.24.4. Pour reproduire ce test :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Évaluer SAM-b et MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profiler FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profiler les modèles YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Tête sans NMS de YOLO26 ; sans effet pour YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Annotation automatique : une méthode rapide pour créer des jeux de données de segmentation#

L’annotation automatique est une fonctionnalité clé de SAM. Elle permet de générer un jeu de données de segmentation à l’aide d’un modèle de détection préentraîné. Cette fonctionnalité permet d’annoter rapidement et précisément un grand nombre d’images, sans avoir à effectuer un étiquetage manuel chronophage.

Générer un jeu de données de segmentation à l’aide d’un modèle de détection#

Pour annoter automatiquement ton jeu de données avec le framework Ultralytics, utilise la fonction auto_annotate comme indiqué ci-dessous :

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

La fonction auto_annotate prend le chemin d’accès à tes images et accepte des arguments facultatifs pour spécifier les modèles de détection et de segmentation SAM préentraînés, l’appareil sur lequel exécuter les modèles et le répertoire de sortie où enregistrer les résultats annotés.

L’annotation automatique à l’aide de modèles préentraînés peut réduire considérablement le temps et les efforts nécessaires à la création de jeux de données de segmentation de haute qualité. Cette fonctionnalité est particulièrement utile aux chercheurs et aux développeurs qui travaillent sur de grandes collections d’images, car elle leur permet de se concentrer sur le développement et l’évaluation des modèles plutôt que sur l’annotation manuelle.

Citations et remerciements#

Si SAM t’est utile dans tes travaux de recherche ou de développement, pense à citer l’article :

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nous remercions Meta AI d’avoir créé et maintenu cette ressource précieuse pour la communauté de la vision par ordinateur.

FAQ#