SAM 3 : segmenter n'importe quoi avec des concepts#

SAM 3 (Modèle Segment Anything 3) est le modèle de fondation publié par Meta pour la segmentation de concepts guidée par invite (PCS). S'appuyant sur SAM 2, SAM 3 introduit une capacité fondamentalement nouvelle : détecter, segmenter et suivre toutes les instances d'un concept visuel spécifié par des invites textuelles, des images exemplaires ou les deux. Contrairement aux versions précédentes de SAM, qui segmentent un seul objet par invite, SAM 3 peut trouver et segmenter chaque occurrence d'un concept apparaissant n'importe où dans des images ou des vidéos, conformément aux objectifs de vocabulaire ouvert de la segmentation d'instances moderne.

SAM 3 est entièrement intégré dans le paquet ultralytics, offrant un support natif pour la segmentation de concepts avec des invites textuelles, des invites d'exemples d'images et le suivi vidéo. Le point de contrôle plus récent SAM 3.1 est pris en charge pour la prédiction d'images.

Présentation#

SAM 3 atteint un gain de performance de 2× par rapport aux systèmes existants en segmentation de concepts guidée par invite, tout en conservant et en améliorant les capacités de SAM 2 pour la segmentation visuelle interactive. Le modèle excelle en segmentation à vocabulaire ouvert, ce qui te permet de spécifier des concepts à l'aide de simples groupes nominaux (par exemple, « bus scolaire jaune », « chat tigré ») ou de fournir des images d'exemple de l'objet cible. Ces capacités complètent les pipelines prêts pour la production qui reposent sur des workflows rationalisés de prédiction et de suivi.

Qu'est-ce que la segmentation de concepts guidée par invite (PCS) ?#

La tâche PCS prend en entrée une invite de concept et renvoie des masques de segmentation avec des identités uniques pour toutes les instances d'objets correspondantes. Les invites de concept peuvent être :

• Texte : des groupes nominaux simples comme « pomme rouge » ou « personne portant un chapeau », comme dans l'apprentissage zéro-shot
• Images exemplaires : des BBox autour d'objets d'exemple (positifs ou négatifs) pour une généralisation rapide
• Combinées : le texte et les images exemplaires ensemble pour un contrôle précis

Cela diffère des invites visuelles traditionnelles (points, boîtes, masques), qui segmentent une seule instance d'objet spécifique, comme l'a popularisé la famille SAM originale.

Principales métriques de performance#

Pour comprendre le contexte des métriques des modèles et des compromis en production, consulte les résultats de l'évaluation des modèles et les métriques de performance de YOLO.

SAM 3.1#

SAM 3.1, publié par Meta le 27 mars 2026, est un nouveau point de contrôle SAM 3 qui ajoute Object Multiplex, une approche de mémoire partagée pour le suivi vidéo de plusieurs objets. Au lieu de traiter chaque objet suivi indépendamment, SAM 3.1 regroupe les objets dans des compartiments à capacité fixe et les traite conjointement, ce qui, selon Meta, représente une accélération d'environ 7× à 128 objets sur un seul GPU H100. Le détecteur d'images et la tête interactive d'invite par point conservent l'architecture SAM 3.

Ultralytics charge le point de contrôle SAM 3.1 (sam3.1_multiplex.pt) dans les prédicteurs d'images SAM 3 : SAM("sam3.1_multiplex.pt") pour les invites par points et boîtes, et SAM3SemanticPredictor pour les invites textuelles et d'exemples. Le suivi vidéo Object Multiplex n'est pas encore pris en charge, alors continue d'utiliser sam3.pt avec SAM3VideoPredictor et SAM3VideoSemanticPredictor.

Architecture#

SAM 3 se compose d'un détecteur et d'un suiveur qui partagent un backbone de vision Perception Encoder (PE). Cette conception découplée évite les conflits entre tâches tout en permettant la détection au niveau de l'image et le suivi au niveau de la vidéo, avec une interface compatible avec l'utilisation de Python et l'utilisation de la CLI d'Ultralytics.

Composants principaux#

• Détecteur : architecture basée sur DETR pour la détection de concepts au niveau de l'image

  • Encodeur de texte pour les invites sous forme de groupes nominaux
  • Encodeur d'exemplaires pour les invites basées sur des images
  • Encodeur de fusion pour conditionner les caractéristiques de l'image sur les invites
  • Nouvelle tête de présence qui découple la reconnaissance (« quoi ») de la localisation (« où »)
  • Tête de masques pour générer les masques de segmentation d'instances

• Suiveur : segmentation vidéo basée sur la mémoire, héritée de SAM 2

  • Encodeur d'invites, décodeur de masques, encodeur de mémoire
  • Banque mémoire pour stocker l'apparence des objets au fil des images
  • Désambiguïsation temporelle assistée par des techniques comme un filtre de Kalman dans les environnements multi-objets

• Jeton de présence : un jeton global appris qui prédit si le concept cible est présent dans l'image ou l'image vidéo, améliorant la détection en séparant la reconnaissance de la localisation.

Innovations clés#

1. Reconnaissance et localisation découplées : la tête de présence prédit globalement la présence du concept, tandis que les requêtes de proposition se concentrent uniquement sur la localisation, évitant ainsi les objectifs contradictoires.
2. Invites de concepts et visuelles unifiées : prend en charge à la fois PCS (invites de concepts) et PVS (invites visuelles, comme les clics et les boîtes de SAM 2) dans un modèle unique.
3. Affinement interactif par images exemplaires : tu peux ajouter des images exemplaires positives ou négatives pour affiner progressivement les résultats, le modèle se généralisant à des objets similaires plutôt que de simplement corriger des instances individuelles.
4. Désambiguïsation temporelle : utilise les scores de détection des masklets et la relance périodique des invites pour gérer les occultations, les scènes encombrées et les échecs de suivi dans les vidéos, conformément aux bonnes pratiques de segmentation et de suivi d'instances.

Jeu de données SA-Co#

SAM 3 est entraîné sur Segment Anything avec concepts (SA-Co), le jeu de données de segmentation le plus vaste et le plus diversifié jamais créé par Meta, qui va au-delà des benchmarks courants comme COCO et LVIS.

Données d'entraînement#

Données de benchmark#

Le benchmark d'évaluation SA-Co contient 214 k phrases uniques réparties sur 126 k images et vidéos, soit plus de 50× plus de concepts que les benchmarks existants. Il comprend :

• SA-Co/Gold : 7 domaines, annoté trois fois pour mesurer les limites des performances humaines
• SA-Co/Silver : 10 domaines, une seule annotation humaine
• SA-Co/Bronze et SA-Co/Bio : 9 jeux de données existants adaptés à la segmentation de concepts
• SA-Co/VEval : benchmark vidéo couvrant 3 domaines (SA-V, YT-Temporal-1B, SmartGlasses)

Innovations du moteur de données#

Le moteur de données évolutif avec intervention humaine et intervention du modèle de SAM 3 atteint un débit d'annotation 2× supérieur grâce à :

1. Annotateurs IA : les modèles basés sur Llama proposent des groupes nominaux variés, y compris des négatifs difficiles
2. Vérificateurs IA : des LLM multimodaux affinés vérifient la qualité et l'exhaustivité des masques avec des performances proches de celles des humains
3. Exploration active : concentre les efforts humains sur les cas d'échec difficiles où l'IA rencontre des difficultés
4. Piloté par une ontologie : exploite une vaste ontologie fondée sur Wikidata pour couvrir les concepts

Installation#

Installe ou mets à niveau le paquet ultralytics :

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Comment utiliser SAM 3 : polyvalence de la segmentation de concepts#

SAM 3 prend en charge les tâches de segmentation de concepts guidée par invite (PCS) et de segmentation visuelle guidée par invite (PVS) via différentes interfaces de prédicteur :

Tâches et modèles pris en charge#

Exemples de segmentation de concepts#

Segmenter avec des prompts textuels#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmenter avec des exemples d’images#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inférence basée sur les caractéristiques pour plus d’efficacité#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentation de concepts vidéo#

Suivre des concepts dans une vidéo avec des boîtes englobantes#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Suivre des concepts avec des prompts textuels#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompts visuels (compatibilité avec SAM 2)#

SAM 3 conserve une compatibilité descendante complète avec les prompts visuels de SAM 2 pour la segmentation d’un seul objet :

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmarks de performance#

Segmentation d’images#

SAM 3 atteint des résultats de pointe sur plusieurs benchmarks, notamment sur des jeux de données réels comme LVIS et COCO pour la segmentation :

Découvre des options de jeux de données pour expérimenter rapidement dans les jeux de données Ultralytics.

Performances de segmentation vidéo#

SAM 3 affiche des améliorations significatives par rapport à SAM 2 et aux précédents modèles de pointe sur des benchmarks vidéo tels que DAVIS 2017 et YouTube-VOS :

Adaptation few-shot#

SAM 3 excelle dans l’adaptation à de nouveaux domaines avec un minimum d’exemples, ce qui est pertinent pour les workflows d’IA centrée sur les données :

Efficacité du raffinement interactif#

Le prompting basé sur les concepts de SAM 3 avec des exemples converge beaucoup plus rapidement que le prompting visuel :

Précision du comptage des objets#

SAM 3 fournit un comptage précis en segmentant toutes les instances, une exigence courante en comptage d’objets :

Comparaison entre SAM 3, SAM 2 et YOLO#

Nous comparons ici les capacités de SAM 3 à celles de SAM 2 et des modèles YOLO26. Pour la détection et la segmentation en temps réel avec un vocabulaire ouvert à partir des mêmes types de prompts, consulte YOLOE :

Vitesse évaluée sur NVIDIA RTX PRO 6000 avec torch==2.9.1 et ultralytics==8.4.19.

Points clés :

• SAM 3 : idéal pour la segmentation de concepts à vocabulaire ouvert, en trouvant toutes les instances d’un concept à l’aide de requêtes textuelles ou d’exemples
• SAM 2 : idéal pour la segmentation interactive d’un objet unique dans les images et les vidéos à l’aide de requêtes géométriques
• YOLO26 : idéal pour une segmentation haute vitesse en temps réel avec inférence de bout en bout optionnelle sans NMS, exportable vers de nombreux formats pour le déploiement sur GPU, CPU et appareils de périphérie

Comparaison de SAM avec YOLO#

Comparaison de SAM 3, SAM 2, SAM, MobileSAM et FastSAM avec les modèles de segmentation YOLO d’Ultralytics (YOLOv8, YOLO11, YOLO26) en termes de taille, de paramètres et de vitesse d’inférence sur GPU :

Cette comparaison met en évidence les différences considérables de taille et de vitesse entre les variantes de SAM et les modèles de segmentation YOLO. Bien que SAM offre des capacités uniques de segmentation automatique, les modèles YOLO, notamment YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg, sont nettement plus petits, plus rapides et plus efficaces sur le plan des calculs.

Tests exécutés sur une NVIDIA RTX PRO 6000 avec 96 Go de VRAM à l’aide de torch==2.9.1 et ultralytics==8.4.19. Pour reproduire ce test :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Métriques d’évaluation#

SAM 3 introduit de nouvelles métriques conçues pour la tâche PCS, qui complètent des mesures connues comme le score F1, la précision et le rappel.

F1 avec classification comme filtre (CGF1)#

Métrique principale combinant la localisation et la classification :

CGF1 = 100 × pmF1 × IL_MCC

Où :

• pmF1 (score F1 macro positif) : mesure la qualité de la localisation sur les exemples positifs
• IL_MCC (coefficient de corrélation de Matthews au niveau de l’image) : mesure la précision de la classification binaire (« le concept est-il présent ? »)

Pourquoi ces métriques ?#

Les métriques AP traditionnelles ne tiennent pas compte de la calibration, ce qui rend les modèles difficiles à utiliser en pratique. En évaluant uniquement les prédictions dont la confiance est supérieure à 0,5, les métriques de SAM 3 imposent une bonne calibration et reproduisent les modes d’utilisation réels dans les boucles interactives de prédiction et de suivi.

Principales ablations et conclusions#

Impact de la tête de présence#

La tête de présence dissocie la reconnaissance de la localisation, ce qui apporte des améliorations significatives :

La tête de présence apporte un gain de +5,7 en CGF1 (+9,9 %), améliorant principalement la capacité de reconnaissance (IL_MCC +6,5 %).

Effet des négatifs difficiles#

Les négatifs difficiles sont essentiels pour la reconnaissance à vocabulaire ouvert et améliorent l’IL_MCC de 54,5 % (0,44 → 0,68).

Mise à l’échelle des données d’entraînement#

Les annotations humaines de haute qualité apportent des gains importants par rapport aux données synthétiques ou externes utilisées seules. Pour en savoir plus sur les pratiques de qualité des données, consulte la collecte et l’annotation des données.

Applications#

La capacité de segmentation de concepts de SAM 3 permet de nouveaux cas d’utilisation :

• Modération de contenu : trouver toutes les instances de types de contenu spécifiques dans des bibliothèques multimédias
• E-commerce : segmenter tous les produits d’un certain type dans des images de catalogue, avec prise en charge de l’auto-annotation
• Imagerie médicale : identifier toutes les occurrences de types de tissus ou d’anomalies spécifiques
• Systèmes autonomes : suivre toutes les instances de panneaux de signalisation, de piétons ou de véhicules par catégorie
• Analyse vidéo : compter et suivre toutes les personnes portant des vêtements spécifiques ou exécutant certaines actions
• Annotation de jeux de données : annoter rapidement toutes les instances de catégories d’objets rares
• Recherche scientifique : quantifier et analyser tous les spécimens correspondant à des critères spécifiques

Agent SAM 3 : raisonnement linguistique étendu#

SAM 3 peut être combiné à de grands modèles de langage multimodaux (MLLM) pour traiter des requêtes complexes nécessitant du raisonnement, dans un esprit similaire à celui de systèmes à vocabulaire ouvert comme OWLv2 et T-Rex.

Performances sur les tâches de raisonnement#

Exemples de requêtes complexes#

L’agent SAM 3 peut traiter des requêtes nécessitant du raisonnement :

• « Personnes assises, mais ne tenant pas de boîte-cadeau dans leurs mains »
• « Le chien le plus proche de la caméra qui ne porte pas de collier »
• « Objets rouges plus grands que la main de la personne »

Le MLLM propose à SAM 3 des requêtes sous forme de groupes nominaux simples, analyse les masques renvoyés et itère jusqu’à obtenir un résultat satisfaisant.

Limites#

Bien que SAM 3 représente une avancée majeure, il présente certaines limitations :

• Complexité des formulations : convient surtout aux groupes nominaux simples ; les expressions référentielles longues ou le raisonnement complexe peuvent nécessiter une intégration avec un MLLM
• Gestion de l’ambiguïté : certains concepts restent intrinsèquement ambigus (par ex. « petite fenêtre », « pièce chaleureuse »)
• Exigences de calcul : plus volumineux et plus lent que les modèles de détection spécialisés comme YOLO
• Étendue du vocabulaire : se concentre sur des concepts visuels atomiques ; le raisonnement compositionnel est limité sans l’aide d’un MLLM
• Concepts rares : les performances peuvent se dégrader sur des concepts extrêmement rares ou très fins, peu représentés dans les données d’entraînement

Citation#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

FAQ#