SAM 2 : Segment Anything Model 2#

SAM 2, le successeur du Segment Anything Model (SAM) de Meta, est un outil de pointe conçu pour la segmentation d'objets complète dans les images et les vidéos. Il excelle dans le traitement de données visuelles complexes grâce à une architecture de modèle unifiée et interactive qui prend en charge le traitement en temps réel et la généralisation zero-shot.

Fonctionnalités clés#

Architecture de modèle unifiée#

SAM 2 combine les capacités de segmentation d'images et de vidéos en un seul modèle. Cette unification simplifie le déploiement et permet des performances cohérentes sur différents types de médias. Il exploite une interface flexible basée sur des indices, permettant aux utilisateurs de spécifier des objets d'intérêt via divers types d'indices, tels que des points, des boîtes englobantes ou des masques.

Performance en temps réel#

Le modèle atteint des vitesses d'inférence en temps réel, traitant environ 44 images par seconde. Cela rend SAM 2 adapté aux applications nécessitant un retour immédiat, telles que le montage vidéo et la réalité augmentée.

Généralisation Zero-Shot#

SAM 2 peut segmenter des objets qu'il n'a jamais rencontrés auparavant, démontrant une forte généralisation zero-shot. Ceci est particulièrement utile dans des domaines visuels divers ou en évolution où les catégories prédéfinies peuvent ne pas couvrir tous les objets possibles.

Affinement interactif#

Tu peux affiner de manière interactive les résultats de la segmentation en fournissant des indices supplémentaires, ce qui permet un contrôle précis de la sortie. Cette interactivité est essentielle pour affiner les résultats dans des applications telles que l'annotation vidéo ou l'imagerie médicale.

Gestion avancée des défis visuels#

SAM 2 comprend des mécanismes pour gérer les défis courants de la segmentation vidéo, tels que l'occlusion et la réapparition d'objets. Il utilise un mécanisme de mémoire sophistiqué pour suivre les objets à travers les images, garantissant la continuité même lorsque les objets sont temporairement masqués ou qu'ils sortent et reviennent dans la scène.

Pour une compréhension plus approfondie de l'architecture et des capacités de SAM 2, explore l'article de recherche sur SAM 2.

Performances et détails techniques#

SAM 2 établit une nouvelle référence dans le domaine, surpassant les modèles précédents sur divers métriques :

Architecture du modèle#

Composants principaux#

• Encodeur d'images et de vidéos : utilise une architecture basée sur les transformer pour extraire des caractéristiques de haut niveau à partir des images et des cadres vidéo. Ce composant est responsable de la compréhension du contenu visuel à chaque pas de temps.
• Encodeur d'indices : traite les indices fournis par l'utilisateur (points, boîtes, masques) pour guider la tâche de segmentation. Cela permet à SAM 2 de s'adapter aux entrées de l'utilisateur et de cibler des objets spécifiques dans une scène.
• Mécanisme de mémoire : comprend un encodeur de mémoire, une banque de mémoire et un module d'attention de mémoire. Ces composants stockent et utilisent collectivement les informations des images passées, permettant au modèle de maintenir un suivi d'objets cohérent au fil du temps.
• Décodeur de masques : génère les masques de segmentation finaux basés sur les caractéristiques d'image encodées et les indices. Dans la vidéo, il utilise également le contexte de mémoire pour assurer un suivi précis à travers les images.

Mécanisme de mémoire et gestion des occlusions#

Le mécanisme de mémoire permet à SAM 2 de gérer les dépendances temporelles et les occlusions dans les données vidéo. Au fur et à mesure que les objets se déplacent et interagissent, SAM 2 enregistre leurs caractéristiques dans une banque de mémoire. Lorsqu'un objet est occlus, le modèle peut s'appuyer sur cette mémoire pour prédire sa position et son apparence lorsqu'il réapparaît. La tête d'occlusion gère spécifiquement les scénarios où les objets ne sont pas visibles, en prédisant la probabilité qu'un objet soit occlus.

Résolution d'ambiguïté multi-masque#

Dans les situations d'ambiguïté (par exemple, des objets qui se chevauchent), SAM 2 peut générer plusieurs prédictions de masques. Cette fonctionnalité est cruciale pour représenter avec précision des scènes complexes où un seul masque pourrait ne pas décrire suffisamment les nuances de la scène.

Jeu de données SA-V#

Le jeu de données SA-V, développé pour l'entraînement de SAM 2, est l'un des jeux de données de segmentation vidéo les plus grands et les plus diversifiés disponibles. Il comprend :

• 51 000+ vidéos : capturées dans 47 pays, offrant un large éventail de scénarios du monde réel.
• 600 000+ annotations de masques : annotations de masques spatiotemporelles détaillées, appelées "masklets", couvrant des objets entiers et des parties.
• Échelle du jeu de données : il propose 4,5 fois plus de vidéos et 53 fois plus d'annotations que les plus grands jeux de données précédents, offrant une diversité et une complexité sans précédent.

Benchmarks#

Segmentation d'objets vidéo#

SAM 2 a démontré des performances supérieures sur les principales références de segmentation vidéo :

Segmentation interactive#

Dans les tâches de segmentation interactive, SAM 2 montre une efficacité et une précision significatives :

Installation#

Pour installer SAM 2, utilise la commande suivante. Tous les modèles SAM 2 se téléchargeront automatiquement lors de leur première utilisation.

pip install ultralytics

Comment utiliser SAM 2 : polyvalence dans la segmentation d'images et de vidéos#

Le tableau suivant détaille les modèles SAM 2 disponibles, leurs poids pré-entraînés, les tâches prises en charge et la compatibilité avec différents modes de fonctionnement tels que Inférence, Validation, Entraînement et Exportation.

Exemples de prédiction SAM 2#

SAM 2 peut être utilisé dans un large éventail de tâches, notamment le montage vidéo en temps réel, l'imagerie médicale et les systèmes autonomes. Sa capacité à segmenter des données visuelles statiques et dynamiques en fait un outil polyvalent pour les chercheurs et les développeurs.

Segmenter avec des indices#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Segmenter tout#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

Segmenter la vidéo et suivre les objets#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• Cet exemple démontre comment SAM 2 peut être utilisé pour segmenter l'ensemble du contenu d'une image ou d'une vidéo si aucun indice (boîtes englobantes/points/masques) n'est fourni.

Segmentation et suivi interactifs dynamiques#

SAM2DynamicInteractivePredictor est une extension avancée sans entraînement de SAM2 qui permet une interaction dynamique avec plusieurs images et des capacités d'apprentissage continu. Ce prédicteur prend en charge les mises à jour d'indices en temps réel et la gestion de la mémoire pour de meilleures performances de suivi sur une séquence d'images. Par rapport au SAM2 d'origine, SAM2DynamicInteractivePredictor reconstruit le flux d'inférence pour tirer le meilleur parti des modèles SAM2 pré-entraînés sans nécessiter d'entraînement supplémentaire.

Fonctionnalités clés#

Il offre trois améliorations significatives :

1. Interactif dynamique : ajoute de nouveaux indices pour fusionner ou suivre de nouvelles instances dans les images suivantes à tout moment pendant le traitement vidéo.
2. Apprentissage continu : ajoute de nouveaux indices pour les instances existantes afin d'améliorer les performances du modèle au fil du temps.
3. Prise en charge multi-image indépendante : traite plusieurs images indépendantes (pas nécessairement issues d'une séquence vidéo) avec le partage de mémoire et le suivi d'objets inter-images.

Capacités principales#

• Flexibilité des indices : accepte les boîtes englobantes, les points et les masques comme indices.
• Gestion de la banque de mémoire : maintient une banque de mémoire dynamique pour stocker les états des objets à travers les images.
• Suivi multi-objet : prend en charge le suivi de plusieurs objets simultanément avec des identifiants d'objets individuels.
• Mises à jour en temps réel : permet d'ajouter de nouvelles instructions (prompts) pendant l'inférence sans retraitement des images précédentes
• Traitement d'image indépendant : traite des images autonomes avec un contexte de mémoire partagé pour assurer la cohérence des objets entre les images

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define a category by box prompt
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detect this particular object in a new image
results = predictor(source="image2.jpg")

# Add new category with a new object ID
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # New object
    obj_ids=[1],  # New object ID
    update_memory=True,  # Add to memory
)
# Perform inference
results = predictor(source="image5.jpg")

# Add refinement prompts to the same category to boost performance
# This helps when object appearance changes significantly
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Refinement point
    labels=[1],  # Positive point
    obj_ids=[1],  # Same object ID
    update_memory=True,  # Update memory with new information
)
# Perform inference on new image
results = predictor(source="image7.jpg")

Arguments#

Cas d'utilisation#

SAM2DynamicInteractivePredictor est idéal pour :

• Les flux de travail d'annotation vidéo où de nouveaux objets apparaissent au cours de la séquence
• L'édition vidéo interactive nécessitant l'ajout et l'affinage d'objets en temps réel
• Les applications de surveillance ayant des besoins de suivi d'objets dynamiques
• L'imagerie médicale pour le suivi de structures anatomiques dans des séries temporelles
• Les systèmes autonomes nécessitant une détection et un suivi d'objets adaptatifs
• Les jeux de données multi-images pour une segmentation cohérente des objets sur des images indépendantes
• L'analyse de collections d'images où les objets doivent être suivis à travers différentes scènes
• La segmentation inter-domaines tirant parti de la mémoire de divers contextes d'images
• L'annotation semi-automatique pour une création efficace de jeux de données avec un minimum d'intervention manuelle

Comparaison de SAM vs YOLO#

Nous comparons ici les modèles SAM 2 de Meta, y compris la plus petite variante SAM2-t, avec les modèles de segmentation Ultralytics, y compris YOLO26n-seg :

Cette comparaison démontre les différences substantielles de tailles et de vitesses de modèle entre les variantes de SAM et les modèles de segmentation YOLO. Bien que SAM offre des capacités de segmentation automatique uniques, les modèles YOLO, en particulier YOLOv8n-seg, YOLO11n-seg et YOLO26n-seg, sont nettement plus petits, plus rapides et plus efficaces sur le plan informatique.

Vitesses de SAM mesurées avec PyTorch, vitesses de YOLO mesurées avec ONNX Runtime. Tests effectués sur un Apple M4 Air 2025 avec 16 Go de RAM en utilisant torch==2.10.0, ultralytics==8.4.31 et onnxruntime==1.24.4. Pour reproduire ce test :

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Annotation automatique : création efficace de jeux de données#

L'annotation automatique est une fonctionnalité puissante de SAM 2, qui permet aux utilisateurs de générer des jeux de données de segmentation rapidement et précisément en s'appuyant sur des modèles pré-entraînés. Cette capacité est particulièrement utile pour créer de grands jeux de données de haute qualité sans effort manuel excessif.

Comment réaliser une annotation automatique avec SAM 2#

Pour annoter automatiquement ton jeu de données à l'aide de SAM 2, suis cet exemple :

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Cette fonction facilite la création rapide de jeux de données de segmentation de haute qualité, idéale pour les chercheurs et les développeurs souhaitant accélérer leurs projets.

Limites#

Malgré ses points forts, SAM 2 présente certaines limitations :

• Stabilité du suivi : SAM 2 peut perdre la trace des objets lors de séquences prolongées ou de changements importants de point de vue.
• Confusion d'objets : Le modèle peut parfois confondre des objets similaires, en particulier dans des scènes encombrées.
• Efficacité avec de multiples objets : L'efficacité de la segmentation diminue lors du traitement simultané de plusieurs objets en raison de l'absence de communication inter-objets.
• Détail Précision : Peut manquer des détails fins, en particulier avec des objets en mouvement rapide. Des invites supplémentaires peuvent atténuer partiellement ce problème, mais la régularité temporelle n'est pas garantie.

Citations et remerciements#

Si SAM 2 fait partie intégrante de ton travail de recherche ou de développement, cite-le en utilisant la référence suivante :

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Nous exprimons notre gratitude à Meta AI pour leurs contributions à la communauté de l'IA avec ce modèle et ce jeu de données révolutionnaires.

FAQ#

Qu'est-ce que SAM 2 et en quoi améliore-t-il le modèle d'origine Segment Anything Model (SAM) ?#

SAM 2, le successeur du Segment Anything Model (SAM) de Meta, est un outil de pointe conçu pour la segmentation complète d'objets dans les images et les vidéos. Il excelle dans le traitement de données visuelles complexes grâce à une architecture de modèle unifiée et guidée par instructions qui prend en charge le traitement en temps réel et la généralisation zéro-shot. SAM 2 offre plusieurs améliorations par rapport au SAM d'origine, notamment :

• Architecture de modèle unifiée : combine les capacités de segmentation d'images et de vidéos en un seul modèle.
• Performances en temps réel : traite environ 44 images par seconde, ce qui le rend adapté aux applications nécessitant un retour immédiat.
• Généralisation zéro-shot : segmente des objets qu'il n'a jamais rencontrés auparavant, ce qui est utile dans divers domaines visuels.
• Affinage interactif : permet aux utilisateurs d'affiner de manière itérative les résultats de la segmentation en fournissant des instructions supplémentaires.
• Gestion avancée des défis visuels : gère les défis courants de la segmentation vidéo tels que l'occlusion d'objets et leur réapparition.

Pour plus de détails sur l'architecture et les fonctionnalités de SAM 2, consulte l'article de recherche sur SAM 2.

Comment puis-je utiliser SAM 2 pour la segmentation vidéo en temps réel ?#

SAM 2 peut être utilisé pour la segmentation vidéo en temps réel en tirant parti de son interface interactive et de ses capacités d'inférence en temps réel. Voici un exemple de base :

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

Pour une utilisation plus complète, reporte-toi à la section Comment utiliser SAM 2.

Quels jeux de données sont utilisés pour entraîner SAM 2 et comment améliorent-ils ses performances ?#

SAM 2 est entraîné sur le jeu de données SA-V, l'un des jeux de données de segmentation vidéo les plus vastes et les plus diversifiés disponibles. Le jeu de données SA-V comprend :

• 51 000+ vidéos : capturées dans 47 pays, offrant un large éventail de scénarios du monde réel.
• 600 000+ annotations de masques : annotations de masques spatiotemporelles détaillées, appelées "masklets", couvrant des objets entiers et des parties.
• Échelle du jeu de données : propose 4,5 fois plus de vidéos et 53 fois plus d'annotations que les plus grands jeux de données précédents, offrant une diversité et une complexité sans précédent.

Ce vaste jeu de données permet à SAM 2 d'atteindre des performances supérieures sur les principaux benchmarks de segmentation vidéo et améliore ses capacités de généralisation zéro-shot. Pour plus d'informations, consulte la section Jeu de données SA-V.

Comment SAM 2 gère-t-il les occlusions et les réapparitions d'objets dans la segmentation vidéo ?#

SAM 2 intègre un mécanisme de mémoire sophistiqué pour gérer les dépendances temporelles et les occlusions dans les données vidéo. Le mécanisme de mémoire se compose de :

• Encodeur de mémoire et banque de mémoire : stockent les caractéristiques des images passées.
• Module d'attention de la mémoire : utilise les informations stockées pour maintenir un suivi cohérent des objets au fil du temps.
• Tête d'occlusion : gère spécifiquement les scénarios où les objets ne sont pas visibles, en prédisant la probabilité qu'un objet soit occulté.

Ce mécanisme garantit la continuité même lorsque des objets sont temporairement masqués ou qu'ils sortent de la scène avant d'y revenir. Pour plus de détails, reporte-toi à la section Mécanisme de mémoire et gestion des occlusions.

Comment SAM 2 se compare-t-il à d'autres modèles de segmentation comme YOLO26 ?#

Les modèles SAM 2, tels que SAM2-t et SAM2-b de Meta, offrent de puissantes capacités de segmentation zéro-shot, mais sont nettement plus grands et plus lents que les modèles YOLO. Par exemple, YOLO26n-seg est environ 24 fois plus petit et plus de 1145 fois plus rapide que SAM2-b sur CPU. Alors que SAM 2 excelle dans les scénarios de segmentation polyvalents, guidés par instructions et zéro-shot, YOLO26 est optimisé pour la vitesse, l'efficacité et les applications en temps réel avec une inférence de bout en bout sans NMS, ce qui le rend mieux adapté au déploiement dans des environnements aux ressources limitées.