SAM 2: Segment Anything Model 2#

SAM 2, el sucesor del Segment Anything Model (SAM) de Meta, es una herramienta de vanguardia diseñada para la segmentación integral de objetos tanto en imágenes como en vídeos. Destaca en el manejo de datos visuales complejos a través de una arquitectura de modelo unificada y guiable por avisos que admite procesamiento en tiempo real y generalización zero-shot.

Características clave#

Arquitectura de modelo unificada#

SAM 2 combina las capacidades de segmentación de imágenes y vídeos en un único modelo. Esta unificación simplifica el despliegue y permite un rendimiento coherente en diferentes tipos de medios. Aprovecha una interfaz flexible basada en avisos, lo que permite a los usuarios especificar objetos de interés mediante varios tipos de avisos, como puntos, cuadros delimitadores o máscaras.

Rendimiento en tiempo real#

El modelo alcanza velocidades de inferencia en tiempo real, procesando aproximadamente 44 fotogramas por segundo. Esto hace que SAM 2 sea adecuado para aplicaciones que requieren retroalimentación inmediata, como la edición de vídeo y la realidad aumentada.

Generalización zero-shot#

SAM 2 puede segmentar objetos que nunca antes ha encontrado, demostrando una sólida generalización zero-shot. Esto es especialmente útil en dominios visuales diversos o cambiantes donde las categorías predefinidas pueden no cubrir todos los objetos posibles.

Refinamiento interactivo#

Puedes refinar iterativamente los resultados de la segmentación proporcionando avisos adicionales, lo que permite un control preciso sobre el resultado. Esta interactividad es esencial para afinar los resultados en aplicaciones como la anotación de vídeo o la imagen médica.

Manejo avanzado de desafíos visuales#

SAM 2 incluye mecanismos para gestionar desafíos comunes de la segmentación de vídeo, como la oclusión y la reaparición de objetos. Utiliza un mecanismo de memoria sofisticado para realizar un seguimiento de los objetos a través de los fotogramas, garantizando la continuidad incluso cuando los objetos están temporalmente oscurecidos o salen y vuelven a entrar en la escena.

Para comprender mejor la arquitectura y las capacidades de SAM 2, explora el documento de investigación de SAM 2.

Rendimiento y detalles técnicos#

SAM 2 establece un nuevo referente en el campo, superando a los modelos anteriores en varias métricas:

Arquitectura del modelo#

Componentes principales#

• Codificador de imagen y vídeo: utiliza una arquitectura basada en transformer para extraer características de alto nivel tanto de las imágenes como de los fotogramas de vídeo. Este componente se encarga de comprender el contenido visual en cada paso temporal.
• Codificador de avisos: Procesa los avisos proporcionados por el usuario (puntos, cuadros, máscaras) para guiar la tarea de segmentación. Esto permite que SAM 2 se adapte a las entradas del usuario y apunte a objetos específicos dentro de una escena.
• Mecanismo de memoria: incluye un codificador de memoria, un banco de memoria y un módulo de atención de memoria. Estos componentes almacenan y utilizan colectivamente la información de fotogramas anteriores, lo que permite al modelo mantener un seguimiento de objetos coherente a lo largo del tiempo.
• Decodificador de máscaras: Genera las máscaras de segmentación finales basándose en las características de la imagen codificada y los avisos. En vídeo, también utiliza el contexto de memoria para garantizar un seguimiento preciso en todos los fotogramas.

Mecanismo de memoria y gestión de oclusiones#

El mecanismo de memoria permite a SAM 2 gestionar las dependencias temporales y las oclusiones en los datos de vídeo. A medida que los objetos se mueven e interactúan, SAM 2 registra sus características en un banco de memoria. Cuando un objeto queda ocluido, el modelo puede confiar en esta memoria para predecir su posición y apariencia cuando reaparece. El cabezal de oclusión gestiona específicamente los escenarios en los que los objetos no son visibles, prediciendo la probabilidad de que un objeto esté ocluido.

Resolución de ambigüedad de máscaras múltiples#

En situaciones con ambigüedad (p. ej., objetos superpuestos), SAM 2 puede generar múltiples predicciones de máscaras. Esta función es crucial para representar con precisión escenas complejas donde una sola máscara podría no describir suficientemente los matices de la escena.

Conjunto de datos SA-V#

El conjunto de datos SA-V, desarrollado para el entrenamiento de SAM 2, es uno de los conjuntos de datos de segmentación de vídeo más grandes y diversos disponibles. Incluye:

• Más de 51.000 vídeos: Capturados en 47 países, ofreciendo una amplia gama de escenarios del mundo real.
• Más de 600.000 anotaciones de máscaras: Anotaciones de máscaras espacio-temporales detalladas, denominadas "masklets", que cubren objetos enteros y partes.
• Escala del conjunto de datos: Presenta 4,5 veces más vídeos y 53 veces más anotaciones que los conjuntos de datos más grandes anteriores, ofreciendo una diversidad y complejidad sin precedentes.

Benchmarks#

Segmentación de objetos en vídeo#

SAM 2 ha demostrado un rendimiento superior en los principales puntos de referencia de segmentación de vídeo:

Segmentación interactiva#

En las tareas de segmentación interactiva, SAM 2 muestra una eficiencia y precisión significativas:

Instalación#

Para instalar SAM 2, utiliza el siguiente comando. Todos los modelos SAM 2 se descargarán automáticamente en el primer uso.

pip install ultralytics

Cómo usar SAM 2: versatilidad en la segmentación de imágenes y vídeos#

La tabla siguiente detalla los modelos SAM 2 disponibles, sus pesos preentrenados, las tareas compatibles y la compatibilidad con diferentes modos de funcionamiento como Inference, Validation, Training y Export.

Ejemplos de predicción con SAM 2#

SAM 2 se puede utilizar en un amplio espectro de tareas, incluyendo edición de vídeo en tiempo real, imagen médica y sistemas autónomos. Su capacidad para segmentar datos visuales tanto estáticos como dinámicos lo convierte en una herramienta versátil para investigadores y desarrolladores.

Segmentar con avisos#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Segmentar todo#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

Segmentar vídeo y realizar seguimiento de objetos#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• Este ejemplo demuestra cómo se puede utilizar SAM 2 para segmentar todo el contenido de una imagen o vídeo si no se proporcionan avisos (cuadros delimitadores/puntos/máscaras).

Segmentación y seguimiento interactivos dinámicos#

SAM2DynamicInteractivePredictor es una extensión avanzada de SAM2 libre de entrenamiento que permite la interacción dinámica con múltiples fotogramas y capacidades de aprendizaje continuo. Este predictor admite actualizaciones de avisos en tiempo real y gestión de memoria para mejorar el rendimiento del seguimiento en una secuencia de imágenes. En comparación con el SAM2 original, SAM2DynamicInteractivePredictor reconstruye el flujo de inferencia para aprovechar al máximo los modelos SAM2 preentrenados sin necesidad de entrenamiento adicional.

Características clave#

Ofrece tres mejoras significativas:

1. Interactivo dinámico: Añade nuevos avisos para fusionar o hacer un seguimiento de nuevas instancias no rastreadas en los siguientes fotogramas en cualquier momento durante el procesamiento del vídeo.
2. Aprendizaje continuo: Añade nuevos avisos para instancias existentes para mejorar el rendimiento del modelo con el tiempo.
3. Soporte independiente multiimagen: Procesa múltiples imágenes independientes (no necesariamente de una secuencia de vídeo) con compartición de memoria y seguimiento de objetos entre imágenes.

Capacidades principales#

• Flexibilidad de avisos: Acepta cuadros delimitadores, puntos y máscaras como avisos.
• Gestión del banco de memoria: Mantiene un banco de memoria dinámico para almacenar los estados de los objetos a través de los fotogramas.
• Seguimiento de múltiples objetos: Permite realizar un seguimiento de varios objetos simultáneamente con identificadores de objeto individuales.
• Actualizaciones en tiempo real: Permite añadir nuevos prompts durante la inferencia sin necesidad de volver a procesar los fotogramas anteriores
• Procesamiento de imágenes independiente: Procesa imágenes individuales con un contexto de memoria compartida para lograr la consistencia de los objetos entre distintas imágenes

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define a category by box prompt
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detect this particular object in a new image
results = predictor(source="image2.jpg")

# Add new category with a new object ID
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # New object
    obj_ids=[1],  # New object ID
    update_memory=True,  # Add to memory
)
# Perform inference
results = predictor(source="image5.jpg")

# Add refinement prompts to the same category to boost performance
# This helps when object appearance changes significantly
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Refinement point
    labels=[1],  # Positive point
    obj_ids=[1],  # Same object ID
    update_memory=True,  # Update memory with new information
)
# Perform inference on new image
results = predictor(source="image7.jpg")

Argumentos#

Casos de uso#

SAM2DynamicInteractivePredictor es ideal para:

• Flujos de trabajo de anotación de vídeo donde aparecen nuevos objetos durante la secuencia
• Edición de vídeo interactiva que requiere la adición y depuración de objetos en tiempo real
• Aplicaciones de vigilancia con necesidades de seguimiento de objetos dinámicos
• Imagen médica para el seguimiento de estructuras anatómicas a lo largo de series temporales
• Sistemas autónomos que requieren detección y seguimiento de objetos adaptativos
• Conjuntos de datos multimagen para una segmentación de objetos coherente en imágenes independientes
• Análisis de colecciones de imágenes donde los objetos deben ser rastreados a través de diferentes escenas
• Segmentación entre dominios aprovechando la memoria de diversos contextos de imagen
• Anotación semiautomática para la creación eficiente de conjuntos de datos con una intervención manual mínima

Comparativa de SAM frente a YOLO#

Aquí comparamos los modelos SAM 2 de Meta, incluida la variante más pequeña SAM2-t, con los modelos de segmentación de Ultralytics, incluido YOLO26n-seg:

Esta comparativa demuestra las diferencias sustanciales en los tamaños y velocidades de los modelos entre las variantes de SAM y los modelos de segmentación YOLO. Mientras que SAM proporciona capacidades de segmentación automática únicas, los modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg, son significativamente más pequeños, rápidos y computacionalmente eficientes.

Las velocidades de SAM se han medido con PyTorch y las de YOLO con ONNX Runtime. Pruebas ejecutadas en un Apple M4 Air de 2025 con 16 GB de RAM utilizando torch==2.10.0, ultralytics==8.4.31 y onnxruntime==1.24.4. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Anotación automática: Creación eficiente de conjuntos de datos#

La anotación automática es una característica potente de SAM 2 que permite a los usuarios generar conjuntos de datos de segmentación de forma rápida y precisa aprovechando modelos preentrenados. Esta capacidad es especialmente útil para crear conjuntos de datos grandes y de alta calidad sin un esfuerzo manual excesivo.

Cómo realizar anotaciones automáticas con SAM 2#

Para realizar la anotación automática de tu conjunto de datos utilizando SAM 2, sigue este ejemplo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Esta función facilita la creación rápida de conjuntos de datos de segmentación de alta calidad, ideal para investigadores y desarrolladores que buscan acelerar sus proyectos.

Limitaciones#

A pesar de sus puntos fuertes, SAM 2 tiene ciertas limitaciones:

• Estabilidad de seguimiento: SAM 2 puede perder el rastro de los objetos durante secuencias prolongadas o cambios significativos de perspectiva.
• Confusión de objetos: El modelo a veces puede confundir objetos de apariencia similar, especialmente en escenas concurridas.
• Eficiencia con múltiples objetos: La eficiencia de la segmentación disminuye al procesar varios objetos simultáneamente debido a la falta de comunicación entre objetos.
• Precisión de detalles: es posible que se pasen por alto detalles finos, especialmente con objetos que se mueven rápido. Los avisos adicionales pueden solucionar parcialmente este problema, pero no se garantiza la suavidad temporal.

Citas y agradecimientos#

Si SAM 2 es una parte crucial de tu trabajo de investigación o desarrollo, por favor cítalo utilizando la siguiente referencia:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Expresamos nuestro agradecimiento a Meta AI por sus contribuciones a la comunidad de IA con este modelo y conjunto de datos revolucionarios.

FAQ#