SAM 3: Segmenta cualquier cosa con conceptos#

SAM 3 (Modelo de Segmentación de Cualquier Cosa 3) es el modelo fundacional publicado por Meta para la segmentación de conceptos mediante prompts (PCS). Basándose en SAM 2, SAM 3 introduce una capacidad completamente nueva: detectar, segmentar y seguir todas las instancias de un concepto visual especificado mediante prompts de texto, imágenes de ejemplo o ambos. A diferencia de las versiones anteriores de SAM, que segmentan un solo objeto por prompt, SAM 3 puede encontrar y segmentar cada aparición de un concepto en cualquier parte de imágenes o vídeos, en línea con los objetivos de vocabulario abierto de la segmentación de instancias moderna.

SAM 3 está plenamente integrado en el paquete ultralytics, proporcionando soporte nativo para la segmentación de conceptos con indicaciones de texto, indicaciones de ejemplos de imágenes y seguimiento de vídeo. El punto de control más nuevo SAM 3.1 es compatible con la predicción de imágenes.

Descripción general#

SAM 3 logra una mejora del rendimiento de 2× respecto a los sistemas existentes en la segmentación de conceptos mediante prompts, al tiempo que mantiene y mejora las capacidades de SAM 2 para la segmentación visual interactiva. El modelo destaca en la segmentación de vocabulario abierto, ya que permite especificar conceptos mediante frases nominales sencillas (p. ej., "autobús escolar amarillo", "gato atigrado") o proporcionando imágenes de ejemplo del objeto objetivo. Estas capacidades complementan los pipelines listos para producción que se basan en flujos de trabajo optimizados de predicción y seguimiento.

¿Qué es la segmentación de conceptos mediante prompts (PCS)?#

La tarea PCS recibe como entrada un prompt de concepto y devuelve máscaras de segmentación con identidades únicas para todas las instancias de objetos coincidentes. Los prompts de concepto pueden ser:

• Texto: Frases nominales sencillas como "manzana roja" o "persona con sombrero", similares al aprendizaje zero-shot
• Imágenes de ejemplo: BBoxes alrededor de objetos de ejemplo (positivos o negativos) para una generalización rápida
• Combinados: Texto e imágenes de ejemplo juntos para un control preciso

Esto difiere de los prompts visuales tradicionales (puntos, cajas y máscaras), que segmentan únicamente una instancia de objeto específica, como popularizó la familia SAM original.

Métricas de rendimiento clave#

Para obtener contexto sobre las métricas de los modelos y las compensaciones en producción, consulta información sobre la evaluación de modelos y métricas de rendimiento de YOLO.

SAM 3.1#

SAM 3.1, publicado por Meta el 27 de marzo de 2026, es un nuevo punto de control de SAM 3 que añade Object Multiplex, un enfoque de memoria compartida para el seguimiento de vídeo multiobjeto. En lugar de procesar cada objeto rastreado de forma independiente, SAM 3.1 agrupa los objetos en contenedores de capacidad fija y los procesa conjuntamente, lo que Meta reporta como una ~7× aceleración con 128 objetos en una sola GPU H100. El detector de imágenes y el cabezal de indicación de puntos interactivos conservan la arquitectura de SAM 3.

Ultralytics carga el punto de control de SAM 3.1 (sam3.1_multiplex.pt) en los predictores de imágenes de SAM 3: SAM("sam3.1_multiplex.pt") para solicitudes de puntos y cuadros, y SAM3SemanticPredictor para solicitudes de texto y ejemplares. El seguimiento de vídeo de multiplexación de objetos todavía no es compatible, así que sigue usando sam3.pt con SAM3VideoPredictor y SAM3VideoSemanticPredictor.

Arquitectura#

SAM 3 consta de un detector y un tracker que comparten un backbone de visión Perception Encoder (PE). Este diseño desacoplado evita conflictos entre tareas y permite tanto la detección a nivel de imagen como el seguimiento a nivel de vídeo, con una interfaz compatible con el uso de Python y el uso de la CLI de Ultralytics.

Componentes principales#

• Detector: Arquitectura basada en DETR para la detección de conceptos a nivel de imagen

  • Codificador de texto para prompts de frases nominales
  • Codificador de ejemplos para prompts basados en imágenes
  • Codificador de fusión para condicionar las características de la imagen según los prompts
  • Nuevo presence head que desacopla el reconocimiento ("qué") de la localización ("dónde")
  • Mask head para generar máscaras de segmentación de instancias

• Tracker: Segmentación de vídeo basada en memoria heredada de SAM 2

  • Codificador de prompts, decodificador de máscaras y codificador de memoria
  • Banco de memoria para almacenar la apariencia de los objetos entre fotogramas
  • Desambiguación temporal facilitada por técnicas como un filtro de Kalman en configuraciones con múltiples objetos

• Presence Token: Token global aprendido que predice si el concepto objetivo está presente en la imagen o el fotograma, lo que mejora la detección al separar el reconocimiento de la localización.

Innovaciones principales#

1. Reconocimiento y localización desacoplados: El presence head predice globalmente la presencia del concepto, mientras que las consultas de propuestas se centran únicamente en la localización, evitando objetivos contradictorios.
2. Prompts de conceptos y visuales unificados: Admite tanto PCS (prompts de conceptos) como PVS (prompts visuales, como los clics y las cajas de SAM 2) en un único modelo.
3. Refinamiento interactivo mediante ejemplos: Puedes añadir imágenes de ejemplo positivas o negativas para refinar los resultados de forma iterativa; el modelo generaliza a objetos similares en lugar de limitarse a corregir instancias individuales.
4. Desambiguación temporal: Utiliza puntuaciones de detección de masklets y nuevos prompts periódicos para gestionar oclusiones, escenas multitudinarias y fallos de seguimiento en vídeo, en línea con las prácticas recomendadas de segmentación y seguimiento de instancias.

Conjunto de datos SA-Co#

SAM 3 se entrena con Segment Anything with Concepts (SA-Co), el conjunto de datos de segmentación más grande y diverso publicado hasta la fecha por Meta, que amplía el alcance más allá de benchmarks habituales como COCO y LVIS.

Datos de entrenamiento#

Datos de benchmark#

El benchmark de evaluación SA-Co contiene 214 mil frases únicas en 126 mil imágenes y vídeos, lo que proporciona más de 50× más conceptos que los benchmarks existentes. Incluye:

• SA-Co/Gold: 7 dominios, con triple anotación para medir los límites del rendimiento humano
• SA-Co/Silver: 10 dominios, con una única anotación humana
• SA-Co/Bronze y SA-Co/Bio: 9 conjuntos de datos existentes adaptados para la segmentación de conceptos
• SA-Co/VEval: Benchmark de vídeo con 3 dominios (SA-V, YT-Temporal-1B y SmartGlasses)

Innovaciones del motor de datos#

El motor de datos escalable con participación humana y del modelo de SAM 3 logra un rendimiento de anotación 2× superior mediante:

1. Anotadores de IA: Los modelos basados en Llama proponen diversas frases nominales, incluidos negativos difíciles
2. Verificadores de IA: Los LLM multimodales ajustados verifican la calidad y exhaustividad de las máscaras con un rendimiento casi humano
3. Minería activa: Centra el esfuerzo humano en casos de fallo complejos en los que la IA tiene dificultades
4. Basado en ontologías: Aprovecha una ontología amplia fundamentada en Wikidata para cubrir conceptos

Instalación#

Instala o actualiza el paquete ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Cómo usar SAM 3: versatilidad en la segmentación de conceptos#

SAM 3 admite las tareas de segmentación de conceptos mediante prompts (PCS) y segmentación visual mediante prompts (PVS) a través de distintas interfaces de predictor:

Tareas y modelos compatibles#

Ejemplos de segmentación de conceptos#

Segmentación con indicaciones de texto#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentación con ejemplares de imagen#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferencia basada en características para una mayor eficiencia#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentación de conceptos en vídeo#

Rastrea conceptos en un vídeo con cuadros delimitadores#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Rastrea conceptos con indicaciones de texto#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Indicaciones visuales (compatibilidad con SAM 2)#

SAM 3 mantiene la compatibilidad total con las indicaciones visuales de SAM 2 para la segmentación de un solo objeto:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Pruebas de rendimiento#

Segmentación de imágenes#

SAM 3 logra resultados de vanguardia en múltiples pruebas, incluidos conjuntos de datos del mundo real como LVIS y COCO para segmentación:

Explora las opciones de conjuntos de datos para realizar experimentos rápidos en conjuntos de datos de Ultralytics.

Rendimiento de la segmentación de vídeo#

SAM 3 muestra mejoras significativas frente a SAM 2 y a los modelos de vanguardia anteriores en pruebas de vídeo como DAVIS 2017 y YouTube-VOS:

Adaptación con pocos ejemplos#

SAM 3 destaca en la adaptación a nuevos dominios con un número mínimo de ejemplos, algo relevante para los flujos de trabajo de IA centrada en los datos:

Eficacia del refinamiento interactivo#

Las indicaciones basadas en conceptos de SAM 3 con ejemplares convergen mucho más rápido que las indicaciones visuales:

Precisión del recuento de objetos#

SAM 3 proporciona un recuento preciso al segmentar todas las instancias, un requisito habitual en el recuento de objetos:

Comparación entre SAM 3, SAM 2 y YOLO#

Aquí comparamos las capacidades de SAM 3 con los modelos SAM 2 y YOLO26. Para la detección y segmentación en tiempo real con vocabulario abierto a partir del mismo tipo de indicación, consulta YOLOE:

Velocidad evaluada en una NVIDIA RTX PRO 6000 con torch==2.9.1 y ultralytics==8.4.19.

Conclusiones clave:

• SAM 3: ideal para la segmentación de conceptos con vocabulario abierto y para encontrar todas las instancias de un concepto mediante texto o indicaciones con ejemplares
• SAM 2: ideal para la segmentación interactiva de un solo objeto en imágenes y vídeos mediante indicaciones geométricas
• YOLO26: Ideal para la segmentación en tiempo real y de alta velocidad con inferencia de extremo a extremo opcional sin NMS, exportable a muchos formatos para su despliegue en GPUs, CPUs y dispositivos de borde

Comparación entre SAM y YOLO#

Comparación de SAM 3, SAM 2, SAM, MobileSAM y FastSAM con los modelos de segmentación YOLO de Ultralytics (YOLOv8, YOLO11, YOLO26) en cuanto a tamaño, parámetros y velocidad de inferencia en GPU:

Esta comparación demuestra las diferencias sustanciales de tamaño y velocidad entre las variantes de SAM y los modelos de segmentación YOLO. Aunque SAM ofrece capacidades únicas de segmentación automática, los modelos YOLO, especialmente YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg, son considerablemente más pequeños, rápidos y eficientes desde el punto de vista computacional.

Las pruebas se realizaron en una NVIDIA RTX PRO 6000 con 96 GB de VRAM usando torch==2.9.1 y ultralytics==8.4.19. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Métricas de evaluación#

SAM 3 introduce nuevas métricas diseñadas para la tarea PCS, que complementan medidas conocidas como la puntuación F1, la precisión y la exhaustividad.

F1 con clasificación condicionada (CGF1)#

La métrica principal que combina localización y clasificación:

CGF1 = 100 × pmF1 × IL_MCC

Donde:

• pmF1 (F1 macro positivo): mide la calidad de la localización en ejemplos positivos
• IL_MCC (coeficiente de correlación de Matthews a nivel de imagen): mide la precisión de la clasificación binaria ("¿está presente el concepto?")

¿Por qué estas métricas?#

Las métricas AP tradicionales no tienen en cuenta la calibración, lo que dificulta el uso práctico de los modelos. Al evaluar únicamente las predicciones con una confianza superior a 0.5, las métricas de SAM 3 exigen una buena calibración e imitan los patrones de uso del mundo real en los bucles interactivos de predicción y seguimiento.

Principales ablaciones y conclusiones#

Impacto del cabezal de presencia#

El cabezal de presencia desacopla el reconocimiento de la localización, lo que proporciona mejoras significativas:

El cabezal de presencia proporciona una mejora de +5.7 en CGF1 (+9.9%), principalmente al mejorar la capacidad de reconocimiento (IL_MCC +6.5%).

Efecto de los negativos difíciles#

Los negativos difíciles son cruciales para el reconocimiento con vocabulario abierto y mejoran IL_MCC en un 54.5% (0.44 → 0.68).

Escalado de los datos de entrenamiento#

Las anotaciones humanas de alta calidad ofrecen grandes mejoras frente al uso exclusivo de datos sintéticos o externos. Para obtener información de fondo sobre las prácticas de calidad de los datos, consulta recopilación y anotación de datos.

Aplicaciones#

La capacidad de segmentación de conceptos de SAM 3 permite nuevos casos de uso:

• Moderación de contenido: encuentra todas las instancias de tipos de contenido específicos en bibliotecas multimedia
• Comercio electrónico: segmenta todos los productos de un tipo determinado en imágenes de catálogo, con compatibilidad para la autoanotación
• Imágenes médicas: identifica todas las apariciones de tipos de tejido o anomalías específicos
• Sistemas autónomos: sigue todas las instancias de señales de tráfico, peatones o vehículos por categoría
• Análisis de vídeo: cuenta y sigue a todas las personas que llevan prendas específicas o realizan determinadas acciones
• Anotación de conjuntos de datos: anota rápidamente todas las instancias de categorías de objetos poco frecuentes
• Investigación científica: cuantifica y analiza todas las muestras que cumplen criterios específicos

Agente SAM 3: razonamiento lingüístico ampliado#

SAM 3 se puede combinar con modelos grandes de lenguaje multimodales (MLLM) para gestionar consultas complejas que requieren razonamiento, de forma similar a sistemas de vocabulario abierto como OWLv2 y T-Rex.

Rendimiento en tareas de razonamiento#

Ejemplos de consultas complejas#

El agente SAM 3 puede gestionar consultas que requieren razonamiento:

• "Personas sentadas, pero que no sostienen una caja de regalo en las manos"
• "El perro más cercano a la cámara que no lleva collar"
• «Objetos rojos más grandes que la mano de la persona»

El MLLM propone consultas sencillas en forma de sintagmas nominales a SAM 3, analiza las máscaras devueltas y repite el proceso hasta quedar satisfecho.

Limitaciones#

Aunque SAM 3 supone un avance importante, presenta ciertas limitaciones:

• Complejidad de las frases: Es más adecuado para sintagmas nominales sencillos; las expresiones referenciales largas o el razonamiento complejo pueden requerir la integración de un MLLM
• Gestión de la ambigüedad: Algunos conceptos siguen siendo intrínsecamente ambiguos (por ejemplo, «ventana pequeña» o «habitación acogedora»)
• Requisitos computacionales: Es más grande y lento que los modelos de detección especializados, como YOLO
• Alcance del vocabulario: Se centra en conceptos visuales atómicos; el razonamiento composicional es limitado sin la ayuda de un MLLM
• Conceptos poco frecuentes: El rendimiento puede degradarse con conceptos extremadamente raros o detallados que no estén bien representados en los datos de entrenamiento

Citación#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Preguntas frecuentes#