SAM 3: segmenta cualquier elemento con conceptos#

SAM 3 (Modelo de segmentación de cualquier elemento 3) es el modelo fundacional de Meta para la segmentación de conceptos mediante indicaciones (PCS). Basado en SAM 2, SAM 3 introduce una capacidad fundamentalmente nueva: detectar, segmentar y seguir todas las instancias de un concepto visual especificado mediante indicaciones de texto, imágenes de ejemplo o ambas. A diferencia de las versiones anteriores de SAM, que segmentan un solo objeto por indicación, SAM 3 puede encontrar y segmentar todas las apariciones de un concepto en cualquier parte de imágenes o vídeos, en consonancia con los objetivos de vocabulario abierto de la segmentación de instancias moderna.

SAM 3 está totalmente integrado en el paquete ultralytics, que ofrece compatibilidad nativa con la segmentación de conceptos mediante indicaciones de texto, imágenes de ejemplo y seguimiento de vídeo. El nuevo punto de control SAM 3.1 es compatible con la predicción de imágenes.

Descripción general#

SAM 3 ofrece un rendimiento 2× superior al de los sistemas existentes en segmentación de conceptos mediante indicaciones, y mantiene y mejora las capacidades de SAM 2 para la segmentación visual interactiva. El modelo destaca en la segmentación de vocabulario abierto y permite a los usuarios especificar conceptos mediante frases nominales sencillas (p. ej., «autobús escolar amarillo» o «gato atigrado») o proporcionando imágenes de ejemplo del objeto objetivo. Estas capacidades complementan los flujos de trabajo listos para producción que se basan en procesos optimizados de predicción y seguimiento.

¿Qué es la segmentación de conceptos mediante indicaciones (PCS)?#

La tarea PCS recibe como entrada una indicación de concepto y devuelve máscaras de segmentación con identidades únicas para todas las instancias de objetos coincidentes. Las indicaciones de concepto pueden ser:

• Texto: frases nominales sencillas como «manzana roja» o «persona con sombrero», similares a las del aprendizaje de cero ejemplos
• Imágenes de ejemplo: cuadros delimitadores alrededor de objetos de ejemplo (positivos o negativos) para una generalización rápida
• Combinadas: texto e imágenes de ejemplo a la vez para un control preciso

Esto difiere de las indicaciones visuales tradicionales (puntos, cuadros y máscaras), que segmentan una única instancia de objeto concreta, como se popularizó con la familia SAM original.

Métricas clave de rendimiento#

Para contextualizar las métricas de los modelos y las ventajas e inconvenientes en producción, consulta análisis de evaluación de modelos y métricas de rendimiento de YOLO.

SAM 3.1#

SAM 3.1, publicado por Meta el 27 de marzo de 2026, es un nuevo punto de control de SAM 3 que añade Object Multiplex, un método de memoria compartida para el seguimiento de varios objetos en vídeo. En lugar de procesar cada objeto seguido de forma independiente, SAM 3.1 agrupa los objetos en bloques de capacidad fija y los procesa conjuntamente; según Meta, esto supone una aceleración de ~7× con 128 objetos en una sola GPU H100. El detector de imágenes y la cabeza interactiva basada en indicaciones de puntos conservan la arquitectura de SAM 3.

Ultralytics carga el punto de control de SAM 3.1 (sam3.1_multiplex.pt) en los predictores de imágenes de SAM 3: SAM("sam3.1_multiplex.pt") para indicaciones de puntos y cuadros, y SAM3SemanticPredictor para indicaciones de texto e imágenes de ejemplo. El seguimiento de vídeo Object Multiplex aún no es compatible, así que sigue usando sam3.pt con SAM3VideoPredictor y SAM3VideoSemanticPredictor.

Arquitectura#

SAM 3 consta de un detector y un seguidor que comparten una red troncal visual Perception Encoder (PE). Este diseño desacoplado evita conflictos entre tareas y permite tanto la detección a nivel de imagen como el seguimiento a nivel de vídeo, con una interfaz compatible con el uso de Python y el uso de la CLI de Ultralytics.

Componentes principales#

• Detector: arquitectura basada en DETR para la detección de conceptos a nivel de imagen

  • Codificador de texto para indicaciones de frases nominales
  • Codificador de imágenes de ejemplo para indicaciones basadas en imágenes
  • Codificador de fusión para condicionar las características de la imagen según las indicaciones
  • Nueva cabeza de presencia que desacopla el reconocimiento («qué») de la localización («dónde»)
  • Cabeza de máscaras para generar máscaras de segmentación de instancias

• Seguidor: segmentación de vídeo basada en memoria, heredada de SAM 2

  • Codificador de indicaciones, decodificador de máscaras y codificador de memoria
  • Banco de memoria para almacenar la apariencia de los objetos entre fotogramas
  • Desambiguación temporal asistida por técnicas como un filtro de Kalman en situaciones con varios objetos

• Token de presencia: token global aprendido que predice si el concepto objetivo está presente en la imagen o el fotograma y mejora la detección al separar el reconocimiento de la localización.

Innovaciones clave#

1. Reconocimiento y localización desacoplados: La cabeza de presencia predice globalmente la presencia del concepto, mientras que las consultas de propuestas se centran únicamente en la localización, lo que evita objetivos contrapuestos.
2. Indicaciones unificadas de conceptos y visuales: Admite tanto PCS (indicaciones de conceptos) como PVS (indicaciones visuales, como los clics y los cuadros de SAM 2) en un único modelo.
3. Refinamiento interactivo con ejemplos: Los usuarios pueden añadir ejemplos de imagen positivos o negativos para refinar los resultados de forma iterativa; el modelo generaliza a objetos similares, en lugar de limitarse a corregir instancias individuales.
4. Desambiguación temporal: Utiliza puntuaciones de detección de masklets y vuelve a solicitar indicaciones periódicamente para gestionar oclusiones, escenas abarrotadas y fallos de seguimiento en vídeo, de acuerdo con las prácticas recomendadas de segmentación de instancias y seguimiento.

Conjunto de datos SA-Co#

SAM 3 se entrena con Segment Anything with Concepts (SA-Co), el conjunto de datos de segmentación más grande y diverso de Meta hasta la fecha, que va más allá de referencias habituales como COCO y LVIS.

Datos de entrenamiento#

Datos de evaluación comparativa#

La referencia de evaluación SA-Co contiene 214 mil frases únicas en 126 mil imágenes y vídeos, lo que ofrece más de 50 veces más conceptos que las referencias existentes. Incluye:

• SA-Co/Gold: 7 ámbitos, con triple anotación para medir los límites del rendimiento humano
• SA-Co/Silver: 10 ámbitos, con una única anotación humana
• SA-Co/Bronze y SA-Co/Bio: 9 conjuntos de datos existentes adaptados a la segmentación de conceptos
• SA-Co/VEval: referencia de vídeo con 3 ámbitos (SA-V, YT-Temporal-1B, SmartGlasses)

Innovaciones en el motor de datos#

El motor de datos escalable de SAM 3, con intervención humana y del modelo, consigue duplicar el rendimiento de anotación mediante:

1. Anotadores de IA: Los modelos basados en Llama proponen diversas frases nominales, incluidos negativos difíciles
2. Verificadores de IA: Los LLM multimodales ajustados verifican la calidad y exhaustividad de las máscaras con un rendimiento casi humano
3. Minería activa: Centra el esfuerzo humano en casos difíciles en los que la IA falla
4. Basado en ontologías: Aprovecha una amplia ontología fundamentada en Wikidata para abarcar conceptos

Instalación#

Instala o actualiza el paquete ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Cómo usar SAM 3: versatilidad en la segmentación de conceptos#

SAM 3 admite tareas de segmentación de conceptos con indicaciones (PCS) y de segmentación visual con indicaciones (PVS) mediante distintas interfaces de predictor:

Tareas y modelos compatibles#

Ejemplos de segmentación de conceptos#

Segmentación con indicaciones de texto#

from ultralytics.models.sam import SAM3SemanticPredictor

# Inicializa el predictor con la configuración
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Usa FP16 para acelerar la inferencia
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Configura la imagen una sola vez para varias consultas
predictor.set_image("path/to/image.jpg")

# Realiza consultas con varias indicaciones de texto
results = predictor(text=["person", "bus", "glasses"])

# Funciona con frases descriptivas
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Realiza una consulta con un único concepto
results = predictor(text=["a person"])

Segmentación con ejemplos de imagen#

from ultralytics.models.sam import SAM3SemanticPredictor

# Inicializa el predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Configura la imagen
predictor.set_image("path/to/image.jpg")

# Proporciona ejemplos de cuadros delimitadores para segmentar objetos similares
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Varios cuadros delimitadores como ejemplos de un mismo concepto visual
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferencia basada en características para mejorar la eficiencia#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Inicializa los predictores
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extrae las características del primer predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Configura el segundo predictor y reutiliza las características
predictor2.setup_model()

# Realiza inferencias con las características compartidas y una indicación de texto
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Realiza inferencias con las características compartidas y una indicación de cuadro delimitador
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualiza los resultados
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentación de conceptos en vídeo#

Sigue conceptos en todo el vídeo mediante cuadros delimitadores#

from ultralytics.models.sam import SAM3VideoPredictor

# Crea el predictor de vídeo
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Sigue objetos mediante indicaciones de cuadros delimitadores
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Procesa y muestra los resultados
for r in results:
    r.show()  # Muestra el fotograma con las máscaras de segmentación

Sigue conceptos mediante indicaciones de texto#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Inicializa el predictor semántico de vídeo
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Sigue conceptos mediante indicaciones de texto
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Procesa los resultados
for r in results:
    r.show()  # Muestra el fotograma con los objetos seguidos

# Alternativa: realiza el seguimiento con indicaciones de cuadros delimitadores
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Etiquetas positivas
    stream=True,
)

Indicaciones visuales (compatibilidad con SAM 2)#

SAM 3 mantiene la compatibilidad total con versiones anteriores para las indicaciones visuales de SAM 2 en la segmentación de un solo objeto:

from ultralytics import SAM

model = SAM("sam3.pt")

# Indicación de un único punto: segmenta el objeto en una ubicación concreta
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Varios puntos: segmenta un único objeto con varias indicaciones de puntos
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Indicación de cuadro: segmenta el objeto dentro de un cuadro delimitador
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Pruebas de rendimiento#

Segmentación de imágenes#

SAM 3 logra resultados de vanguardia en diversas pruebas de referencia, incluidos conjuntos de datos del mundo real como LVIS y COCO para segmentación:

Explora opciones de conjuntos de datos para experimentar rápidamente en conjuntos de datos de Ultralytics.

Rendimiento de la segmentación de vídeo#

SAM 3 mejora notablemente los resultados de SAM 2 y de los modelos anteriores de vanguardia en pruebas de referencia de vídeo, como DAVIS 2017 y YouTube-VOS:

Adaptación con pocos ejemplos#

SAM 3 destaca por su adaptación a nuevos dominios con ejemplos mínimos, algo relevante para los flujos de trabajo de IA centrada en los datos:

Eficacia del refinamiento interactivo#

Las indicaciones basadas en conceptos con ejemplos de SAM 3 convergen mucho más rápido que las indicaciones visuales:

Precisión del recuento de objetos#

SAM 3 ofrece recuentos precisos al segmentar todas las instancias, un requisito habitual en el recuento de objetos:

Comparación entre SAM 3, SAM 2 y YOLO#

Aquí comparamos las capacidades de SAM 3 con SAM 2 y los modelos YOLO26. Para la detección y segmentación de vocabulario abierto en tiempo real con los mismos tipos de indicaciones, consulta YOLOE:

Velocidad medida en una NVIDIA RTX PRO 6000 con torch==2.9.1 y ultralytics==8.4.19.

Conclusiones clave:

• SAM 3: la mejor opción para segmentar conceptos con vocabulario abierto y encontrar todas las instancias de un concepto mediante indicaciones de texto o ejemplos
• SAM 2: la mejor opción para segmentar interactivamente un único objeto en imágenes y vídeos mediante indicaciones geométricas
• YOLO26: la mejor opción para segmentar en tiempo real a gran velocidad, con inferencia de extremo a extremo opcional sin NMS, exportable a muchos formatos para su implementación en GPU, CPU y dispositivos periféricos

Comparación de SAM frente a YOLO#

Comparamos SAM 3, SAM 2, SAM, MobileSAM y FastSAM con los modelos de segmentación YOLO de Ultralytics (YOLOv8, YOLO11, YOLO26) en cuanto a tamaño, parámetros y velocidad de inferencia en GPU:

Esta comparación muestra las diferencias considerables de tamaño y velocidad entre las variantes de SAM y los modelos de segmentación YOLO. Aunque SAM ofrece capacidades únicas de segmentación automática, los modelos YOLO, en particular YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg, son mucho más pequeños, rápidos y eficientes desde el punto de vista computacional.

Pruebas realizadas en una NVIDIA RTX PRO 6000 con 96 GB de VRAM usando torch==2.9.1 y ultralytics==8.4.19. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Perfilar SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Perfilar FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Perfilar modelos YOLO
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # Cabezal sin NMS de YOLO26; no hace nada con YOLOv8/YOLO11

Métricas de evaluación#

SAM 3 introduce nuevas métricas diseñadas para la tarea PCS, que complementan medidas conocidas como la puntuación F1, la precisión y la exhaustividad.

F1 con clasificación condicionada (CGF1)#

La métrica principal combina localización y clasificación:

CGF1 = 100 × pmF1 × IL_MCC

Donde:

• pmF1 (F1 macro positiva): mide la calidad de la localización en ejemplos positivos
• IL_MCC (coeficiente de correlación de Matthews a nivel de imagen): mide la precisión de la clasificación binaria («¿está presente el concepto?»)

¿Por qué estas métricas?#

Las métricas AP tradicionales no tienen en cuenta la calibración, lo que dificulta el uso práctico de los modelos. Al evaluar únicamente las predicciones con una confianza superior a 0,5, las métricas de SAM 3 exigen una buena calibración y reproducen los patrones de uso reales en los ciclos interactivos de predicción y seguimiento.

Ablaciones e ideas clave#

Impacto del cabezal de presencia#

El cabezal de presencia separa el reconocimiento de la localización y ofrece mejoras significativas:

El cabezal de presencia aporta una mejora de +5.7 en CGF1 (+9.9 %), principalmente al mejorar la capacidad de reconocimiento (IL_MCC +6.5 %).

Efecto de los negativos difíciles#

Los negativos difíciles son esenciales para el reconocimiento de vocabulario abierto y mejoran IL_MCC un 54.5 % (0.44 → 0.68).

Escalado de los datos de entrenamiento#

Las anotaciones humanas de alta calidad ofrecen grandes mejoras frente a usar únicamente datos sintéticos o externos. Para obtener información sobre las prácticas de calidad de los datos, consulta recopilación y anotación de datos.

Aplicaciones#

La capacidad de segmentación de conceptos de SAM 3 permite nuevos casos de uso:

• Moderación de contenidos: encuentra todas las instancias de tipos de contenido específicos en bibliotecas multimedia
• Comercio electrónico: segmenta todos los productos de un tipo concreto en imágenes de catálogo y facilita la anotación automática
• Imagen médica: identifica todas las apariciones de tipos de tejido o anomalías específicos
• Sistemas autónomos: sigue todas las instancias de señales de tráfico, peatones o vehículos por categoría
• Analítica de vídeo: cuenta y sigue a todas las personas que llevan prendas específicas o realizan determinadas acciones
• Anotación de conjuntos de datos: anota rápidamente todas las instancias de categorías de objetos poco frecuentes
• Investigación científica: cuantifica y analiza todas las muestras que cumplen criterios específicos

Agente SAM 3: razonamiento lingüístico ampliado#

SAM 3 se puede combinar con modelos de lenguaje grandes multimodales (MLLM) para responder a consultas complejas que requieren razonamiento, de forma similar a sistemas de vocabulario abierto como OWLv2 y T-Rex.

Rendimiento en tareas de razonamiento#

Ejemplos de consultas complejas#

El agente SAM 3 puede responder a consultas que requieren razonamiento:

• «Personas sentadas que no sostienen una caja de regalo en las manos»
• «El perro más cercano a la cámara que no lleva collar»
• «Objetos rojos más grandes que la mano de la persona»

El MLLM propone a SAM 3 consultas sencillas en forma de sintagmas nominales, analiza las máscaras obtenidas y repite el proceso hasta obtener el resultado deseado.

Limitaciones#

Aunque SAM 3 supone un gran avance, tiene ciertas limitaciones:

• Complejidad de las frases: funciona mejor con sintagmas nominales sencillos; las expresiones referenciales largas o el razonamiento complejo pueden requerir la integración de un MLLM
• Gestión de la ambigüedad: algunos conceptos siguen siendo intrínsecamente ambiguos (p. ej., «ventana pequeña», «habitación acogedora»)
• Requisitos computacionales: es más grande y lento que los modelos de detección especializados como YOLO
• Alcance del vocabulario: se centra en conceptos visuales atómicos; el razonamiento composicional es limitado sin la ayuda de un MLLM
• Conceptos poco frecuentes: el rendimiento puede disminuir con conceptos muy poco frecuentes o detallados que no estén bien representados en los datos de entrenamiento

Cita#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Preguntas frecuentes#