Modelo "Segment Anything" (SAM)

Bienvenido a la frontera de la segmentación de imágenes con el Segment Anything Model, o SAM. Este revolucionario modelo ha cambiado las reglas del juego al introducir la segmentación de imágenes a demanda con rendimiento en tiempo real, estableciendo nuevos estándares en este campo.

Introducción a SAM: El modelo Segment Anything

El modelo Segment Anything, o SAM, es un modelo vanguardista de segmentación de imágenes que permite la segmentación a demanda, lo que proporciona una versatilidad sin precedentes en las tareas de análisis de imágenes. SAM constituye el núcleo de la iniciativa Segment Anything, un proyecto innovador que introduce un modelo, una tarea y un conjunto de datos novedosos para la segmentación de imágenes.

SAMEl avanzado diseño de le permite adaptarse a nuevas distribuciones de imágenes y tareas sin necesidad de conocimientos previos, una característica conocida como transferencia sin disparos. Entrenado en el amplio conjunto de datos SA-1B, que contiene más de mil millones de máscaras repartidas en 11 millones de imágenes cuidadosamente seleccionadas, SAM ha mostrado un impresionante rendimiento sin disparos, superando en muchos casos los resultados anteriores totalmente supervisados.

SA-1B Imágenes de ejemplo. Máscaras superpuestas de imágenes del nuevo conjunto de datos SA-1B. SA-1B contiene 11 millones de imágenes diversas, de alta resolución, con licencia y con protección de la privacidad, y 1.100 máscaras de segmentación de alta calidad. Estas máscaras fueron anotadas de forma totalmente automática por SAM y, según se ha comprobado mediante valoraciones humanas y numerosos experimentos, son de gran calidad y diversidad. Las imágenes se agrupan por número de máscaras por imagen para su visualización (hay ∼100 máscaras por imagen de media).

Características principales del modelo Segment Anything (SAM)

• Tarea de segmentación con estímulo: SAM se diseñó teniendo en cuenta una tarea de segmentación con estímulo, lo que le permite generar máscaras de segmentación válidas a partir de cualquier estímulo, como pistas espaciales o de texto que identifiquen un objeto.
• Arquitectura avanzada: El modelo Segment Anything emplea un potente codificador de imágenes, un codificador de avisos y un descodificador de máscaras ligero. Esta arquitectura única permite realizar consultas flexibles, calcular máscaras en tiempo real y detectar ambigüedades en las tareas de segmentación.
• El conjunto de datos SA-1B: Introducido por el proyecto Segment Anything, el conjunto de datos SA-1B incluye más de mil millones de máscaras en 11 millones de imágenes. Al ser el mayor conjunto de datos de segmentación hasta la fecha, proporciona a SAM una fuente de datos de entrenamiento diversa y a gran escala.
• Rendimiento de disparo cero: SAM presenta un rendimiento de disparo cero excepcional en diversas tareas de segmentación, lo que la convierte en una herramienta lista para usar en diversas aplicaciones con una necesidad mínima de ingeniería inmediata.

Para conocer en profundidad el modelo Segment Anything y el conjunto de datos SA-1B, visite el sitio web de Segment Anything y consulte el documento de investigación Segment Anything.

Modelos disponibles, tareas admitidas y modos de funcionamiento

Esta tabla presenta los modelos disponibles con sus pesos específicos preentrenados, las tareas que admiten y su compatibilidad con distintos modos de funcionamiento como Inferencia, Validación, Entrenamiento y Exportación, indicados mediante emojis ✅ para los modos admitidos y emojis ❌ para los modos no admitidos.

Cómo utilizar SAM: Versatilidad y potencia en la segmentación de imágenes

El modelo Segment Anything puede emplearse para multitud de tareas posteriores que van más allá de sus datos de entrenamiento. Esto incluye la detección de bordes, la generación de propuestas de objetos, la segmentación de instancias y la predicción preliminar de texto a máscara. Con una ingeniería rápida, SAM puede adaptarse rápidamente a nuevas tareas y distribuciones de datos de forma instantánea, estableciéndose como una herramienta versátil y potente para todas sus necesidades de segmentación de imágenes.

SAM ejemplo de predicción

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

# Run inference with a SAM model
yolo predict model=sam_b.pt source=path/to/image.jpg

• La lógica aquí es segmentar toda la imagen si no pasas ninguna indicación(bboxes/puntos/máscaras).

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Más argumentos adicionales para Segment everything véase Predictor/generate Referencia.

SAM comparación vs YOLOv8

Aquí comparamos el modelo más pequeño de Meta SAM , SAM-b, con el modelo más pequeño de segmentación Ultralytics , YOLOv8n-seg:

Esta comparación muestra las diferencias de orden de magnitud entre los tamaños y velocidades de los modelos. Aunque SAM presenta capacidades únicas para la segmentación automática, no es un competidor directo de los modelos de segmentación de YOLOv8 , que son más pequeños, rápidos y eficaces.

Pruebas realizadas en un Macbook Apple M2 2023 con 16 GB de RAM. Para reproducir esta prueba:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLOv8n-seg
model = YOLO("yolov8n-seg.pt")
model.info()
model(ASSETS)

Anotación automática: Un camino rápido hacia los conjuntos de datos de segmentación

La anotación automática es una característica clave de SAM, que permite a los usuarios generar un conjunto de datos de segmentación utilizando un modelo de detección preentrenado. Esta función permite la anotación rápida y precisa de un gran número de imágenes, evitando la necesidad de un laborioso etiquetado manual.

Genere su conjunto de datos de segmentación utilizando un modelo de detección

Para auto-anotar su conjunto de datos con el marco Ultralytics , utilice la función auto_annotate como se muestra a continuación:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo11x.pt", sam_model="sam_b.pt")

En auto_annotate toma la ruta de acceso a sus imágenes, con argumentos opcionales para especificar los modelos de detección y segmentación SAM preentrenados, el dispositivo en el que ejecutar los modelos y el directorio de salida para guardar los resultados anotados.

La anotación automática con modelos preentrenados puede reducir drásticamente el tiempo y el esfuerzo necesarios para crear conjuntos de datos de segmentación de alta calidad. Esta función es especialmente beneficiosa para los investigadores y desarrolladores que trabajan con grandes colecciones de imágenes, ya que les permite centrarse en el desarrollo y la evaluación de modelos en lugar de en la anotación manual.

Citas y agradecimientos

Si encuentra útil SAM en su trabajo de investigación o desarrollo, considere la posibilidad de citar nuestro artículo:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Nos gustaría expresar nuestra gratitud a Meta AI por crear y mantener este valioso recurso para la comunidad de visión por computador.

PREGUNTAS FRECUENTES

¿Qué es el Segment Anything Model (SAM) de Ultralytics?

El Segment Anything Model (SAM) de Ultralytics es un revolucionario modelo de segmentación de imágenes diseñado para tareas de segmentación a partir de indicaciones. Aprovecha una arquitectura avanzada, que incluye codificadores de imágenes y avisos combinados con un decodificador de máscaras ligero, para generar máscaras de segmentación de alta calidad a partir de varios avisos, como señales espaciales o de texto. Entrenado en el amplio conjunto de datos SA-1B, SAM destaca por su rendimiento sin disparos, adaptándose a nuevas distribuciones de imágenes y tareas sin necesidad de conocimientos previos. Obtenga más información aquí.

¿Cómo puedo utilizar el modelo Segment Anything Model (SAM) para la segmentación de imágenes?

Puede utilizar el Segment Anything Model (SAM) para la segmentación de imágenes ejecutando la inferencia con varias indicaciones como cajas delimitadoras o puntos. He aquí un ejemplo que utiliza Python:

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Segment with bounding box prompt
model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Segment with points prompt
model("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Segment with multiple points prompt
model("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[[1, 1]])

# Segment with multiple points prompt per object
model("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Segment with negative points prompt.
model("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Alternativamente, puede ejecutar la inferencia con SAM en la interfaz de línea de comandos (CLI):

yolo predict model=sam_b.pt source=path/to/image.jpg

Para obtener instrucciones de uso más detalladas, visite la sección Segmentación.

¿Cómo se comparan SAM y YOLOv8 en términos de rendimiento?

En comparación con YOLOv8, los modelos SAM como SAM-b y FastSAM-s son más grandes y lentos, pero ofrecen capacidades únicas para la segmentación automática. Por ejemplo, Ultralytics YOLOv8n -seg es 53,4 veces más pequeño y 866 veces más rápido que SAM-b. Sin embargo, el rendimiento de SAM's zero-shot lo hace altamente flexible y eficiente en diversas tareas no entrenadas. Obtenga más información sobre las comparaciones de rendimiento entre SAM y YOLOv8 aquí.

¿Cómo puedo autoanotar mi conjunto de datos mediante SAM?

Ultralytics' SAM ofrece una función de anotación automática que permite generar conjuntos de datos de segmentación utilizando un modelo de detección preentrenado. He aquí un ejemplo en Python:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolov8x.pt", sam_model="sam_b.pt")

Esta función toma la ruta a sus imágenes y argumentos opcionales para los modelos de detección preentrenados y de segmentación SAM , junto con las especificaciones del dispositivo y del directorio de salida. Para obtener una guía completa, consulte Anotación automática.

¿Qué conjuntos de datos se utilizan para entrenar el modelo Segment Anything (SAM)?

SAM se entrena con el extenso conjunto de datos SA-1B, que incluye más de mil millones de máscaras en 11 millones de imágenes. SA-1B es el mayor conjunto de datos de segmentación hasta la fecha y proporciona datos de entrenamiento diversos y de alta calidad, lo que garantiza un impresionante rendimiento sin disparos en diversas tareas de segmentación. Si desea más información, visite la sección Conjunto de datos.

Creado hace 1 año ✏️ Actualizado hace 1 mes

Comentarios