Modelo de todo por segmentos (SAM)

Bienvenido a la frontera de la segmentación de imágenes con el Segment Anything Model, o SAM. Este revolucionario modelo ha cambiado las reglas del juego al introducir la segmentación de imágenes con un rendimiento en tiempo real, estableciendo nuevos estándares en este campo.

Introducción a SAM: El modelo Segment Anything

El Modelo Segmentar Cualquier Cosa, o SAM, es un modelo de segmentación de imágenes de vanguardia que permite la segmentación a demanda, proporcionando una versatilidad sin precedentes en las tareas de análisis de imágenes. SAM constituye el núcleo de la iniciativa Segmentar Cualquier Cosa, un proyecto innovador que introduce un modelo, una tarea y un conjunto de datos novedosos para la segmentación de imágenes.

SAMle permite adaptarse a nuevas distribuciones de imágenes y tareas sin conocimientos previos, una característica conocida como transferencia sin disparos. Entrenado en el amplio conjunto de datos SA-1B, que contiene más de 1.000 millones de máscaras repartidas en 11 millones de imágenes cuidadosamente seleccionadas, SAM ha mostrado un impresionante rendimiento sin disparos, superando en muchos casos los resultados anteriores totalmente supervisados.

SA-1B Imágenes de ejemplo. Máscaras superpuestas de imágenes del conjunto de datos SA-1B, recientemente introducido. SA-1B contiene 11M de imágenes diversas, de alta resolución, con licencia y protección de la privacidad, y 1,1B de máscaras de segmentación de alta calidad. Estas máscaras fueron anotadas de forma totalmente automática por SAM, y según lo verificado por valoraciones humanas y numerosos experimentos, son de alta calidad y diversidad. Las imágenes se agrupan por número de máscaras por imagen para su visualización (hay ∼100 máscaras por imagen de media).

Características clave del modelo de todo por segmentos (SAM)

• Tarea de segmentación con indicación: SAM se diseñó teniendo en cuenta una tarea de segmentación con indicación, lo que le permite generar máscaras de segmentación válidas a partir de cualquier indicación, como pistas espaciales o de texto que identifiquen un objeto.
• Arquitectura avanzada: El Modelo Segmentar Cualquier Cosa emplea un potente codificador de imágenes, un codificador de indicaciones y un decodificador de máscaras ligero. Esta arquitectura única permite una orientación flexible, el cálculo de máscaras en tiempo real y el conocimiento de la ambigüedad en las tareas de segmentación.
• El conjunto de datos SA-1B: Introducido por el proyecto Segment Anything, el conjunto de datos SA-1B presenta más de 1.000 millones de máscaras en 11 millones de imágenes. Al ser el mayor conjunto de datos de segmentación hasta la fecha, proporciona a SAM una fuente de datos de entrenamiento diversa y a gran escala.
• Rendimiento de disparo cero: SAM muestra un rendimiento de disparo cero excepcional en varias tareas de segmentación, lo que la convierte en una herramienta lista para usar en diversas aplicaciones con una necesidad mínima de ingeniería rápida.

Para conocer en profundidad el modelo Segment Anything y el conjunto de datos SA-1B, visita el sitio web de Segment Anything y consulta el documento de investigación Segment Anything.

Modelos disponibles, tareas admitidas y modos de funcionamiento

Esta tabla presenta los modelos disponibles con sus pesos específicos preentrenados, las tareas que admiten y su compatibilidad con distintos modos de funcionamiento como Inferencia, Validación, Entrenamiento y Exportación, indicados con ✅ emojis para los modos admitidos y ❌ emojis para los modos no admitidos.

Cómo utilizar SAM: Versatilidad y potencia en la segmentación de imágenes

El Modelo Segmentar Cualquier Cosa puede emplearse para multitud de tareas posteriores que van más allá de sus datos de entrenamiento. Esto incluye la detección de bordes, la generación de propuestas de objetos, la segmentación de instancias y la predicción preliminar de texto a máscara. Con una ingeniería rápida, SAM puede adaptarse rápidamente a nuevas tareas y distribuciones de datos de forma instantánea, estableciéndose como una herramienta versátil y potente para todas tus necesidades de segmentación de imágenes.

SAM ejemplo de predicción

from ultralytics import SAM

# Load a model
model = SAM('sam_b.pt')

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
model('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])

# Run inference with points prompt
model('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])

from ultralytics import SAM

# Load a model
model = SAM('sam_b.pt')

# Display model information (optional)
model.info()

# Run inference
model('path/to/image.jpg')

# Run inference with a SAM model
yolo predict model=sam_b.pt source=path/to/image.jpg

• La lógica aquí es segmentar toda la imagen si no pasas ninguna indicación (bboxes/puntos/máscaras).

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task='segment', mode='predict', imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])
results = predictor(points=[900, 370], labels=[1])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task='segment', mode='predict', imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Más argumentos adicionales para Segment everything consulta Predictor/generate Referencia.

SAM comparación vs YOLOv8

Aquí comparamos el modelo de SAM más pequeño de Meta, SAM-b, con el modelo de segmentación más pequeño de Ultralytics , YOLOv8n-seg:

Esta comparación muestra las diferencias de orden de magnitud en los tamaños y velocidades de los modelos entre sí. Aunque SAM presenta capacidades únicas para la segmentación automática, no es un competidor directo de los modelos de segmentación de YOLOv8 , que son más pequeños, rápidos y eficaces.

Las pruebas se realizan en un Macbook M2 de Apple 2023 con 16 GB de RAM. Para reproducir esta prueba

from ultralytics import FastSAM, SAM, YOLO

# Profile SAM-b
model = SAM('sam_b.pt')
model.info()
model('ultralytics/assets')

# Profile MobileSAM
model = SAM('mobile_sam.pt')
model.info()
model('ultralytics/assets')

# Profile FastSAM-s
model = FastSAM('FastSAM-s.pt')
model.info()
model('ultralytics/assets')

# Profile YOLOv8n-seg
model = YOLO('yolov8n-seg.pt')
model.info()
model('ultralytics/assets')

Anotación automática: Un camino rápido hacia los conjuntos de datos de segmentación

La anotación automática es una función clave de SAM, que permite a los usuarios generar un conjunto de datos de segmentación utilizando un modelo de detección preentrenado. Esta función permite la anotación rápida y precisa de un gran número de imágenes, evitando la necesidad de un laborioso etiquetado manual.

Genera tu conjunto de datos de segmentación utilizando un modelo de detección

Para auto-anotar tu conjunto de datos con el marco Ultralytics , utiliza la función auto_annotate como se muestra a continuación:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolov8x.pt", sam_model='sam_b.pt')

En auto_annotate toma la ruta a tus imágenes, con argumentos opcionales para especificar los modelos preentrenados de detección y segmentación SAM , el dispositivo en el que ejecutar los modelos y el directorio de salida para guardar los resultados anotados.

La anotación automática con modelos preentrenados puede reducir drásticamente el tiempo y el esfuerzo necesarios para crear conjuntos de datos de segmentación de alta calidad. Esta función es especialmente beneficiosa para los investigadores y desarrolladores que trabajan con grandes colecciones de imágenes, ya que les permite centrarse en el desarrollo y la evaluación de modelos en lugar de en la anotación manual.

Citas y agradecimientos

Si encuentras útil SAM en tu trabajo de investigación o desarrollo, considera la posibilidad de citar nuestro documento:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Queremos expresar nuestra gratitud a Meta AI por crear y mantener este valioso recurso para la comunidad de visión por ordenador.

palabras clave: Segmentar Cualquier Cosa, Modelo Segmentar Cualquier Cosa, SAM, Meta SAM, segmentación de imágenes, segmentación promptable, rendimiento cero disparos, conjunto de datos SA-1B, arquitectura avanzada, anotación automática, Ultralytics, modelos preentrenados, SAM base, SAM grande, segmentación de instancias, visión por ordenador, IA, inteligencia artificial, aprendizaje automático, anotación de datos, máscaras de segmentación, modelo de detección, YOLO modelo de detección, bibtex, Meta AI.

Comentarios