Segment Anything móvil (MobileSAM)#

MobileSAM es un modelo compacto y eficiente de segmentación de imágenes, diseñado específicamente para dispositivos móviles y periféricos. Diseñado para llevar la potencia del modelo Segment Anything de Meta (SAM) a entornos con recursos de computación limitados, MobileSAM ofrece una segmentación prácticamente instantánea, manteniendo la compatibilidad con el pipeline original de SAM. Tanto si desarrollas aplicaciones en tiempo real como implementaciones ligeras, MobileSAM proporciona resultados de segmentación impresionantes con una fracción de los requisitos de tamaño y velocidad de sus predecesores.

MobileSAM se ha adoptado en diversos proyectos, como Grounding-SAM, AnyLabeling y Segment Anything en 3D.

MobileSAM se entrenó en una sola GPU utilizando un conjunto de datos de 100 mil imágenes (el 1 % de las imágenes originales) en menos de un día.

Modelos disponibles, tareas compatibles y modos de funcionamiento#

La tabla siguiente resume el modelo MobileSAM disponible, sus pesos preentrenados, las tareas compatibles y la compatibilidad con distintos modos de funcionamiento, como Inferencia, Validación, Entrenamiento y Exportación. Los modos compatibles se indican con ✅ y los no compatibles, con ❌.

Comparación de MobileSAM con YOLO#

La siguiente comparación destaca las diferencias entre las variantes SAM de Meta, MobileSAM y los modelos de segmentación de Ultralytics, incluido YOLO26n-seg:

Esta comparación demuestra las diferencias sustanciales de tamaño y velocidad entre las variantes SAM y los modelos de segmentación YOLO. Aunque los modelos SAM ofrecen capacidades únicas de segmentación automática, los modelos YOLO —especialmente YOLOv8n-seg, YOLO11n-seg y YOLO26n-seg— son significativamente más pequeños, rápidos y eficientes desde el punto de vista computacional.

Las velocidades de SAM se han medido con PyTorch y las de YOLO, con ONNX Runtime. Las pruebas se han ejecutado en un Apple M4 Air de 2025 con 16 GB de RAM utilizando torch==2.10.0, ultralytics==8.4.31 y onnxruntime==1.24.4. Para reproducir estos resultados:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Adaptación de SAM a MobileSAM#

MobileSAM conserva el mismo pipeline que el SAM original, incluido el preprocesamiento, el posprocesamiento y todas las interfaces. Esto significa que puedes pasar de SAM a MobileSAM con cambios mínimos en tu flujo de trabajo.

La diferencia principal es el codificador de imágenes: MobileSAM sustituye el codificador ViT-H original (637 M de parámetros) por un codificador Tiny-ViT mucho más pequeño (5 M de parámetros). En una sola GPU, MobileSAM procesa una imagen en unos 12 ms (8 ms para el codificador y 4 ms para el decodificador de máscaras).

Comparación de codificadores de imágenes basados en ViT#

Decodificador de máscaras guiado por prompts#

Comparación del pipeline completo#

El rendimiento de MobileSAM y del SAM original se ilustra a continuación utilizando prompts de puntos y de cajas.

MobileSAM es aproximadamente 7 veces más pequeño y 5 veces más rápido que FastSAM. Para obtener más información, visita la página del proyecto MobileSAM.

Prueba de MobileSAM en Ultralytics#

Al igual que el SAM original, Ultralytics proporciona una interfaz sencilla para probar MobileSAM, compatible tanto con prompts de puntos como de cajas.

Descarga del modelo#

Descarga los pesos preentrenados de MobileSAM desde recursos de Ultralytics.

Prompt de punto#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt de caja#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM y SAM comparten la misma API. Para obtener más información sobre el uso, consulta la documentación de SAM.

Creación automática de conjuntos de datos de segmentación mediante un modelo de detección#

Para anotar automáticamente tu conjunto de datos con el framework de Ultralytics, utiliza la función auto_annotate, como se muestra a continuación:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citas y agradecimientos#

Si MobileSAM te resulta útil en tu investigación o desarrollo, considera citar el siguiente artículo:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lee el artículo completo de MobileSAM en arXiv.

Preguntas frecuentes#