Segment Anything para dispositivos móveis (MobileSAM)#

O MobileSAM é um modelo compacto e eficiente de segmentação de imagens, desenvolvido especificamente para dispositivos móveis e de edge. Concebido para levar o poder do modelo Segment Anything da Meta (SAM) a ambientes com capacidade computacional limitada, o MobileSAM fornece segmentação quase instantânea, mantendo a compatibilidade com o pipeline SAM original. Quer estejas a desenvolver aplicações em tempo real ou implementações leves, o MobileSAM fornece resultados de segmentação impressionantes com uma fração dos requisitos de tamanho e velocidade dos seus predecessores.

O MobileSAM foi adotado em vários projetos, incluindo o Grounding-SAM, o AnyLabeling e o Segment Anything in 3D.

O MobileSAM foi treinado em uma única GPU usando um conjunto de dados de 100 mil imagens (1% das imagens originais) em menos de um dia.

Modelos disponíveis, tarefas compatíveis e modos de operação#

A tabela abaixo apresenta o modelo MobileSAM disponível, os respetivos pesos pré-treinados, as tarefas suportadas e a compatibilidade com diferentes modos de operação, como Inferência, Validação, Treino e Exportação. Os modos suportados são indicados por ✅ e os modos não suportados por ❌.

Comparação do MobileSAM com o YOLO#

A comparação seguinte destaca as diferenças entre as variantes SAM da Meta, o MobileSAM e os modelos de segmentação da Ultralytics, incluindo o YOLO26n-seg:

Esta comparação demonstra as diferenças substanciais no tamanho e na velocidade dos modelos entre as variantes SAM e os modelos de segmentação YOLO. Embora os modelos SAM ofereçam capacidades únicas de segmentação automática, os modelos YOLO — especialmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg — são significativamente menores, mais rápidos e mais eficientes em termos computacionais.

As velocidades do SAM foram medidas com PyTorch e as velocidades do YOLO com ONNX Runtime. Os testes foram executados num Apple M4 Air de 2025 com 16 GB de RAM, utilizando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Para reproduzir estes resultados:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Adaptação do SAM para o MobileSAM#

O MobileSAM mantém o mesmo pipeline do SAM original, incluindo o pré-processamento, o pós-processamento e todas as interfaces. Isto significa que podes passar do SAM para o MobileSAM com alterações mínimas ao teu fluxo de trabalho.

A principal diferença está no codificador de imagens: o MobileSAM substitui o codificador ViT-H original (637 milhões de parâmetros) por um codificador Tiny-ViT muito mais pequeno (5 milhões de parâmetros). Numa única GPU, o MobileSAM processa uma imagem em cerca de 12 ms (8 ms para o codificador e 4 ms para o descodificador de máscaras).

Comparação de codificadores de imagens baseados em ViT#

Descodificador de máscaras guiado por prompts#

Comparação de todo o pipeline#

O desempenho do MobileSAM e do SAM original é ilustrado abaixo utilizando prompts de pontos e de caixas.

O MobileSAM é aproximadamente 7 vezes menor e 5 vezes mais rápido do que o FastSAM. Para obter mais detalhes, visita a página do projeto MobileSAM.

Testar o MobileSAM na Ultralytics#

Tal como o SAM original, a Ultralytics fornece uma interface simples para testar o MobileSAM, com suporte para prompts de pontos e de caixas.

Transferência do modelo#

Transfere os pesos pré-treinados do MobileSAM a partir dos recursos da Ultralytics.

Prompt de ponto#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt de caixa#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM e SAM partilham a mesma API. Para obter mais detalhes de utilização, consulta a documentação do SAM.

Criar automaticamente conjuntos de dados de segmentação utilizando um modelo de deteção#

Para anotar automaticamente o teu conjunto de dados com o framework da Ultralytics, utiliza a função auto_annotate, conforme mostrado abaixo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citações e agradecimentos#

Se o MobileSAM for útil na tua investigação ou desenvolvimento, considera citar o artigo seguinte:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lê o artigo completo do MobileSAM no arXiv.

Perguntas frequentes#