Mobile Segment Anything (MobileSAM)#

O MobileSAM é um modelo compacto e eficiente de segmentação de imagens, desenvolvido especialmente para dispositivos móveis e de borda. Projetado para levar o poder do Modelo Segment Anything da Meta (SAM) a ambientes com capacidade computacional limitada, o MobileSAM oferece segmentação quase instantânea e mantém a compatibilidade com o pipeline SAM original. Seja para desenvolver aplicações em tempo real ou implantações leves, o MobileSAM oferece resultados de segmentação impressionantes com uma fração dos requisitos de tamanho e velocidade dos modelos anteriores.

O MobileSAM foi adotado em diversos projetos, incluindo Grounding-SAM, AnyLabeling e Segment Anything in 3D.

O MobileSAM foi treinado em uma única GPU, usando um conjunto de dados com 100 mil imagens (1% das imagens originais), em menos de um dia.

Modelos disponíveis, tarefas compatíveis e modos de operação#

A tabela abaixo descreve o modelo MobileSAM disponível, seus pesos pré-treinados, as tarefas compatíveis e a compatibilidade com diferentes modos de operação, como Inferência, Validação, Treinamento e Exportação. Os modos compatíveis são indicados por ✅ e os incompatíveis por ❌.

Comparação do MobileSAM com YOLO#

A comparação a seguir destaca as diferenças entre as variantes SAM da Meta, o MobileSAM e os modelos de segmentação da Ultralytics, incluindo YOLO26n-seg:

Esta comparação demonstra as diferenças substanciais no tamanho e na velocidade dos modelos entre as variantes do SAM e os modelos de segmentação YOLO. Embora os modelos SAM ofereçam recursos exclusivos de segmentação automática, os modelos YOLO — especialmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg — são significativamente menores, mais rápidos e mais eficientes do ponto de vista computacional.

As velocidades do SAM foram medidas com PyTorch, e as velocidades do YOLO, com ONNX Runtime. Os testes foram executados em um Apple M4 Air de 2025 com 16 GB de RAM, usando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Para reproduzir estes resultados:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Avalie o desempenho de SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Perfilar FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Avalie o desempenho dos modelos YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Cabeça sem NMS do YOLO26; sem efeito para YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Adaptação do SAM para o MobileSAM#

O MobileSAM mantém o mesmo pipeline do SAM original, incluindo o pré-processamento, o pós-processamento e todas as interfaces. Isso significa que você pode migrar do SAM para o MobileSAM com mudanças mínimas no seu fluxo de trabalho.

A principal diferença está no codificador de imagens: o MobileSAM substitui o codificador ViT-H original (637M parâmetros) por um codificador Tiny-ViT muito menor (5M parâmetros). Em uma única GPU, o MobileSAM processa uma imagem em cerca de 12 ms (8 ms para o codificador, 4 ms para o decodificador de máscaras).

Comparação de codificadores de imagem baseados em ViT#

Decodificador de máscaras guiado por prompts#

Comparação do pipeline completo#

O desempenho do MobileSAM e do SAM original é ilustrado abaixo usando prompts de pontos e de caixas delimitadoras.

O MobileSAM é aproximadamente 7 vezes menor e 5 vezes mais rápido que o FastSAM. Para mais detalhes, visite a página do projeto MobileSAM.

Testando o MobileSAM no Ultralytics#

Assim como o SAM original, o Ultralytics oferece uma interface simples para testar o MobileSAM, compatível com prompts de pontos e de caixas delimitadoras.

Download do modelo#

Baixe os pesos pré-treinados do MobileSAM em recursos do Ultralytics.

Prompt de ponto#

from ultralytics import SAM

# Carrega o modelo
model = SAM("mobile_sam.pt")

# Prever um segmento com base em um único prompt de ponto
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Prever vários segmentos com base em vários prompts de pontos
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Prever um segmento com base em vários prompts de pontos por objeto
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Prever um segmento usando prompts positivos e negativos.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt de caixa delimitadora#

from ultralytics import SAM

# Carrega o modelo
model = SAM("mobile_sam.pt")

# Prever um segmento com base em um único prompt de caixa delimitadora
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Prever vários segmentos com base em vários prompts de caixas delimitadoras
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM e SAM têm a mesma API. Para mais detalhes de uso, consulte a documentação do SAM.

Crie conjuntos de dados de segmentação automaticamente usando um modelo de detecção#

Para anotar seu conjunto de dados automaticamente com o framework Ultralytics, use a função auto_annotate, conforme mostrado abaixo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Citações e agradecimentos#

Se o MobileSAM for útil para sua pesquisa ou desenvolvimento, considere citar o artigo a seguir:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Leia o artigo completo do MobileSAM no arXiv.

Perguntas frequentes#