Segment Anything Model (SAM)#

Bem-vindo à fronteira da segmentação de imagens com o Segment Anything Model, ou SAM. Este modelo revolucionário mudou o jogo ao introduzir segmentação de imagens baseada em prompts com desempenho em tempo real, estabelecendo novos padrões na área.

Introdução ao SAM: Segment Anything Model#

O Segment Anything Model, ou SAM, é um modelo de segmentação de imagem de ponta que permite a segmentação baseada em prompts, proporcionando uma versatilidade inigualável em tarefas de análise de imagem. O SAM forma o coração da iniciativa Segment Anything, um projeto inovador que introduz um novo modelo, tarefa e conjunto de dados para segmentação de imagem.

O design avançado do SAM permite-lhe adaptar-se a novas distribuições de imagens e tarefas sem conhecimento prévio, uma funcionalidade conhecida como transferência zero-shot. Treinado no expansivo conjunto de dados SA-1B, que contém mais de 1 milhão de máscaras distribuídas por 11 milhões de imagens cuidadosamente selecionadas, o SAM demonstrou um desempenho zero-shot impressionante, superando resultados anteriores totalmente supervisionados em muitos casos.

Imagens de Exemplo do SA-1B. Imagens do conjunto de dados sobrepostas com máscaras do recém-introduzido conjunto de dados SA-1B. O SA-1B contém 11M de imagens diversas, de alta resolução, licenciadas e protegidas pela privacidade, e 1.1B de máscaras de segmentação de alta qualidade. Estas máscaras foram anotadas de forma totalmente automática pelo SAM e, conforme verificado por avaliações humanas e inúmeros experimentos, são de alta qualidade e diversidade. As imagens estão agrupadas pelo número de máscaras por imagem para visualização (existem ∼100 máscaras por imagem em média).

Principais Funcionalidades do Segment Anything Model (SAM)#

• Tarefa de Segmentação com Prompts: O SAM foi projetado com uma tarefa de segmentação baseada em prompts em mente, permitindo que gere máscaras de segmentação válidas a partir de qualquer prompt fornecido, como pistas espaciais ou de texto que identifiquem um objeto.
• Arquitetura Avançada: O Segment Anything Model emprega um codificador de imagem potente, um codificador de prompts e um decodificador de máscara leve. Esta arquitetura única permite a criação flexível de prompts, cálculo de máscara em tempo real e consciência de ambiguidade em tarefas de segmentação.
• O Dataset SA-1B: Introduzido pelo projeto Segment Anything, o dataset SA-1B apresenta mais de 1 bilhão de máscaras em 11 milhões de imagens. Sendo o maior conjunto de dados de segmentação até à data, fornece ao SAM uma fonte de dados de treino diversificada e em grande escala.
• Desempenho Zero-Shot: O SAM exibe um desempenho zero-shot notável em várias tarefas de segmentação, tornando-se uma ferramenta pronta a usar para diversas aplicações com necessidade mínima de engenharia de prompts.

Para uma análise aprofundada do Segment Anything Model e do conjunto de dados SA-1B, visita o GitHub do Segment Anything e consulta o artigo de investigação Segment Anything.

Modelos Disponíveis, Tarefas Suportadas e Modos de Operação#

Esta tabela apresenta os modelos disponíveis com os seus respectivos pesos pré-treinados, as tarefas que suportam e a sua compatibilidade com diferentes modos de funcionamento, como Inference, Validation, Training e Export, indicados por emojis ✅ para os modos suportados e emojis ❌ para os modos não suportados.

Como usar o SAM: Versatilidade e Poder na Segmentação de Imagem#

O Segment Anything Model pode ser empregue numa multiplicidade de tarefas a jusante que vão para além dos seus dados de treino. Isto inclui deteção de contornos, geração de propostas de objetos, segmentação de instâncias e previsão preliminar de texto para máscara. Com engenharia de prompts, o SAM pode adaptar-se rapidamente a novas tarefas e distribuições de dados de forma zero-shot, estabelecendo-se como uma ferramenta versátil e potente para todas as tuas necessidades de segmentação de imagens.

Exemplo de predição SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• A lógica aqui é segmentar a imagem toda caso não passes nenhuns prompts (bboxes/pontos/máscaras).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Para mais argumentos adicionais para Segment everything, consulta a Referência de Predictor/generate.

Comparação SAM vs YOLO#

Aqui comparamos o modelo SAM-b da Meta com os modelos de segmentação Ultralytics, incluindo YOLO26n-seg:

Esta comparação demonstra as diferenças substanciais nos tamanhos e velocidades dos modelos entre as variantes do SAM e os modelos de segmentação YOLO. Enquanto o SAM fornece capacidades de segmentação automática únicas, os modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, são significativamente menores, mais rápidos e computacionalmente mais eficientes.

Velocidades do SAM medidas com PyTorch, velocidades do YOLO medidas com ONNX Runtime. Testes executados num Apple M4 Air de 2025 com 16 GB de RAM utilizando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Para reproduzir este teste:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Auto-Anotação: Um Caminho Rápido para Datasets de Segmentação#

A anotação automática é uma funcionalidade-chave do SAM, permitindo aos utilizadores gerar um conjunto de dados de segmentação utilizando um modelo de deteção pré-treinado. Esta funcionalidade permite a anotação rápida e precisa de um grande número de imagens, evitando a necessidade de rotulagem manual morosa.

Gera o teu Dataset de Segmentação Usando um Modelo de Deteção#

Para anotar automaticamente o teu conjunto de dados com o framework Ultralytics, usa a função auto_annotate conforme mostrado abaixo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

A função auto_annotate aceita o caminho para as tuas imagens, com argumentos opcionais para especificar os modelos de deteção pré-treinados e de segmentação SAM, o dispositivo onde executar os modelos e o diretório de saída para guardar os resultados anotados.

A autoanotação com modelos pré-treinados pode reduzir drasticamente o tempo e o esforço necessários para criar conjuntos de dados de segmentação de alta qualidade. Este recurso é especialmente benéfico para pesquisadores e desenvolvedores que lidam com grandes coleções de imagens, pois permite que foquem no desenvolvimento e avaliação de modelos em vez da anotação manual.

Citações e Agradecimentos#

Se você achar o SAM útil em sua pesquisa ou trabalho de desenvolvimento, considere citar nosso artigo:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Gostaríamos de expressar a nossa gratidão à Meta AI por criar e manter este recurso valioso para a comunidade de visão computacional.

FAQ#