Modelo de Segmentação de Qualquer Coisa (SAM)#

Dê as boas-vindas à vanguarda da segmentação de imagens com o Modelo de Segmentação de Qualquer Coisa, ou SAM. Este modelo revolucionário mudou o cenário ao introduzir a segmentação de imagens orientada por prompts com desempenho em tempo real, estabelecendo novos padrões no campo.

Introdução ao SAM: o Modelo de Segmentação de Qualquer Coisa#

O Modelo de Segmentação de Qualquer Coisa, ou SAM, é um modelo avançado de segmentação de imagens que permite a segmentação orientada por prompts, proporcionando versatilidade incomparável em tarefas de análise de imagens. O SAM é o núcleo da iniciativa Segment Anything, um projeto inovador que introduz um novo modelo, uma nova tarefa e um novo conjunto de dados para segmentação de imagens.

O design avançado do SAM permite que ele se adapte a novas distribuições de imagens e tarefas sem conhecimento prévio, um recurso conhecido como transferência zero-shot. Treinado no amplo conjunto de dados SA-1B, que contém mais de 1 bilhão de máscaras distribuídas por 11 milhões de imagens cuidadosamente selecionadas, o SAM demonstrou um desempenho zero-shot impressionante, superando em muitos casos os resultados anteriores totalmente supervisionados.

Imagens de exemplo do SA-1B. Imagens do conjunto de dados com máscaras sobrepostas do recém-introduzido conjunto de dados SA-1B. O SA-1B contém 11 milhões de imagens diversas, de alta resolução, licenciadas e que protegem a privacidade, além de 1,1 bilhão de máscaras de segmentação de alta qualidade. Essas máscaras foram anotadas de forma totalmente automática pelo SAM e, conforme verificado por avaliações humanas e numerosos experimentos, são de alta qualidade e diversidade. As imagens são agrupadas pelo número de máscaras por imagem para visualização (há, em média, ∼100 máscaras por imagem).

Principais recursos do Modelo de Segmentação de Qualquer Coisa (SAM)#

• Tarefa de segmentação orientada por prompts: o SAM foi projetado tendo em mente uma tarefa de segmentação orientada por prompts, permitindo gerar máscaras de segmentação válidas a partir de qualquer prompt fornecido, como pistas espaciais ou textuais que identificam um objeto.
• Arquitetura avançada: o Modelo de Segmentação de Qualquer Coisa utiliza um codificador de imagens avançado, um codificador de prompts e um decodificador de máscaras leve. Essa arquitetura exclusiva permite prompts flexíveis, cálculo de máscaras em tempo real e reconhecimento de ambiguidades em tarefas de segmentação.
• O conjunto de dados SA-1B: introduzido pelo projeto Segment Anything, o conjunto de dados SA-1B apresenta mais de 1 bilhão de máscaras em 11 milhões de imagens. Como o maior conjunto de dados de segmentação até o momento, ele fornece ao SAM uma fonte de dados de treinamento diversificada e em grande escala.
• Desempenho zero-shot: o SAM demonstra um desempenho zero-shot excepcional em várias tarefas de segmentação, tornando-se uma ferramenta pronta para uso em diversas aplicações, com necessidade mínima de engenharia de prompts.

Para uma análise aprofundada do Modelo de Segmentação de Qualquer Coisa e do conjunto de dados SA-1B, visite o GitHub do Segment Anything e consulte o artigo de pesquisa Segment Anything.

Modelos disponíveis, tarefas compatíveis e modos de operação#

Esta tabela apresenta os modelos disponíveis com seus pesos pré-treinados específicos, as tarefas compatíveis e a compatibilidade com diferentes modos de operação, como Inferência, Validação, Treinamento e Exportação, indicados por emojis ✅ para modos compatíveis e emojis ❌ para modos incompatíveis.

Como usar o SAM: versatilidade e potência na segmentação de imagens#

O Modelo de Segmentação de Qualquer Coisa pode ser utilizado em diversas tarefas posteriores que vão além dos dados de treinamento. Isso inclui detecção de bordas, geração de propostas de objetos, segmentação de instâncias e previsão preliminar de texto para máscara. Com engenharia de prompts, o SAM pode se adaptar rapidamente a novas tarefas e distribuições de dados de maneira zero-shot, consolidando-se como uma ferramenta versátil e potente para todas as suas necessidades de segmentação de imagens.

Exemplo de previsão do SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• A lógica aqui é segmentar a imagem inteira se você não passar nenhum prompt (bboxes/pontos/máscaras).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64, min_mask_region_area=100)

• Para ver mais argumentos adicionais de Segment everything, consulte a referência de Predictor/generate.

Comparação entre SAM e YOLO#

Aqui comparamos o modelo SAM-b da Meta com os modelos de segmentação da Ultralytics, incluindo o YOLO26n-seg:

Esta comparação demonstra as diferenças substanciais entre as variantes do SAM e os modelos de segmentação YOLO em termos de tamanho e velocidade. Embora o SAM ofereça capacidades únicas de segmentação automática, os modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, são significativamente menores, mais rápidos e mais eficientes em termos computacionais.

As velocidades do SAM foram medidas com PyTorch, e as velocidades do YOLO foram medidas com ONNX Runtime. Os testes foram executados num Apple M4 Air de 2025 com 16 GB de RAM, usando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Para reproduzir este teste:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Anotação automática: um caminho rápido para conjuntos de dados de segmentação#

A anotação automática é um recurso essencial do SAM, permitindo que os usuários gerem um conjunto de dados de segmentação usando um modelo de detecção pré-treinado. Esse recurso permite anotar de forma rápida e precisa um grande número de imagens, eliminando a necessidade de uma rotulagem manual demorada.

Gere seu conjunto de dados de segmentação usando um modelo de detecção#

Para anotar automaticamente seu conjunto de dados com o framework Ultralytics, use a função auto_annotate, conforme mostrado abaixo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

A função auto_annotate recebe o caminho para suas imagens, com argumentos opcionais para especificar os modelos de detecção pré-treinados e de segmentação SAM, o dispositivo no qual executar os modelos e o diretório de saída para salvar os resultados anotados.

A anotação automática com modelos pré-treinados pode reduzir drasticamente o tempo e o esforço necessários para criar conjuntos de dados de segmentação de alta qualidade. Esse recurso é especialmente benéfico para pesquisadores e desenvolvedores que trabalham com grandes coleções de imagens, pois permite que se concentrem no desenvolvimento e na avaliação dos modelos, em vez da anotação manual.

Citações e agradecimentos#

Se achares o SAM útil no teu trabalho de investigação ou desenvolvimento, por favor considera citar o artigo:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Gostaríamos de expressar nossa gratidão à Meta AI por criar e manter este recurso valioso para a comunidade de visão computacional.

Perguntas frequentes#