SAM 2: Modelo que Segmenta Tudo 2#

O SAM 2, sucessor do Modelo que Segmenta Tudo (SAM) da Meta, é uma ferramenta de ponta concebida para a segmentação abrangente de objetos em imagens e vídeos. Destaca-se no processamento de dados visuais complexos através de uma arquitetura de modelo unificada, guiada por prompts, que suporta processamento em tempo real e generalização zero-shot.

Principais funcionalidades#

Arquitetura de modelo unificada#

O SAM 2 combina as capacidades de segmentação de imagens e vídeos num único modelo. Esta unificação simplifica a implementação e permite um desempenho consistente em diferentes tipos de suporte. O modelo utiliza uma interface flexível baseada em prompts, que permite aos utilizadores especificar os objetos de interesse através de vários tipos de prompts, como pontos, caixas delimitadoras ou máscaras.

Desempenho em tempo real#

O modelo alcança velocidades de inferência em tempo real, processando aproximadamente 44 fotogramas por segundo. Isto torna o SAM 2 adequado para aplicações que exigem resposta imediata, como edição de vídeo e realidade aumentada.

Generalização zero-shot#

O SAM 2 consegue segmentar objetos que nunca encontrou antes, demonstrando forte capacidade de generalização zero-shot. Isso é particularmente útil em domínios visuais diversos ou em evolução, nos quais categorias predefinidas podem não abranger todos os objetos possíveis.

Refinamento interativo#

Os usuários podem refinar os resultados da segmentação iterativamente, fornecendo prompts adicionais e permitindo um controle preciso da saída. Essa interatividade é essencial para ajustar os resultados em aplicações como anotação de vídeos ou imagens médicas.

Tratamento avançado de desafios visuais#

O SAM 2 inclui mecanismos para lidar com desafios comuns da segmentação de vídeos, como oclusão e reaparecimento de objetos. Ele usa um mecanismo sofisticado de memória para acompanhar objetos entre os frames, garantindo a continuidade mesmo quando os objetos ficam temporariamente ocultos ou saem e voltam à cena.

Para entender melhor a arquitetura e os recursos do SAM 2, consulta o artigo de pesquisa do SAM 2.

Desempenho e detalhes técnicos#

O SAM 2 estabelece um novo padrão no campo, superando os modelos anteriores em várias métricas:

Arquitetura do modelo#

Componentes principais#

• Codificador de imagens e vídeos: utiliza uma arquitetura baseada em transformer para extrair características de alto nível de imagens e frames de vídeo. Esse componente é responsável por compreender o conteúdo visual em cada instante.
• Codificador de prompts: processa os prompts fornecidos pelo usuário (pontos, caixas, máscaras) para orientar a tarefa de segmentação. Isso permite que o SAM 2 se adapte à entrada do usuário e direcione a segmentação para objetos específicos da cena.
• Mecanismo de memória: inclui um codificador de memória, um banco de memória e um módulo de atenção à memória. Em conjunto, esses componentes armazenam e utilizam informações de frames anteriores, permitindo que o modelo mantenha o rastreamento de objetos de forma consistente ao longo do tempo.
• Decodificador de máscaras: gera as máscaras de segmentação finais com base nas características codificadas da imagem e nos prompts. Em vídeos, também usa o contexto da memória para garantir o rastreamento preciso entre os frames.

Mecanismo de memória e tratamento de oclusões#

O mecanismo de memória permite que o SAM 2 lide com dependências temporais e oclusões em dados de vídeo. À medida que os objetos se movem e interagem, o SAM 2 registra suas características em um banco de memória. Quando um objeto fica ocluso, o modelo pode recorrer a essa memória para prever sua posição e aparência quando ele reaparecer. O cabeçalho de oclusão trata especificamente de situações em que os objetos não estão visíveis, prevendo a probabilidade de um objeto estar ocluso.

Resolução de ambiguidades com múltiplas máscaras#

Em situações ambíguas (por exemplo, com objetos sobrepostos), o SAM 2 pode gerar várias previsões de máscaras. Esse recurso é fundamental para representar cenas complexas com precisão, quando uma única máscara talvez não descreva suficientemente suas nuances.

Conjunto de dados SA-V#

O conjunto de dados SA-V, desenvolvido para o treinamento do SAM 2, é um dos maiores e mais diversos conjuntos de dados de segmentação de vídeos disponíveis. Ele inclui:

• Mais de 51.000 vídeos: capturados em 47 países, abrangendo uma ampla variedade de cenários do mundo real.
• Mais de 600.000 anotações de máscaras: anotações detalhadas de máscaras espaço-temporais, chamadas de "masklets", que abrangem objetos inteiros e partes deles.
• Escala do conjunto de dados: contém 4,5 vezes mais vídeos e 53 vezes mais anotações do que os maiores conjuntos de dados anteriores, oferecendo diversidade e complexidade sem precedentes.

Benchmarks#

Segmentação de objetos em vídeos#

O SAM 2 demonstrou desempenho superior nos principais benchmarks de segmentação de vídeos:

Segmentação interativa#

Em tarefas de segmentação interativa, o SAM 2 demonstra ganhos significativos de eficiência e precisão:

Instalação#

Para instalar o SAM 2, usa o seguinte comando. Todos os modelos SAM 2 serão baixados automaticamente na primeira utilização.

pip install ultralytics

Como usar o SAM 2: versatilidade na segmentação de imagens e vídeos#

A tabela a seguir detalha os modelos SAM 2 disponíveis, seus pesos pré-treinados, as tarefas compatíveis e a compatibilidade com diferentes modos de operação, como inferência, validação, treinamento e exportação.

Exemplos de predição do SAM 2#

O SAM 2 pode ser usado em diversas tarefas, incluindo edição de vídeo em tempo real, imagens médicas e sistemas autônomos. A capacidade de segmentar dados visuais estáticos e dinâmicos faz dele uma ferramenta versátil para pesquisadores e desenvolvedores.

Segmentar com prompts#

from ultralytics import SAM

# Carregar um modelo
model = SAM("sam2.1_b.pt")

# Exibir informações do modelo (opcional)
model.info()

# Executar inferência com prompt de bboxes
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Executar inferência com um único ponto
results = model(points=[900, 370], labels=[1])

# Executar inferência com vários pontos
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Executar inferência com prompt de vários pontos por objeto
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Executar inferência com prompt de pontos negativos
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Segmentar tudo#

from ultralytics import SAM

# Carregar um modelo
model = SAM("sam2.1_b.pt")

# Exibir informações do modelo (opcional)
model.info()

# Executar inferência
model("path/to/video.mp4")

• Este exemplo demonstra como o SAM 2 pode ser usado para segmentar todo o conteúdo de uma imagem ou vídeo quando nenhum prompt (bboxes/pontos/máscaras) é fornecido.

Segmentar vídeo e rastrear objetos#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Executar inferência com um único ponto
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Executar inferência com vários pontos
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Executar inferência com prompt de vários pontos por objeto
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Executar inferência com prompt de pontos negativos
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

Segmentação e rastreamento interativos dinâmicos#

SAM2DynamicInteractivePredictor é uma extensão avançada do SAM 2, que não requer treinamento e permite interação dinâmica com vários frames e recursos de aprendizado contínuo. Esse preditor é compatível com atualizações de prompts em tempo real e gerenciamento de memória para melhorar o desempenho do rastreamento em uma sequência de imagens. Em comparação com o SAM 2 original, SAM2DynamicInteractivePredictor reformula o fluxo de inferência para aproveitar ao máximo os modelos SAM 2 pré-treinados sem exigir treinamento adicional.

Principais funcionalidades#

Ele oferece três melhorias significativas:

1. Interação dinâmica: adiciona novos prompts para mesclar novas instâncias ou rastrear instâncias ainda não rastreadas nos frames seguintes, a qualquer momento durante o processamento do vídeo
2. Aprendizado contínuo: adiciona novos prompts para instâncias existentes a fim de melhorar o desempenho do modelo ao longo do tempo
3. Suporte independente a várias imagens: processa várias imagens independentes (não necessariamente de uma sequência de vídeo) com compartilhamento de memória e rastreamento de objetos entre imagens

Principais recursos#

• Flexibilidade dos prompts: aceita caixas delimitadoras, pontos e máscaras como prompts
• Gerenciamento do banco de memória: mantém um banco de memória dinâmico para armazenar os estados dos objetos entre os frames
• Rastreamento de vários objetos: permite rastrear vários objetos simultaneamente, cada um com seu próprio ID
• Atualizações em tempo real: permite adicionar novos prompts durante a inferência sem reprocessar frames anteriores
• Processamento independente de imagens: processa imagens avulsas com contexto de memória compartilhado para manter a consistência dos objetos entre imagens

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define uma categoria com um prompt de caixa
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detecta este objeto específico em uma nova imagem
results = predictor(source="image2.jpg")

# Adiciona uma nova categoria com um novo ID de objeto
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # Novo objeto
    obj_ids=[1],  # Novo ID de objeto
    update_memory=True,  # Adicionar à memória
)
# Executar inferência
results = predictor(source="image5.jpg")

# Adicionar prompts de refinamento à mesma categoria para melhorar o desempenho
# Isso ajuda quando a aparência dos objetos muda significativamente
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Ponto de refinamento
    labels=[1],  # Ponto positivo
    obj_ids=[1],  # Mesmo ID de objeto
    update_memory=True,  # Atualizar a memória com novas informações
)
# Executar inferência na nova imagem
results = predictor(source="image7.jpg")

Argumentos#

Casos de uso#

SAM2DynamicInteractivePredictor é ideal para:

• Fluxos de trabalho de anotação de vídeos em que novos objetos aparecem durante a sequência
• Edição interativa de vídeos que exige a adição e o refinamento de objetos em tempo real
• Aplicações de vigilância que precisam de rastreamento dinâmico de objetos
• Imagens médicas para rastrear estruturas anatômicas ao longo de séries temporais
• Sistemas autônomos que exigem detecção e rastreamento adaptativos de objetos
• Conjuntos de dados com várias imagens para segmentação consistente de objetos em imagens independentes
• Análise de coleções de imagens em que os objetos precisam ser rastreados em diferentes cenas
• Segmentação entre domínios que aproveita a memória de diversos contextos de imagem
• Anotação semiautomática para criar conjuntos de dados com eficiência e o mínimo de intervenção manual

Comparação entre SAM e YOLO#

Aqui comparamos os modelos SAM 2 da Meta, incluindo a variante SAM2-t, a menor, com os modelos de segmentação da Ultralytics, incluindo YOLO26n-seg:

Esta comparação demonstra as diferenças substanciais entre os tamanhos e as velocidades dos modelos das variantes SAM e dos modelos de segmentação YOLO. Embora o SAM ofereça recursos exclusivos de segmentação automática, os modelos YOLO, especialmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, são significativamente menores, mais rápidos e mais eficientes em termos computacionais.

As velocidades do SAM foram medidas com PyTorch; as velocidades do YOLO, com ONNX Runtime. Os testes foram executados em um Apple M4 Air de 2025 com 16 GB de RAM, usando torch==2.10.0, ultralytics==8.4.31 e onnxruntime==1.24.4. Para reproduzir este teste:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Avalie o desempenho de SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Perfilar FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Avalie o desempenho dos modelos YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Cabeça sem NMS do YOLO26; sem efeito para YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Anotação automática: criação eficiente de conjuntos de dados#

A anotação automática é um recurso poderoso do SAM 2 que permite aos usuários gerar conjuntos de dados de segmentação com rapidez e precisão usando modelos pré-treinados. Esse recurso é especialmente útil para criar conjuntos de dados grandes e de alta qualidade sem muito trabalho manual.

Como fazer anotações automáticas com SAM 2#

Para fazer anotações automáticas no seu conjunto de dados usando SAM 2, siga este exemplo:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

Esta função facilita a criação rápida de conjuntos de dados de segmentação de alta qualidade, ideal para pesquisadores e desenvolvedores que buscam acelerar seus projetos.

Limitações#

Apesar de seus pontos fortes, SAM 2 tem algumas limitações:

• Estabilidade do rastreamento: SAM 2 pode perder o rastro dos objetos durante sequências longas ou mudanças significativas de ponto de vista.
• Confusão entre objetos: às vezes, o modelo pode confundir objetos de aparência semelhante, principalmente em cenas com muitos elementos.
• Eficiência com vários objetos: a eficiência da segmentação diminui ao processar vários objetos simultaneamente, devido à falta de comunicação entre eles.
• Precisão dos detalhes: pode deixar passar detalhes finos, especialmente em objetos que se movem rapidamente. Prompts adicionais podem ajudar parcialmente a resolver esse problema, mas não garantem suavidade temporal.

Citações e agradecimentos#

Se SAM 2 for essencial para seu trabalho de pesquisa ou desenvolvimento, cite-o usando a seguinte referência:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Agradecemos à Meta AI por suas contribuições à comunidade de IA com este modelo e conjunto de dados inovadores.

Perguntas frequentes#