SAM 3: Segment Anything with Concepts#

SAM 3 (Segment Anything Model 3) é o modelo base lançado pela Meta para Segmentação de Conceitos Acionável por Prompt (PCS). Com base no SAM 2, o SAM 3 introduz uma capacidade fundamentalmente nova: detetar, segmentar e rastrear todas as instâncias de um conceito visual especificado por prompts de texto, exemplares de imagem ou ambos. Ao contrário das versões anteriores do SAM que segmentam objetos individuais por prompt, o SAM 3 consegue encontrar e segmentar todas as ocorrências de um conceito que apareçam em qualquer lugar em imagens ou vídeos, alinhando-se com os objetivos de vocabulário aberto na segmentação de instâncias moderna.

O SAM 3 está agora totalmente integrado no pacote ultralytics, oferecendo suporte nativo para segmentação de conceitos com prompts de texto, prompts de exemplares de imagem e capacidades de rastreio de vídeo.

Visão geral#

O SAM 3 alcança um ganho de desempenho de 2× em relação aos sistemas existentes em Segmentação de Conceitos Acionável por Prompt, mantendo e melhorando as capacidades do SAM 2 para segmentação visual interativa. O modelo destaca-se na segmentação de vocabulário aberto, permitindo aos utilizadores especificar conceitos utilizando frases nominais simples (por exemplo, "autocarro escolar amarelo", "gato às riscas") ou fornecendo imagens de exemplo do objeto-alvo. Estas capacidades complementam pipelines prontos para produção que dependem de fluxos de trabalho simplificados de predição e rastreio.

O que é Promptable Concept Segmentation (PCS)?#

A tarefa PCS recebe um prompt de conceito como entrada e devolve máscaras de segmentação com identidades únicas para todas as instâncias de objetos correspondentes. Os prompts de conceito podem ser:

• Texto: Frases nominais simples como "maçã vermelha" ou "pessoa a usar um chapéu", semelhantes à aprendizagem zero-shot
• Exemplos de imagem: Caixas delimitadoras em torno de objetos exemplo (positivos ou negativos) para uma generalização rápida
• Combinado: Ambos, texto e exemplos de imagem, para um controlo preciso

Isto difere dos prompts visuais tradicionais (pontos, caixas, máscaras) que segmentam apenas uma única instância específica de objeto, conforme popularizado pela família SAM original.

Principais Métricas de Desempenho#

Para obter contexto sobre as métricas do modelo e os compromissos em produção, consulta conhecimentos sobre avaliação de modelos e métricas de desempenho do YOLO.

Arquitetura#

O SAM 3 consiste num detetor e num rastreador que partilham uma estrutura de visão Perception Encoder (PE). Este design desacoplado evita conflitos de tarefas ao mesmo tempo que permite a deteção ao nível da imagem e o rastreio ao nível do vídeo, com uma interface compatível com o uso em Python e o uso em CLI do Ultralytics.

Componentes Principais#

• Detetor: Arquitetura baseada em DETR para deteção de conceitos ao nível da imagem

  • Codificador de texto para prompts de frases nominais
  • Codificador de exemplos para prompts baseados em imagem
  • Codificador de fusão para condicionar características da imagem aos prompts
  • Nova cabeça de presença (presence head) que desacopla o reconhecimento ("o quê") da localização ("onde")
  • Cabeça de máscara para gerar máscaras de segmentação de instâncias

• Rastreador: Segmentação de vídeo baseada em memória herdada do SAM 2

  • Codificador de prompt, descodificador de máscara, codificador de memória
  • Banco de memória para armazenar a aparência do objeto ao longo dos fotogramas
  • Desambiguação temporal auxiliada por técnicas como um filtro de Kalman em cenários de múltiplos objetos

• Token de Presença: Um token global aprendido que prevê se o conceito alvo está presente na imagem/fotograma, melhorando a deteção ao separar o reconhecimento da localização.

Principais Inovações#

1. Reconhecimento e Localização Desacoplados: A cabeça de presença prevê a presença do conceito globalmente, enquanto as consultas de proposta focam-se apenas na localização, evitando objetivos conflitantes.
2. Prompts Visuais e de Conceito Unificados: Suporta tanto PCS (prompts de conceito) como PVS (prompts visuais como os cliques/caixas do SAM 2) num único modelo.
3. Refinamento Interativo de Exemplos: Os utilizadores podem adicionar exemplos de imagem positivos ou negativos para refinar os resultados iterativamente, com o modelo a generalizar para objetos semelhantes em vez de apenas corrigir instâncias individuais.
4. Desambiguação Temporal: Utiliza pontuações de deteção de masklets e repetição periódica de prompts para lidar com oclusões, cenas preenchidas e falhas de rastreio em vídeo, alinhando-se com as melhores práticas de segmentação e rastreio de instâncias.

Dataset SA-Co#

O SAM 3 é treinado em Segment Anything with Concepts (SA-Co), o maior e mais diversificado conjunto de dados de segmentação da Meta até à data, expandindo-se para além de benchmarks comuns como COCO e LVIS.

Dados de Treino#

Dados de Benchmark#

O benchmark de avaliação SA-Co contém 214K frases únicas em 126K imagens e vídeos, fornecendo mais de 50× mais conceitos do que os benchmarks existentes. Inclui:

• SA-Co/Gold: 7 domínios, com anotação tripla para medir limites de desempenho humano
• SA-Co/Silver: 10 domínios, anotação humana única
• SA-Co/Bronze e SA-Co/Bio: 9 datasets existentes adaptados para segmentação de conceitos
• SA-Co/VEval: Benchmark de vídeo com 3 domínios (SA-V, YT-Temporal-1B, SmartGlasses)

Inovações no Motor de Dados#

O motor de dados escalável humano-e-modelo-no-circuito do SAM 3 alcança 2× de rendimento de anotação através de:

1. Anotadores de IA: Modelos baseados em Llama propõem diversas frases nominais, incluindo negativos difíceis
2. Verificadores de IA: LLMs multimodais ajustados verificam a qualidade da máscara e a exhaustividade com um desempenho próximo do humano
3. Mineração Ativa: Foca o esforço humano em casos de falha desafiantes onde a IA tem dificuldades
4. Orientado por Ontologia: Aproveita uma grande ontologia fundamentada no Wikidata para a cobertura de conceitos

Instalação#

O SAM 3 está disponível na versão 8.3.237 do Ultralytics e posteriores. Instala ou atualiza com:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Como usar o SAM 3: Versatilidade na Segmentação de Conceitos#

O SAM 3 suporta tarefas de Promptable Concept Segmentation (PCS) e Promptable Visual Segmentation (PVS) através de diferentes interfaces de preditor:

Tarefas e Modelos Suportados#

Exemplos de Segmentação de Conceitos#

Segmentar com Prompts de Texto#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentação com Exemplos de Imagem#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferência baseada em características para Eficiência#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentação de Conceito em Vídeo#

Rastreie Conceitos em Vídeo com Bounding Boxes#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Rastreie Conceitos com Prompts de Texto#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompts Visuais (Compatibilidade com SAM 2)#

O SAM 3 mantém total compatibilidade retroativa com o prompt visual do SAM 2 para segmentação de objeto único:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmarks de Desempenho#

Segmentação de Imagem#

O SAM 3 alcança resultados de ponta em vários benchmarks, incluindo conjuntos de dados do mundo real como LVIS e COCO para segmentação:

Explora opções de conjuntos de dados para experimentação rápida em conjuntos de dados do Ultralytics.

Desempenho de Segmentação de Vídeo#

O SAM 3 mostra melhorias significativas em relação ao SAM 2 e a anteriores estados da arte em benchmarks de vídeo, tais como DAVIS 2017 e YouTube-VOS:

Adaptação Few-Shot#

O SAM 3 destaca-se na adaptação a novos domínios com exemplos mínimos, relevantes para fluxos de trabalho de IA centrada em dados:

Eficácia do Refinamento Interativo#

O prompt baseado em conceito do SAM 3 com exemplares converge muito mais rápido do que o prompt visual:

Precisão de Contagem de Objetos#

O SAM 3 fornece uma contagem precisa ao segmentar todas as instâncias, um requisito comum na contagem de objetos:

Comparação SAM 3 vs SAM 2 vs YOLO#

Aqui comparamos as capacidades do SAM 3 com os modelos SAM 2 e YOLO26. Para deteção e segmentação de vocabulário aberto em tempo real a partir dos mesmos tipos de prompt, consulta o YOLOE:

Velocidade avaliada em NVIDIA RTX PRO 6000 com torch==2.9.1 e ultralytics==8.4.19.

Principais Conclusões:

• SAM 3: Ideal para segmentação de conceitos de vocabulário aberto, encontrando todas as instâncias de um conceito com prompts de texto ou exemplares
• SAM 2: Ideal para segmentação interativa de objetos únicos em imagens e vídeos com prompts geométricos
• YOLO26: Ideal para segmentação de alta velocidade em tempo real com inferência ponta a ponta sem NMS, exportável para vários formatos para implementação em GPUs, CPUs e dispositivos de ponta

Comparação SAM vs YOLO#

Comparando SAM 3, SAM 2, SAM, MobileSAM e FastSAM com os modelos de segmentação Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) em tamanho, parâmetros e velocidade de inferência em GPU:

Esta comparação demonstra as diferenças substanciais nos tamanhos e velocidades dos modelos entre as variantes do SAM e os modelos de segmentação YOLO. Enquanto o SAM fornece capacidades de segmentação automática únicas, os modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, são significativamente menores, mais rápidos e computacionalmente mais eficientes.

Testes executados numa NVIDIA RTX PRO 6000 com 96GB de VRAM utilizando torch==2.9.1 e ultralytics==8.4.19. Para reproduzir este teste:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Métricas de Avaliação#

O SAM 3 introduz novas métricas concebidas para a tarefa de PCS, complementando medidas familiares como a pontuação F1, a precisão e a revocação.

F1 de Classificação Controlada (CGF1)#

A métrica principal que combina localização e classificação:

CGF1 = 100 × pmF1 × IL_MCC

Onde:

• pmF1 (F1 Macro Positivo): Mede a qualidade da localização em exemplos positivos
• IL_MCC (Coeficiente de Correlação de Matthews ao nível da imagem): Mede a precisão da classificação binária ("o conceito está presente?")

Por que estas métricas?#

As métricas de AP tradicionais não têm em conta a calibração, tornando os modelos difíceis de utilizar na prática. Ao avaliar apenas predições acima de 0,5 de confiança, as métricas do SAM 3 impõem uma boa calibração e imitam os padrões de utilização do mundo real em ciclos interativos de predição e rastreio.

Principais Ablações e Insights#

Impacto da Cabeça de Presença#

A cabeça de presença desacopla o reconhecimento da localização, proporcionando melhorias significativas:

A cabeça de presença oferece um aumento de +5.7 CGF1 (+9.9%), melhorando principalmente a capacidade de reconhecimento (IL_MCC +6.5%).

Efeito de Negativos Difíceis#

Hard negatives são cruciais para reconhecimento de vocabulário aberto, melhorando o IL_MCC em 54.5% (0.44 → 0.68).

Escalonamento de dados de treinamento#

As anotações humanas de alta qualidade proporcionam grandes ganhos em comparação com dados sintéticos ou externos isolados. Para obter antecedentes sobre práticas de qualidade de dados, consulta recolha e anotação de dados.

Aplicações#

A capacidade de segmentação de conceitos do SAM 3 possibilita novos casos de uso:

• Moderação de conteúdo: Encontre todas as instâncias de tipos de conteúdo específicos em bibliotecas de mídia
• Comércio eletrónico: Segmenta todos os produtos de um determinado tipo em imagens de catálogo, suportando a auto-anotação
• Imagens médicas: Identifique todas as ocorrências de tipos específicos de tecido ou anomalias
• Sistemas autônomos: Rastreie todas as instâncias de sinais de trânsito, pedestres ou veículos por categoria
• Análise de vídeo: Conte e rastreie todas as pessoas vestindo roupas específicas ou realizando ações
• Anotação de Conjuntos de Dados: Anota rapidamente todas as instâncias de categorias de objetos raros
• Pesquisa científica: Quantifique e analise todos os espécimes que correspondam a critérios específicos

Agente SAM 3: Raciocínio de linguagem estendido#

O SAM 3 pode ser combinado com Modelos de Linguagem de Grande Escala Multimodais (MLLMs) para lidar com consultas complexas que requerem raciocínio, com um espírito semelhante aos sistemas de vocabulário aberto como OWLv2 e T-Rex.

Desempenho em tarefas de raciocínio#

Exemplos de consultas complexas#

O Agente SAM 3 consegue lidar com consultas que exigem raciocínio:

• "Pessoas sentadas, mas que não estão segurando uma caixa de presente nas mãos"
• "O cachorro mais próximo da câmera que não está usando coleira"
• "Objetos vermelhos maiores que a mão da pessoa"

O MLLM propõe consultas de frase nominal simples para o SAM 3, analisa as máscaras retornadas e itera até obter um resultado satisfatório.

Limitações#

Embora o SAM 3 represente um grande avanço, ele possui certas limitações:

• Complexidade de frases: Melhor adaptado para frases nominais simples; expressões de referência longas ou raciocínios complexos podem exigir integração com MLLM
• Tratamento de ambiguidade: Alguns conceitos permanecem inerentemente ambíguos (por exemplo, "janela pequena", "quarto aconchegante")
• Requisitos Computacionais: Maior e mais lento do que modelos de deteção especializados como o YOLO
• Escopo de vocabulário: Focado em conceitos visuais atômicos; o raciocínio composicional é limitado sem a assistência de um MLLM
• Conceitos raros: O desempenho pode diminuir em conceitos extremamente raros ou muito específicos que não estejam bem representados nos dados de treinamento

Citação#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ#