SAM 3: Segment Anything com conceitos#

SAM 3 (Modelo Segment Anything 3) é o modelo de base lançado pela Meta para Segmentação de Conceitos por Prompt (PCS). Com base no SAM 2, o SAM 3 introduz uma capacidade fundamentalmente nova: detetar, segmentar e rastrear todas as instâncias de um conceito visual especificado por prompts de texto, exemplos de imagens ou ambos. Ao contrário das versões anteriores do SAM, que segmentam objetos individuais por prompt, o SAM 3 consegue encontrar e segmentar cada ocorrência de um conceito em qualquer parte de imagens ou vídeos, alinhando-se com os objetivos de vocabulário aberto da moderna segmentação de instâncias.

O SAM 3 está totalmente integrado no pacote ultralytics, fornecendo suporte nativo para segmentação de conceitos com comandos de texto, comandos de exemplo de imagem e rastreamento de vídeo. O ponto de verificação mais recente SAM 3.1 é suportado para predição de imagens.

Visão geral#

O SAM 3 alcança um ganho de desempenho de 2× em relação aos sistemas existentes em Segmentação de Conceitos por Prompt, mantendo e melhorando as capacidades do SAM 2 para segmentação visual interativa. O modelo destaca-se na segmentação de vocabulário aberto, permitindo especificar conceitos através de simples expressões nominais (por exemplo, "autocarro escolar amarelo", "gato às riscas") ou fornecer imagens de exemplo do objeto-alvo. Estas capacidades complementam pipelines prontos para produção que dependem de fluxos de trabalho simplificados de predição e rastreamento.

O que é a Segmentação de Conceitos por Prompt (PCS)?#

A tarefa PCS recebe um prompt de conceito como entrada e devolve máscaras de segmentação com identidades únicas para todas as instâncias de objetos correspondentes. Os prompts de conceitos podem ser:

• Texto: Expressões nominais simples, como "maçã vermelha" ou "pessoa com um chapéu", semelhantes à aprendizagem zero-shot
• Exemplos de imagens: Caixas delimitadoras à volta de objetos de exemplo (positivos ou negativos) para uma generalização rápida
• Combinados: Texto e exemplos de imagens em conjunto para um controlo preciso

Isto difere dos prompts visuais tradicionais (pontos, caixas, máscaras), que segmentam apenas uma única instância de objeto específica, conforme popularizado pela família SAM original.

Principais métricas de desempenho#

Para obter contexto sobre as métricas dos modelos e os compromissos na produção, consulta informações sobre a avaliação de modelos e métricas de desempenho do YOLO.

SAM 3.1#

SAM 3.1, lançado pela Meta em 27 de março de 2026, é um novo ponto de verificação do SAM 3 que adiciona Object Multiplex, uma abordagem de memória compartilhada para rastreamento de vídeo de múltiplos objetos. Em vez de processar cada objeto rastreado de forma independente, o SAM 3.1 agrupa os objetos em baldes de capacidade fixa e os processa conjuntamente, o que a Meta relata como uma ~aceleração de 7× em 128 objetos em uma única GPU H100. O detector de imagens e o cabeçote interativo de comando por pontos mantêm a arquitetura do SAM 3.

O Ultralytics carrega o ponto de verificação do SAM 3.1 (sam3.1_multiplex.pt) nos preditores de imagem do SAM 3: SAM("sam3.1_multiplex.pt") para comandos de ponto e caixa, e SAM3SemanticPredictor para comandos de texto e exemplo. O rastreamento de vídeo Object Multiplex ainda não é suportado, portanto, continue usando sam3.pt com SAM3VideoPredictor e SAM3VideoSemanticPredictor.

Arquitetura#

O SAM 3 é composto por um detetor e um rastreador que partilham um backbone visual Perception Encoder (PE). Este design desacoplado evita conflitos entre tarefas, permitindo simultaneamente a deteção ao nível da imagem e o rastreamento ao nível do vídeo, com uma interface compatível com a utilização de Python e a utilização da CLI da Ultralytics.

Componentes principais#

• Detetor: Arquitetura baseada em DETR para deteção de conceitos ao nível da imagem

  • Codificador de texto para prompts de expressões nominais
  • Codificador de exemplos para prompts baseados em imagens
  • Codificador de fusão para condicionar as características da imagem aos prompts
  • Novo cabeçote de presença que separa o reconhecimento ("o quê") da localização ("onde")
  • Cabeçote de máscaras para gerar máscaras de segmentação de instâncias

• Rastreador: Segmentação de vídeo baseada em memória, herdada do SAM 2

  • Codificador de prompts, descodificador de máscaras e codificador de memória
  • Banco de memória para armazenar a aparência dos objetos entre frames
  • Desambiguação temporal auxiliada por técnicas como um filtro de Kalman em cenários com vários objetos

• Token de presença: Um token global aprendido que prevê se o conceito-alvo está presente na imagem/frame, melhorando a deteção ao separar o reconhecimento da localização.

Principais inovações#

1. Reconhecimento e localização desacoplados: O cabeçote de presença prevê globalmente a presença do conceito, enquanto as queries de proposta se concentram apenas na localização, evitando objetivos conflitantes.
2. Prompts de conceitos e visuais unificados: Suporta tarefas PCS (prompts de conceitos) e PVS (prompts visuais, como cliques/caixas do SAM 2) num único modelo.
3. Refinamento interativo com exemplos: Os utilizadores podem adicionar exemplos de imagens positivos ou negativos para refinar iterativamente os resultados, com o modelo a generalizar para objetos semelhantes em vez de apenas corrigir instâncias individuais.
4. Desambiguação temporal: Utiliza pontuações de deteção de masklets e novos prompts periódicos para lidar com oclusões, cenários congestionados e falhas de rastreamento em vídeo, em conformidade com as melhores práticas de segmentação e rastreamento de instâncias.

Conjunto de dados SA-Co#

O SAM 3 é treinado no Segment Anything with Concepts (SA-Co), o maior e mais diversificado conjunto de dados de segmentação da Meta até à data, expandindo-se para além de benchmarks comuns como o COCO e o LVIS.

Dados de treino#

Dados de benchmark#

O benchmark de avaliação SA-Co contém 214 mil expressões únicas em 126 mil imagens e vídeos, disponibilizando mais de 50× mais conceitos do que os benchmarks existentes. Inclui:

• SA-Co/Gold: 7 domínios, com tripla anotação para medir os limites do desempenho humano
• SA-Co/Silver: 10 domínios, com uma única anotação humana
• SA-Co/Bronze e SA-Co/Bio: 9 conjuntos de dados existentes adaptados para a segmentação de conceitos
• SA-Co/VEval: Benchmark de vídeo com 3 domínios (SA-V, YT-Temporal-1B, SmartGlasses)

Inovações do motor de dados#

O motor de dados escalável da SAM 3, com humanos e modelos no circuito, alcança 2× mais produtividade de anotação através de:

1. Anotadores de IA: Modelos baseados em Llama propõem expressões nominais diversificadas, incluindo negativos difíceis
2. Verificadores de IA: LLMs multimodais ajustados verificam a qualidade e a exaustividade das máscaras com um desempenho próximo do humano
3. Mineração ativa: Concentra o esforço humano em casos de falha difíceis, nos quais a IA tem dificuldades
4. Orientado por ontologia: Utiliza uma grande ontologia fundamentada no Wikidata para garantir a cobertura de conceitos

Instalação#

Instala ou atualiza o pacote ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Como utilizar o SAM 3: versatilidade na segmentação de conceitos#

O SAM 3 suporta tarefas de Segmentação de Conceitos por Prompt (PCS) e Segmentação Visual por Prompt (PVS) através de diferentes interfaces de preditores:

Tarefas e modelos suportados#

Exemplos de segmentação de conceitos#

Segmentação com prompts de texto#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Segmentação com exemplares de imagem#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inferência baseada em características para maior eficiência#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Segmentação de conceitos em vídeo#

Rastreia conceitos em vídeo com caixas delimitadoras#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Rastreia conceitos com prompts de texto#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompts visuais (compatibilidade com SAM 2)#

SAM 3 mantém compatibilidade retroativa total com os prompts visuais do SAM 2 para a segmentação de objetos individuais:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmarks de desempenho#

Segmentação de imagens#

SAM 3 alcança resultados de última geração em vários benchmarks, incluindo conjuntos de dados do mundo real como LVIS e COCO para segmentação:

Explora opções de conjuntos de dados para experimentação rápida em conjuntos de dados da Ultralytics.

Desempenho da segmentação de vídeo#

SAM 3 apresenta melhorias significativas em relação ao SAM 2 e ao estado da arte anterior em benchmarks de vídeo como DAVIS 2017 e YouTube-VOS:

Adaptação com poucos exemplos#

SAM 3 destaca-se na adaptação a novos domínios com poucos exemplos, sendo relevante para fluxos de trabalho de IA centrada em dados:

Eficácia do refinamento interativo#

Os prompts baseados em conceitos do SAM 3 com exemplares convergem muito mais rapidamente do que os prompts visuais:

Precisão da contagem de objetos#

SAM 3 fornece uma contagem precisa ao segmentar todas as instâncias, um requisito comum na contagem de objetos:

Comparação entre SAM 3, SAM 2 e YOLO#

Aqui comparamos as capacidades do SAM 3 com os modelos SAM 2 e YOLO26. Para deteção e segmentação de vocabulário aberto em tempo real a partir dos mesmos tipos de prompts, consulta YOLOE:

Velocidade avaliada em NVIDIA RTX PRO 6000 com torch==2.9.1 e ultralytics==8.4.19.

Principais conclusões:

• SAM 3: Ideal para segmentação de conceitos com vocabulário aberto, encontrando todas as instâncias de um conceito com prompts de texto ou de exemplos
• SAM 2: Ideal para segmentação interativa de um único objeto em imagens e vídeos com prompts geométricos
• YOLO26: Ideal para segmentação em tempo real e de alta velocidade com inferência opcional de ponta a ponta sem NMS, exportável para vários formatos para implantação em GPUs, CPUs e dispositivos de borda

Comparação entre SAM e YOLO#

Comparação entre SAM 3, SAM 2, SAM, MobileSAM e FastSAM e os modelos de segmentação YOLO da Ultralytics (YOLOv8, YOLO11, YOLO26) em termos de tamanho, parâmetros e velocidade de inferência na GPU:

Esta comparação demonstra as diferenças substanciais entre as variantes do SAM e os modelos de segmentação YOLO em termos de tamanho e velocidade. Embora o SAM ofereça capacidades únicas de segmentação automática, os modelos YOLO, particularmente YOLOv8n-seg, YOLO11n-seg e YOLO26n-seg, são significativamente menores, mais rápidos e mais eficientes em termos computacionais.

Os testes foram executados numa NVIDIA RTX PRO 6000 com 96 GB de VRAM usando torch==2.9.1 e ultralytics==8.4.19. Para reproduzir este teste:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Métricas de avaliação#

SAM 3 introduz novas métricas concebidas para a tarefa PCS, complementando medidas conhecidas como a pontuação F1, a precisão e a revocação.

F1 condicionado pela classificação (CGF1)#

A métrica principal que combina localização e classificação:

CGF1 = 100 × pmF1 × IL_MCC

Onde:

• pmF1 (F1 macro positivo): Mede a qualidade da localização em exemplos positivos
• IL_MCC (Coeficiente de Correlação de Matthews ao nível da imagem): Mede a precisão da classificação binária ("o conceito está presente?")

Porquê estas métricas?#

As métricas AP tradicionais não têm em conta a calibração, o que dificulta a utilização dos modelos na prática. Ao avaliar apenas previsões com confiança superior a 0.5, as métricas do SAM 3 impõem uma boa calibração e reproduzem padrões de utilização do mundo real em ciclos interativos de predição e rastreamento.

Ablações e conclusões principais#

Impacto da cabeça de presença#

A cabeça de presença desacopla o reconhecimento da localização, proporcionando melhorias significativas:

A cabeça de presença proporciona um aumento de 5.7 no CGF1 (+9.9%), melhorando principalmente a capacidade de reconhecimento (IL_MCC +6.5%).

Efeito dos negativos difíceis#

Os negativos difíceis são cruciais para o reconhecimento com vocabulário aberto, melhorando o IL_MCC em 54.5% (0.44 → 0.68).

Escalonamento dos dados de treino#

As anotações humanas de alta qualidade proporcionam grandes ganhos em relação a dados sintéticos ou externos utilizados isoladamente. Para obter informações de base sobre práticas de qualidade dos dados, consulta recolha e anotação de dados.

Aplicações#

A capacidade de segmentação de conceitos do SAM 3 permite novos casos de uso:

• Moderação de conteúdo: Encontrar todas as instâncias de tipos específicos de conteúdo em bibliotecas multimédia
• Comércio eletrónico: Segmentar todos os produtos de um determinado tipo em imagens de catálogo, permitindo a anotação automática
• Imagiologia médica: Identificar todas as ocorrências de tipos específicos de tecido ou anomalias
• Sistemas autónomos: Rastrear todas as instâncias de sinais de trânsito, peões ou veículos por categoria
• Análise de vídeo: Contar e rastrear todas as pessoas que usam determinado vestuário ou realizam determinadas ações
• Anotação de conjuntos de dados: Anotar rapidamente todas as instâncias de categorias raras de objetos
• Investigação científica: Quantificar e analisar todos os espécimes que correspondem a critérios específicos

Agente SAM 3: Raciocínio linguístico avançado#

SAM 3 pode ser combinado com Modelos de Linguagem Grandes Multimodais (MLLMs) para lidar com consultas complexas que exigem raciocínio, de forma semelhante a sistemas de vocabulário aberto como OWLv2 e T-Rex.

Desempenho em tarefas de raciocínio#

Exemplos de consultas complexas#

O Agente SAM 3 consegue lidar com consultas que exigem raciocínio:

• "Pessoas sentadas, mas que não seguram uma caixa de presente nas mãos"
• "O cão mais próximo da câmara que não está a usar uma coleira"
• "Objetos vermelhos maiores do que a mão da pessoa"

O MLLM propõe consultas simples em forma de sintagmas nominais ao SAM 3, analisa as máscaras retornadas e itera até ficar satisfeito.

Limitações#

Embora o SAM 3 represente um avanço significativo, ele apresenta algumas limitações:

• Complexidade das frases: é mais adequado para sintagmas nominais simples; expressões referenciais longas ou raciocínios complexos podem exigir integração com um MLLM
• Tratamento de ambiguidades: alguns conceitos permanecem inerentemente ambíguos (por exemplo, "janela pequena", "quarto aconchegante")
• Requisitos computacionais: maior e mais lento do que modelos de detecção especializados, como o YOLO
• Abrangência do vocabulário: concentra-se em conceitos visuais atômicos; o raciocínio composicional é limitado sem a assistência de um MLLM
• Conceitos raros: o desempenho pode diminuir em conceitos extremamente raros ou refinados que não estejam bem representados nos dados de treinamento

Citação#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Perguntas frequentes#