SAM 3: сегментация чего угодно по концептам#

SAM 3 (Модель сегментации чего угодно 3) — выпущенная Meta базовая модель для сегментации концептов по запросу (PCS). Развивая SAM 2, SAM 3 представляет принципиально новую возможность: обнаруживать, сегментировать и отслеживать все экземпляры визуального концепта, заданного текстовыми запросами, эталонными изображениями или и тем и другим. В отличие от предыдущих версий SAM, которые сегментируют по одному объекту на запрос, SAM 3 может находить и сегментировать каждое вхождение концепта в любых местах изображений или видео, что соответствует целям открытого словаря в современной сегментации экземпляров.

SAM 3 полностью интегрирован в пакет ultralytics, обеспечивая нативную поддержку сегментации концептов с помощью текстовых подсказок, подсказок по примерам изображений и трекинга видео. Более новая контрольная точка SAM 3.1 поддерживается для предсказания на изображениях.

Обзор#

SAM 3 обеспечивает двукратный прирост производительности по сравнению с существующими системами в задаче сегментации концептов по запросу, сохраняя и улучшая возможности SAM 2 для интерактивной визуальной сегментации. Модель отлично справляется с сегментацией в режиме открытого словаря, позволяя задавать концепты с помощью простых именных фраз (например, "yellow school bus", "striped cat") или предоставлять примеры изображений целевого объекта. Эти возможности дополняют готовые к использованию в production пайплайны, основанные на оптимизированных процессах predict и track.

Что такое сегментация концептов по запросу (PCS)?#

Задача PCS принимает на вход запрос концепта и возвращает маски сегментации с уникальными идентификаторами для всех соответствующих экземпляров объектов. Запросы концептов могут быть следующими:

• Текст: простые именные фразы, например "red apple" или "person wearing a hat", аналогично обучению без примеров
• Эталонные изображения: ограничивающие рамки вокруг объектов-примеров (положительных или отрицательных) для быстрой генерализации
• Комбинированные: текст и эталонные изображения вместе для точного управления

Это отличается от традиционных визуальных подсказок (точек, рамок и масок), которые сегментируют только один конкретный экземпляр объекта, как стало популярно благодаря оригинальному семейству SAM.

Основные метрики производительности#

Подробнее о метриках моделей и компромиссах в production см. в материалах об оценке моделей и метриках производительности YOLO.

SAM 3.1#

SAM 3.1, выпущенная Meta 27 марта 2026 года, представляет собой новую контрольную точку SAM 3, в которой реализован Object Multiplex, подход с разделяемой памятью для трекинга нескольких объектов в видео. Вместо обработки каждого отслеживаемого объекта независимо, SAM 3.1 объединяет объекты в бакеты фиксированной емкости и обрабатывает их совместно, что, по данным Meta, обеспечивает ускорение в ~7 раз для 128 объектов на одном графическом процессоре H100. Детектор изображений и голова интерактивных подсказок по точкам сохраняют архитектуру SAM 3.

Ultralytics загружает контрольную точку SAM 3.1 (sam3.1_multiplex.pt) в предикторы изображений SAM 3: SAM("sam3.1_multiplex.pt") для подсказок по точкам и боксам, и SAM3SemanticPredictor для текстовых подсказок и подсказок по примерам. Трекинг видео Object Multiplex пока не поддерживается, поэтому продолжай использовать sam3.pt с SAM3VideoPredictor и SAM3VideoSemanticPredictor.

Архитектура#

SAM 3 состоит из детектора и трекера, использующих общий визуальный бэкбон Perception Encoder (PE). Такая разделённая архитектура позволяет избежать конфликтов между задачами и одновременно поддерживает обнаружение на уровне изображений и трекинг на уровне видео, с интерфейсом, совместимым с использованием Python и использованием CLI в Ultralytics.

Основные компоненты#

• Детектор: архитектура на основе DETR для обнаружения концептов на уровне изображения

  • Текстовый энкодер для подсказок в виде именных фраз
  • Энкодер эталонных изображений для подсказок на основе изображений
  • Энкодер слияния для обусловливания признаков изображения подсказками
  • Новая голова присутствия, отделяющая распознавание ("что") от локализации ("где")
  • Голова масок для создания масок сегментации экземпляров

• Трекер: основанная на памяти сегментация видео, унаследованная от SAM 2

  • Энкодер подсказок, декодер масок, энкодер памяти
  • Банк памяти для хранения внешнего вида объектов между кадрами
  • Временная дизамбигация с использованием таких методов, как фильтр Калмана, в сценариях с несколькими объектами

• Токен присутствия: обучаемый глобальный токен, который предсказывает наличие целевого концепта на изображении или кадре, повышая качество обнаружения за счёт разделения распознавания и локализации.

Ключевые инновации#

1. Разделение распознавания и локализации: голова присутствия глобально предсказывает наличие концепта, а запросы предложений сосредоточены только на локализации, что позволяет избежать конфликтующих целей.
2. Унифицированные концептуальные и визуальные подсказки: одна модель поддерживает как PCS (концептуальные подсказки), так и PVS (визуальные подсказки, например клики и рамки из SAM 2).
3. Интерактивное уточнение по эталонным изображениям: ты можешь добавлять положительные или отрицательные эталонные изображения для итеративного уточнения результатов; модель обобщает результат на похожие объекты, а не просто исправляет отдельные экземпляры.
4. Временная дизамбигация: для обработки перекрытий, перегруженных сцен и сбоев трекинга в видео используются оценки обнаружения masklet и периодическая повторная подача запросов, что соответствует лучшим практикам сегментации и трекинга экземпляров.

Датасет SA-Co#

SAM 3 обучена на Segment Anything with Concepts (SA-Co) — крупнейшем и наиболее разнообразном на сегодняшний день датасете сегментации Meta, выходящем за рамки распространённых бенчмарков, таких как COCO и LVIS.

Данные обучения#

Данные бенчмарка#

Оценочный бенчмарк SA-Co содержит 214 тыс. уникальных фраз в 126 тыс. изображений и видео, предоставляя более чем в 50 раз больше концептов, чем существующие бенчмарки. Он включает:

• SA-Co/Gold: 7 доменов с тройной разметкой для измерения границ человеческих возможностей
• SA-Co/Silver: 10 доменов с одной аннотацией, созданной человеком
• SA-Co/Bronze и SA-Co/Bio: 9 существующих датасетов, адаптированных для сегментации концептов
• SA-Co/VEval: бенчмарк видео с 3 доменами (SA-V, YT-Temporal-1B, SmartGlasses)

Инновации механизма подготовки данных#

Масштабируемый механизм подготовки данных SAM 3 с участием людей и моделей обеспечивает двукратное увеличение пропускной способности аннотации благодаря следующим компонентам:

1. Аннотаторы на базе ИИ: модели на базе Llama предлагают разнообразные именные фразы, включая сложные отрицательные примеры
2. Верификаторы на базе ИИ: дообученные мультимодальные LLM проверяют качество и полноту масок почти на уровне человека
3. Активный поиск: направляет усилия людей на сложные случаи с ошибками, где ИИ испытывает трудности
4. На основе онтологии: использует крупную онтологию, связанную с Wikidata, для охвата концептов

Установка#

Установи или обнови пакет ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Как использовать SAM 3: универсальность сегментации концептов#

SAM 3 поддерживает задачи сегментации концептов по запросу (PCS) и визуальной сегментации по запросу (PVS) через разные интерфейсы предикторов:

Поддерживаемые задачи и модели#

Примеры сегментации концепций#

Сегментация с текстовыми подсказками#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Сегментация с визуальными примерами#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Вывод на основе признаков для повышения эффективности#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Сегментация концепций на видео#

Отслеживание концепций на видео с помощью ограничивающих рамок#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Отслеживание концепций с текстовыми подсказками#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Визуальные подсказки (совместимость с SAM 2)#

SAM 3 полностью сохраняет обратную совместимость с визуальными подсказками SAM 2 для сегментации отдельных объектов:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Сравнительные тесты производительности#

Сегментация изображений#

SAM 3 демонстрирует лучшие в отрасли результаты на нескольких наборах тестов, включая реальные наборы данных, такие как LVIS и COCO для сегментации:

Изучи варианты наборов данных для быстрых экспериментов в наборах данных Ultralytics.

Производительность сегментации видео#

SAM 3 демонстрирует значительные улучшения по сравнению с SAM 2 и предыдущими лучшими в отрасли результатами на таких тестах для видео, как DAVIS 2017 и YouTube-VOS:

Адаптация по небольшому числу примеров#

SAM 3 отлично адаптируется к новым областям с минимальным количеством примеров, что актуально для рабочих процессов data-centric AI:

Эффективность интерактивного уточнения#

Подсказки на основе концепций в SAM 3 с примерами сходятся к результату значительно быстрее, чем визуальные подсказки:

Точность подсчёта объектов#

SAM 3 обеспечивает точный подсчёт, сегментируя все экземпляры, что часто требуется в задачах подсчёта объектов:

Сравнение SAM 3, SAM 2 и YOLO#

Здесь мы сравниваем возможности SAM 3 с моделями SAM 2 и YOLO26. Для обнаружения и сегментации в реальном времени с открытым словарём по подсказкам тех же типов см. YOLOE:

Скорость измерена на NVIDIA RTX PRO 6000 с использованием torch==2.9.1 и ultralytics==8.4.19.

Ключевые выводы:

• SAM 3: лучше всего подходит для сегментации концепций с открытым словарём и поиска всех экземпляров концепции по текстовым запросам или примерам
• SAM 2: лучше всего подходит для интерактивной сегментации одного объекта на изображениях и видео с геометрическими запросами
• YOLO26: Лучший выбор для быстрого сегментирования в реальном времени с опциональным выводом «end-to-end» без NMS, который можно экспортировать во множество форматов для развертывания на графических процессорах (GPU), центральных процессорах (CPU) и периферийных устройствах

Сравнение SAM с YOLO#

Сравнение SAM 3, SAM 2, SAM, MobileSAM и FastSAM с моделями сегментации Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) по размеру, количеству параметров и скорости вывода на GPU:

Это сравнение демонстрирует существенные различия в размере и скорости моделей между вариантами SAM и моделями сегментации YOLO. Хотя SAM предоставляет уникальные возможности автоматической сегментации, модели YOLO, особенно YOLOv8n-seg, YOLO11n-seg и YOLO26n-seg, значительно меньше, быстрее и эффективнее с точки зрения вычислений.

Тесты выполнены на NVIDIA RTX PRO 6000 с 96 ГБ видеопамяти с использованием torch==2.9.1 и ultralytics==8.4.19. Чтобы воспроизвести этот тест:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Метрики оценки#

SAM 3 вводит новые метрики, разработанные для задачи PCS, дополняющие знакомые показатели, такие как F1 score, точность и полнота.

F1 с учётом классификации (CGF1)#

Основная метрика, объединяющая локализацию и классификацию:

CGF1 = 100 × pmF1 × IL_MCC

Где:

• pmF1 (положительная макроусреднённая F1): измеряет качество локализации на положительных примерах
• IL_MCC (коэффициент корреляции Мэтьюса на уровне изображения): измеряет точность бинарной классификации («присутствует ли концепция?»)

Зачем нужны эти метрики?#

Традиционные метрики AP не учитывают калибровку, из-за чего модели сложно использовать на практике. Оценивая только предсказания с уверенностью выше 0,5, метрики SAM 3 обеспечивают хорошую калибровку и имитируют реальные сценарии использования в интерактивных циклах predict и track.

Ключевые абляции и выводы#

Влияние модуля наличия объекта#

Модуль наличия объекта отделяет распознавание от локализации, обеспечивая значительные улучшения:

Модуль наличия объекта обеспечивает прирост CGF1 на +5,7 (+9,9%), главным образом улучшая способность к распознаванию (IL_MCC +6,5%).

Влияние сложных негативных примеров#

Сложные негативные примеры крайне важны для распознавания с открытым словарём, повышая IL_MCC на 54,5% (с 0,44 до 0,68).

Масштабирование обучающих данных#

Высококачественные аннотации, выполненные людьми, дают значительный прирост по сравнению с одними лишь синтетическими или внешними данными. Общие сведения о методах обеспечения качества данных см. в разделе сбор и аннотирование данных.

Применения#

Возможность сегментации концепций в SAM 3 открывает новые варианты использования:

• Модерация контента: поиск всех экземпляров определённых типов контента в медиатеках
• Электронная коммерция: сегментация всех товаров определённого типа на изображениях каталога с поддержкой автоматической аннотации
• Медицинская визуализация: выявление всех случаев присутствия определённых типов тканей или патологий
• Автономные системы: отслеживание всех дорожных знаков, пешеходов или транспортных средств определённой категории
• Анализ видео: подсчёт и отслеживание всех людей, одетых в определённую одежду или выполняющих определённые действия
• Аннотирование датасетов: быстрая аннотация всех экземпляров редких категорий объектов
• Научные исследования: количественная оценка и анализ всех образцов, соответствующих определённым критериям

Агент SAM 3: расширенное языковое рассуждение#

SAM 3 можно объединить с мультимодальными большими языковыми моделями (MLLM), чтобы обрабатывать сложные запросы, требующие рассуждений, подобно системам с открытым словарём, таким как OWLv2 и T-Rex.

Производительность на задачах, требующих рассуждений#

Примеры сложных запросов#

Агент SAM 3 может обрабатывать запросы, требующие рассуждений:

• «Люди, которые сидят, но не держат в руках подарочную коробку»
• «Собака, ближайшая к камере, на которой нет ошейника»
• «Красные объекты, размер которых больше ладони человека»

MLLM предлагает SAM 3 простые запросы в виде именных групп, анализирует возвращённые маски и повторяет процесс, пока результат его не удовлетворит.

Ограничения#

Несмотря на то что SAM 3 представляет собой значительный шаг вперёд, у него есть определённые ограничения:

• Сложность фраз: лучше всего подходит для простых именных групп; длинные описательные выражения или сложные рассуждения могут потребовать интеграции с MLLM
• Обработка неоднозначности: некоторые концепции по своей природе остаются неоднозначными (например, «маленькое окно», «уютная комната»)
• Вычислительные требования: больше и медленнее специализированных моделей обнаружения, таких как YOLO
• Охват словаря: ориентирован на атомарные визуальные концепции; без помощи MLLM возможности композиционного рассуждения ограничены
• Редкие концепции: производительность может снижаться для чрезвычайно редких или детализированных концепций, которые недостаточно представлены в обучающих данных

Цитирование#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Часто задаваемые вопросы#