SAM 3: Сегментация всего с помощью концептов#

SAM 3 (Segment Anything Model 3) — это базовая модель от Meta для сегментации концептов с подсказками (Promptable Concept Segmentation, PCS). Основываясь на SAM 2, SAM 3 представляет принципиально новую возможность: обнаружение, сегментацию и трекинг всех экземпляров визуального концепта, заданного текстовыми подсказками, примерами изображений или обоими способами. В отличие от предыдущих версий SAM, которые сегментируют отдельные объекты по одной подсказке, SAM 3 может находить и сегментировать каждое появление концепта в любом месте на изображениях или в видео, что соответствует целям открытого словаря в современной сегментации экземпляров.

SAM 3 теперь полностью интегрирована в пакет ultralytics, обеспечивая нативную поддержку сегментации концептов с помощью текстовых подсказок, примеров изображений и функций трекинга видео.

Обзор#

SAM 3 обеспечивает 2-кратное увеличение производительности по сравнению с существующими системами в задачах сегментации концептов с подсказками, сохраняя и улучшая возможности SAM 2 для интерактивной визуальной сегментации. Модель превосходно справляется с сегментацией с открытым словарем, позволяя задавать концепты с помощью простых именных групп (например, «желтый школьный автобус», «полосатый котище») или предоставляя примеры изображений целевого объекта. Эти возможности дополняют готовые к продакшену конвейеры, которые опираются на оптимизированные рабочие процессы predict и track.

Что такое сегментация концептов с подсказками (PCS)?#

Задача PCS принимает концептуальную подсказку в качестве входных данных и возвращает маски сегментации с уникальными идентификаторами для всех соответствующих экземпляров объектов. Концептуальные подсказки могут быть:

• Текст: простые именные группы вроде «красное яблоко» или «человек в шляпе», аналогично обучению с нулевым результатом
• Примеры изображений: Ограничивающие рамки вокруг примеров объектов (положительных или отрицательных) для быстрой генерализации
• Комбинированные: И текст, и примеры изображений вместе для точного контроля

Это отличается от традиционных визуальных подсказок (точек, боксов, масок), которые сегментируют только один конкретный экземпляр объекта, как это было популяризировано исходным семейством SAM.

Основные метрики производительности#

Для получения контекста о метриках моделей и компромиссах в продакшене см. информацию об оценке моделей и метрики производительности YOLO.

Архитектура#

SAM 3 состоит из детектора и трекера, которые используют общий бэкбон визуального восприятия Perception Encoder (PE). Такая раздельная архитектура позволяет избежать конфликтов задач, обеспечивая как обнаружение на уровне изображений, так и трекинг на уровне видео, с интерфейсом, совместимым с использованием Python и использованием CLI в Ultralytics.

Основные компоненты#

• Детектор: архитектура на базе DETR для обнаружения концептов на уровне изображений

  • Текстовый энкодер для подсказок в виде именных фраз
  • Энкодер примеров для подсказок на основе изображений
  • Fusion-энкодер для обусловливания признаков изображения на основе подсказок
  • Новаторская голова присутствия (presence head), которая отделяет распознавание ("что") от локализации ("где")
  • Голова маски для генерации масок инстанс-сегментации

• Трекер: сегментация видео на основе памяти, унаследованная от SAM 2

  • Энкодер подсказок, декодер масок, энкодер памяти
  • Банк памяти для хранения внешнего вида объектов в разных кадрах
  • Временное разрешение неоднозначности с помощью таких методов, как фильтр Калмана, в сценариях с несколькими объектами

• Токен присутствия (Presence Token): Обучаемый глобальный токен, который предсказывает, присутствует ли целевой концепт на изображении/кадре, улучшая детекцию путем отделения распознавания от локализации.

Ключевые инновации#

1. Разделение распознавания и локализации: Голова присутствия предсказывает наличие концепта глобально, в то время как запросы предложений фокусируются только на локализации, что позволяет избежать конфликтующих целей.
2. Единые концептуальные и визуальные подсказки: Поддерживает как PCS (концептуальные подсказки), так и PVS (визуальные подсказки, такие как клики/рамки в SAM 2) в одной модели.
3. Интерактивное уточнение примерами: Ты можешь добавлять положительные или отрицательные примеры изображений для итеративного уточнения результатов, при этом модель обобщает их до похожих объектов, а не просто исправляет отдельные экземпляры.
4. Временное разрешение неоднозначности: использует оценки обнаружения масклетов и периодическое повторное вызов подсказок для обработки окклюзий, переполненных сцен и сбоев трекинга в видео, в соответствии с передовыми практиками сегментации и трекинга экземпляров.

Датасет SA-Co#

SAM 3 обучена на датасете Segment Anything with Concepts (SA-Co) — самом крупном и разнообразном наборе данных для сегментации от Meta на сегодняшний день, выходящем за рамки обычных бенчмарков, таких как COCO и LVIS.

Данные для обучения#

Бенчмарк данных#

Бенчмарк оценки SA-Co содержит 214 тыс. уникальных фраз на 126 тыс. изображений и видео, предоставляя более чем в 50 раз больше концептов, чем существующие бенчмарки. Он включает:

• SA-Co/Gold: 7 доменов, тройная аннотация для измерения границ человеческой производительности
• SA-Co/Silver: 10 доменов, одинарная аннотация человеком
• SA-Co/Bronze и SA-Co/Bio: 9 существующих датасетов, адаптированных для сегментации концептов
• SA-Co/VEval: Видео-бенчмарк с 3 доменами (SA-V, YT-Temporal-1B, SmartGlasses)

Инновации движка данных#

Масштабируемый движок данных SAM 3 с участием человека и модели обеспечивает удвоенную пропускную способность аннотирования за счет:

1. ИИ-разметчики: модели на базе Llama предлагают разнообразные именные группы, включая сложные негативные примеры
2. ИИ-верификаторы: дообученные мультимодальные LLM проверяют качество масок и полноту с производительностью, близкой к человеческой
3. Активное майнинг: Фокусирует усилия человека на сложных случаях, где ИИ испытывает трудности
4. Онтологический подход: использует крупную онтологию на базе Wikidata для покрытия концептов

Установка#

SAM 3 доступна в Ultralytics версии 8.3.237 и выше. Установи или обнови пакет командой:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Как использовать SAM 3: Универсальность в сегментации концептов#

SAM 3 поддерживает как задачи сегментации концептов с подсказками (PCS), так и задачи визуальной сегментации с подсказками (PVS) через различные интерфейсы предиктора:

Поддерживаемые задачи и модели#

Примеры сегментации концептов#

Сегментация с помощью текстовых подсказок#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Сегментация с помощью примеров изображений#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Вывод на основе признаков для повышения эффективности#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Сегментация концептов в видео#

Отслеживай концепты в видео с помощью ограничивающих рамок#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Отслеживай концепты с помощью текстовых промптов#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Визуальные промпты (совместимость с SAM 2)#

SAM 3 сохраняет полную обратную совместимость с визуальными промптами SAM 2 для сегментации отдельных объектов:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Тесты производительности#

Сегментация изображений#

SAM 3 достигает результатов передового уровня на множестве бенчмарков, включая датасеты реального мира, такие как LVIS и COCO для сегментации:

Изучи варианты датасетов для быстрых экспериментов в разделе Датасеты Ultralytics.

Производительность сегментации видео#

SAM 3 демонстрирует значительные улучшения по сравнению с SAM 2 и предыдущими передовыми моделями на видео-бенчмарках, таких как DAVIS 2017 и YouTube-VOS:

Адаптация few-shot#

SAM 3 отлично адаптируется к новым доменам с минимальным количеством примеров, что важно для рабочих процессов дата-центричного ИИ:

Эффективность интерактивного уточнения#

Промпты SAM 3 на основе концептов с примерами сходятся гораздо быстрее, чем визуальные промпты:

Точность подсчета объектов#

SAM 3 обеспечивает точный подсчет путем сегментации всех экземпляров, что является частым требованием в задачах подсчета объектов:

Сравнение SAM 3, SAM 2 и YOLO#

Здесь мы сравниваем возможности SAM 3 с моделями SAM 2 и YOLO26:

Скорость измерена на NVIDIA RTX PRO 6000 с использованием torch==2.9.1 и ultralytics==8.4.19.

Основные выводы:

• SAM 3: лучше всего подходит для сегментации концептов с открытым словарем, поиска всех экземпляров концепта с помощью текстовых или примерочных подсказок
• SAM 2: лучше всего подходит для интерактивной сегментации одного объекта на изображениях и видео с использованием геометрических подсказок
• YOLO26: лучший выбор для высокоскоростной сегментации в реальном времени с выводом end-to-end без NMS, экспортируемый во множество форматов для развертывания на GPU, CPU и периферийных устройствах

Сравнение SAM и YOLO#

Сравнение SAM 3, SAM 2, SAM, MobileSAM и FastSAM с моделями сегментации Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) по размеру, параметрам и скорости вывода на GPU:

Это сравнение демонстрирует существенные различия в размерах моделей и скорости между вариантами SAM и моделями сегментации YOLO. В то время как SAM обеспечивает уникальные возможности автоматической сегментации, модели YOLO, в частности YOLOv8n-seg, YOLO11n-seg и YOLO26n-seg, значительно меньше, быстрее и вычислительно эффективнее.

Тесты запущены на NVIDIA RTX PRO 6000 с 96 ГБ видеопамяти с использованием torch==2.9.1 и ultralytics==8.4.19. Чтобы воспроизвести этот тест:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Метрики оценки#

SAM 3 представляет новые метрики, разработанные для задачи PCS, дополняя привычные показатели, такие как F1-мера, точность (precision) и полнота (recall).

Classification-Gated F1 (CGF1)#

Основная метрика, объединяющая локализацию и классификацию:

CGF1 = 100 × pmF1 × IL_MCC

Где:

• pmF1 (Positive Macro F1): измеряет качество локализации на положительных примерах
• IL_MCC (Image-Level Matthews Correlation Coefficient): измеряет точность бинарной классификации ("присутствует ли концепт?")

Почему именно эти метрики?#

Традиционные метрики AP не учитывают калибровку, из-за чего модели сложно использовать на практике. Оценивая только предсказания с уверенностью выше 0.5, метрики SAM 3 обеспечивают хорошую калибровку и имитируют паттерны реального использования в интерактивных циклах predict и track.

Ключевые абляции и инсайты#

Влияние заголовка присутствия (Presence Head)#

Заголовок присутствия отделяет распознавание от локализации, обеспечивая значительные улучшения:

Заголовок присутствия дает прирост +5.7 CGF1 (+9.9%), в первую очередь улучшая способность к распознаванию (IL_MCC +6.5%).

Эффект сложных негативных примеров (Hard Negatives)#

Трудные примеры (hard negatives) критически важны для распознавания с открытым словарем, улучшая IL_MCC на 54.5% (0.44 → 0.68).

Масштабирование обучающих данных#

Высококачественная разметка людьми дает огромные преимущества по сравнению с синтетическими или только внешними данными. Справочную информацию о практиках контроля качества данных см. в разделе сбор и разметка данных.

Применение#

Возможность сегментации концептов в SAM 3 открывает новые сценарии использования:

• Модерация контента: находи все экземпляры определенных типов контента в медиабиблиотеках
• Электронная коммерция: сегментация всех продуктов определенного типа на изображениях каталога, поддержка автоматической разметки
• Медицинская визуализация: выявляй все случаи появления специфических типов тканей или патологий
• Автономные системы: отслеживай все экземпляры дорожных знаков, пешеходов или транспортных средств по категориям
• Видеоаналитика: подсчитывай и отслеживай всех людей, одетых в определенную одежду или выполняющих действия
• Разметка датасетов: быстрая разметка всех экземпляров редких категорий объектов
• Научные исследования: проводи количественный анализ всех образцов, соответствующих заданным критериям

Агент SAM 3: Расширенное языковое мышление#

SAM 3 можно комбинировать с мультимодальными большими языковыми моделями (MLLM) для обработки сложных запросов, требующих рассуждений, что концептуально близко к системам с открытым словарем, таким как OWLv2 и T-Rex.

Производительность в задачах на логическое мышление#

Примеры сложных запросов#

Агент SAM 3 может обрабатывать запросы, требующие рассуждения:

• "Люди, которые сидят, но не держат в руках подарочную коробку"
• "Собака, которая ближе всего к камере и не носит ошейник"
• "Красные объекты, которые больше, чем рука человека"

MLLM предлагает простые запросы с именными фразами для SAM 3, анализирует возвращенные маски и итерирует до достижения результата.

Ограничения#

Хотя SAM 3 представляет собой серьезный шаг вперед, у него есть определенные ограничения:

• Сложность фраз: лучше всего подходит для простых именных фраз; для длинных ссылочных выражений или сложных рассуждений может потребоваться интеграция с MLLM
• Обработка неоднозначности: некоторые концепты остаются по своей сути двусмысленными (например, "маленькое окно", "уютная комната")
• Требования к вычислениям: крупнее и медленнее специализированных моделей обнаружения, таких как YOLO
• Область словаря: ориентирован на атомарные визуальные концепты; композиционное мышление ограничено без помощи MLLM
• Редкие концепты: производительность может снижаться на очень редких или узкоспециализированных концептах, недостаточно представленных в обучающих данных

Цитирование#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ#