SAM 3: сегментация любых объектов по концепциям#

SAM 3 (модель сегментации всего 3) — выпущенная Meta базовая модель для сегментации концепций по запросам (PCS). Созданная на основе SAM 2, SAM 3 представляет принципиально новую возможность: обнаруживать, сегментировать и отслеживать все экземпляры визуальной концепции, заданной текстовым запросом, примером изображения или обоими способами. В отличие от предыдущих версий SAM, сегментирующих один объект на запрос, SAM 3 может находить и сегментировать все вхождения концепции в изображениях и видео, что соответствует целям открытого словаря в современной сегментации экземпляров.

SAM 3 полностью интегрирована в пакет ultralytics, который изначально поддерживает сегментацию концепций по текстовым запросам, запросам с примерами изображений и отслеживание в видео. Для предсказаний на изображениях поддерживается более новая контрольная точка SAM 3.1.

Обзор#

SAM 3 обеспечивает двукратный прирост производительности по сравнению с существующими системами в задаче сегментации концепций по запросам, сохраняя и улучшая возможности SAM 2 для интерактивной визуальной сегментации. Модель особенно эффективна при сегментации с открытым словарём: пользователи могут задавать концепции простыми именными фразами (например, «жёлтый школьный автобус», «полосатая кошка») или передавать примеры изображений целевого объекта. Эти возможности дополняют готовые к промышленной эксплуатации конвейеры, использующие оптимизированные процессы предсказания и отслеживания.

Что такое сегментация концепций по запросам (PCS)?#

На вход задачи PCS подаётся запрос с концепцией, а на выходе возвращаются маски сегментации с уникальными идентификаторами для всех соответствующих экземпляров объектов. Запросы с концепциями могут быть такими:

• Текст: простые именные фразы, например «красное яблоко» или «человек в шляпе», как в обучении с нулевым числом примеров
• Примеры изображений: ограничивающие прямоугольники вокруг примеров объектов (положительных или отрицательных), позволяющие быстро обобщать знания
• Комбинированный запрос: одновременно текст и примеры изображений для точного управления

Это отличается от традиционных визуальных запросов (точек, прямоугольников и масок), которые сегментируют только один конкретный экземпляр объекта, как стало принято благодаря исходному семейству SAM.

Основные показатели производительности#

Контекст о показателях моделей и компромиссах при внедрении см. в материалах об оценке моделей и показателях производительности YOLO.

SAM 3.1#

Выпущенная Meta 27 марта 2026 года SAM 3.1 — новая контрольная точка SAM 3, в которой появилась функция Object Multiplex — подход к отслеживанию нескольких объектов в видео с общей памятью. Вместо независимой обработки каждого отслеживаемого объекта SAM 3.1 группирует объекты в корзины фиксированной ёмкости и обрабатывает их совместно. По данным Meta, это обеспечивает ускорение примерно в 7 раз при обработке 128 объектов на одном GPU H100. Детектор изображений и голова интерактивных запросов с точками сохраняют архитектуру SAM 3.

Ultralytics загружает контрольную точку SAM 3.1 (sam3.1_multiplex.pt) в предикторы изображений SAM 3: SAM("sam3.1_multiplex.pt") для запросов с точками и прямоугольниками, а также SAM3SemanticPredictor для текстовых запросов и запросов с примерами. Отслеживание видео с помощью Object Multiplex пока не поддерживается, поэтому продолжай использовать sam3.pt вместе с SAM3VideoPredictor и SAM3VideoSemanticPredictor.

Архитектура#

SAM 3 состоит из детектора и трекера, использующих общую зрительную основу Perception Encoder (PE). Такая разделённая конструкция исключает конфликты между задачами и позволяет обнаруживать объекты на изображениях и отслеживать их в видео. Интерфейс совместим с использованием Ultralytics через Python и CLI.

Основные компоненты#

• Детектор: архитектура на основе DETR для обнаружения концепций на изображениях

  • Текстовый кодировщик для запросов в виде именных фраз
  • Кодировщик примеров для запросов на основе изображений
  • Кодировщик слияния, который настраивает признаки изображения с учётом запросов
  • Новая голова присутствия, которая разделяет распознавание («что») и локализацию («где»)
  • Голова масок для создания масок сегментации экземпляров

• Трекер: сегментация видео на основе памяти, унаследованная от SAM 2

  • Кодировщик запросов, декодер масок, кодировщик памяти
  • Банк памяти для хранения внешнего вида объектов между кадрами
  • В мног объектных сценариях неоднозначность по времени устраняется с помощью таких методов, как фильтр Калмана

• Токен присутствия: обучаемый глобальный токен, предсказывающий, присутствует ли целевая концепция на изображении или кадре; он повышает точность обнаружения, отделяя распознавание от локализации.

Ключевые инновации#

1. Разделение распознавания и локализации: голова наличия предсказывает присутствие концепта в целом, а запросы предложений отвечают только за локализацию, что позволяет избежать конфликтующих целей.
2. Единые концептуальные и визуальные подсказки: одна модель поддерживает PCS (подсказки-концепты) и PVS (визуальные подсказки, например клики и рамки, как в SAM 2).
3. Интерактивное уточнение по примерам: пользователи могут добавлять положительные или отрицательные примеры изображений, чтобы постепенно уточнять результаты; модель обобщает их на похожие объекты, а не просто исправляет отдельные экземпляры.
4. Временное устранение неоднозначности: для обработки окклюзий, перегруженных сцен и сбоев трекинга в видео используются оценки обнаружения masklet и периодическая повторная подача подсказок — в соответствии с лучшими практиками сегментации экземпляров и трекинга.

Датасет SA-Co#

SAM 3 обучается на датасете Segment Anything with Concepts (SA-Co) — самом крупном и разнообразном датасете сегментации Meta на сегодняшний день, который выходит за рамки распространённых бенчмарков, таких как COCO и LVIS.

Данные для обучения#

Данные бенчмарка#

Оценочный бенчмарк SA-Co содержит 214 тыс. уникальных фраз для 126 тыс. изображений и видео — это более чем в 50 раз больше концептов, чем в существующих бенчмарках. В него входят:

• SA-Co/Gold: 7 предметных областей с тройной разметкой для определения границ производительности человека
• SA-Co/Silver: 10 предметных областей с одиночной разметкой, выполненной человеком
• SA-Co/Bronze и SA-Co/Bio: 9 существующих датасетов, адаптированных для сегментации концептов
• SA-Co/VEval: бенчмарк для видео с 3 предметными областями (SA-V, YT-Temporal-1B, SmartGlasses)

Инновации в конвейере обработки данных#

Масштабируемый конвейер обработки данных SAM 3 с участием людей и модели обеспечивает вдвое большую пропускную способность разметки благодаря следующим решениям:

1. ИИ-аннотаторы: модели на основе Llama предлагают разнообразные именные фразы, включая сложные отрицательные примеры
2. ИИ-верификаторы: дообученные мультимодальные большие языковые модели проверяют качество масок и полноту разметки почти на уровне человека
3. Активный поиск: направляет усилия людей на сложные случаи сбоев, с которыми ИИ не справляется
4. На основе онтологии: использует обширную онтологию, основанную на данных Wikidata, для охвата концептов

Установка#

Установи пакет ultralytics или обнови его до последней версии:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Как использовать SAM 3: универсальность сегментации концептов#

SAM 3 поддерживает задачи сегментации концептов с подсказками (PCS) и сегментации визуальных объектов с подсказками (PVS) с помощью разных интерфейсов предиктора:

Поддерживаемые задачи и модели#

Примеры сегментации концептов#

Сегментация с помощью текстовых подсказок#

from ultralytics.models.sam import SAM3SemanticPredictor

# Инициализация предиктора с конфигурацией
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Использование FP16 для ускорения инференса
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Однократная настройка изображения для нескольких запросов
predictor.set_image("path/to/image.jpg")

# Запрос с несколькими текстовыми подсказками
results = predictor(text=["person", "bus", "glasses"])

# Поддерживаются описательные фразы
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Запрос с одним концептом
results = predictor(text=["a person"])

Сегментация с помощью примеров изображений#

from ultralytics.models.sam import SAM3SemanticPredictor

# Инициализация предиктора
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Настройка изображения
predictor.set_image("path/to/image.jpg")

# Передача примеров с ограничивающими рамками для сегментации похожих объектов
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Несколько ограничивающих рамок в качестве примеров одного визуального концепта
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Инференс на основе признаков для повышения эффективности#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Инициализация предикторов
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Извлечение признаков с помощью первого предиктора
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Настройка второго предиктора и повторное использование признаков
predictor2.setup_model()

# Инференс с текстовой подсказкой и общими признаками
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Инференс с подсказкой в виде ограничивающей рамки и общими признаками
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Визуализация результатов
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Сегментация концептов в видео#

Трекинг концептов в видео с помощью ограничивающих рамок#

from ultralytics.models.sam import SAM3VideoPredictor

# Создание предиктора для видео
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Трекинг объектов с помощью подсказок в виде ограничивающих рамок
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Обработка и отображение результатов
for r in results:
    r.show()  # Отображение кадра с масками сегментации

Трекинг концептов с помощью текстовых подсказок#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Инициализация семантического предиктора для видео
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Трекинг концептов с помощью текстовых подсказок
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Обработать результаты
for r in results:
    r.show()  # Отображение кадра с отслеживаемыми объектами

# Альтернатива: трекинг с помощью подсказок в виде ограничивающих рамок
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Положительные метки
    stream=True,
)

Визуальные подсказки (совместимость с SAM 2)#

SAM 3 полностью обратно совместима с визуальными подсказками SAM 2 для сегментации отдельных объектов:

from ultralytics import SAM

model = SAM("sam3.pt")

# Подсказка с одной точкой — сегментирует объект в указанном месте
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Подсказка с несколькими точками — сегментирует один объект с несколькими точечными подсказками
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Подсказка с рамкой — сегментирует объект внутри ограничивающей рамки
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Тесты производительности#

Сегментация изображений#

SAM 3 показывает результаты на уровне лучших современных моделей на нескольких бенчмарках, включая реальные наборы данных, такие как LVIS и COCO для сегментации:

Изучи доступные наборы данных Ultralytics для быстрых экспериментов: наборы данных Ultralytics.

Производительность сегментации видео#

SAM 3 значительно превосходит SAM 2 и предыдущие лучшие модели на видеобенчмарках, таких как DAVIS 2017 и YouTube-VOS:

Адаптация по нескольким примерам#

SAM 3 эффективно адаптируется к новым доменам по минимальному числу примеров, что полезно в рабочих процессах ИИ с фокусом на данные:

Эффективность интерактивного уточнения#

Подсказки SAM 3 на основе концепций с примерами сходятся к результату гораздо быстрее, чем визуальные подсказки:

Точность подсчёта объектов#

SAM 3 точно считает объекты, сегментируя все их экземпляры; такая возможность часто требуется для подсчёта объектов:

Сравнение SAM 3, SAM 2 и YOLO#

Здесь мы сравниваем возможности SAM 3 с SAM 2 и моделями YOLO26. Чтобы узнать о детекции и сегментации с открытым словарём в реальном времени с использованием тех же типов подсказок, смотри YOLOE:

Скорость измерена на NVIDIA RTX PRO 6000 с torch==2.9.1 и ultralytics==8.4.19.

Основные выводы:

• SAM 3: лучше всего подходит для сегментации концепций с открытым словарём и поиска всех экземпляров концепции по текстовым подсказкам или подсказкам с примерами
• SAM 2: лучше всего подходит для интерактивной сегментации одного объекта на изображениях и видео с геометрическими подсказками
• YOLO26: лучше всего подходит для высокоскоростной сегментации в реальном времени с возможностью сквозного инференса без NMS; экспортируется во множество форматов для развёртывания на GPU, CPU и периферийных устройствах

Сравнение SAM и YOLO#

Сравнение SAM 3, SAM 2, SAM, MobileSAM и FastSAM с моделями сегментации Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) по размеру, количеству параметров и скорости инференса на GPU:

Это сравнение показывает существенные различия в размере и скорости моделей вариантов SAM и моделей сегментации YOLO. Хотя SAM предоставляет уникальные возможности автоматической сегментации, модели YOLO, особенно YOLOv8n-seg, YOLO11n-seg и YOLO26n-seg, значительно компактнее, быстрее и эффективнее используют вычислительные ресурсы.

Тесты проводились на NVIDIA RTX PRO 6000 с 96 ГБ видеопамяти с использованием torch==2.9.1 и ultralytics==8.4.19. Чтобы повторить этот тест:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Профилирование SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Профилирование FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Профилирование моделей YOLO
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # Голова YOLO26 без NMS; ничего не делает для YOLOv8/YOLO11

Метрики оценки#

В SAM 3 добавлены новые метрики для задачи PCS, дополняющие привычные показатели, такие как F1-мера, точность и полнота.

F1-мера с учетом классификации (CGF1)#

Основная метрика, объединяющая локализацию и классификацию:

CGF1 = 100 × pmF1 × IL_MCC

Где:

• pmF1 (макроусредненная F1-мера для положительных примеров): измеряет качество локализации на положительных примерах
• IL_MCC (коэффициент корреляции Мэттьюса на уровне изображения): измеряет точность бинарной классификации («присутствует ли концепт?»)

Зачем нужны эти метрики?#

Традиционные метрики AP не учитывают калибровку, поэтому такие модели трудно применять на практике. Оценивая только предсказания с уверенностью выше 0.5, метрики SAM 3 обеспечивают хорошую калибровку и имитируют реальные сценарии использования в циклах интерактивного предсказания и отслеживания.

Ключевые абляционные исследования и выводы#

Влияние головы присутствия#

Голова присутствия отделяет распознавание от локализации, что дает существенное улучшение:

Голова присутствия повышает CGF1 на 5.7 (+9.9%), в первую очередь улучшая способность к распознаванию (IL_MCC +6.5%).

Влияние сложных отрицательных примеров#

Сложные отрицательные примеры крайне важны для распознавания объектов с открытым словарем и повышают IL_MCC на 54.5% (0.44 → 0.68).

Масштабирование обучающих данных#

Высококачественная разметка, выполненная людьми, дает значительный прирост по сравнению с использованием только синтетических или внешних данных. О практиках обеспечения качества данных читай в разделе сбор и аннотация данных.

Применение#

Возможность SAM 3 сегментировать концепты открывает новые варианты применения:

• Модерация контента: поиск всех вхождений контента определенных типов в медиатеках
• Электронная коммерция: сегментация всех товаров определенного типа на изображениях каталога с поддержкой автоматической аннотации
• Медицинская визуализация: выявление всех случаев наличия определенных типов тканей или патологий
• Автономные системы: отслеживание всех дорожных знаков, пешеходов или транспортных средств по категориям
• Видеоаналитика: подсчет и отслеживание всех людей в одежде определенного типа или выполняющих заданные действия
• Аннотирование датасетов: быстрая разметка всех объектов редких категорий
• Научные исследования: количественная оценка и анализ всех образцов, соответствующих заданным критериям

Агент SAM 3: расширенные языковые рассуждения#

SAM 3 можно объединить с мультимодальными большими языковыми моделями (MLLM), чтобы обрабатывать сложные запросы, требующие рассуждений, подобно системам с открытым словарем, таким как OWLv2 и T-Rex.

Результаты на задачах, требующих рассуждений#

Примеры сложных запросов#

Агент SAM 3 может обрабатывать запросы, требующие рассуждений:

• «Люди, которые садятся, но не держат в руках подарочную коробку»
• «Собака, которая ближе всего к камере и не носит ошейник»
• «Красные объекты, размером больше руки человека»

MLLM предлагает SAM 3 простые запросы в виде именных фраз, анализирует возвращенные маски и повторяет процесс до получения нужного результата.

Ограничения#

Несмотря на то что SAM 3 — значительный шаг вперед, у модели есть некоторые ограничения:

• Сложность фраз: лучше всего подходит для простых именных фраз; для длинных референциальных выражений или сложных рассуждений может потребоваться интеграция с MLLM
• Работа с неоднозначностью: некоторые концепты по своей природе остаются неоднозначными (например, «маленькое окно», «уютная комната»)
• Вычислительные требования: модель крупнее и медленнее специализированных моделей обнаружения, таких как YOLO
• Охват словаря: модель ориентирована на атомарные визуальные концепты; без помощи MLLM возможности композиционных рассуждений ограничены
• Редкие концепты: качество работы может снижаться для крайне редких или детализированных концептов, которые недостаточно представлены в обучающих данных

Цитирование#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Часто задаваемые вопросы#