SAM 2: Сегмент "Всё" Модель 2

SAM 2, преемник Segment Anything Model (SAM) от Meta, - это передовой инструмент, предназначенный для комплексной сегментации объектов как на изображениях, так и на видео. Он отлично справляется со сложными визуальными данными благодаря унифицированной архитектуре модели с возможностью подсказок, которая поддерживает обработку в реальном времени и обобщение с нулевого снимка.

Основные характеристики

Унифицированная модель архитектуры

SAM 2 объединяет возможности сегментации изображений и видео в одной модели. Такая унификация упрощает развертывание и обеспечивает стабильную производительность для различных типов медиа. Модель использует гибкий интерфейс на основе подсказок, позволяя пользователям указывать интересующие их объекты с помощью различных типов подсказок, таких как точки, ограничительные рамки или маски.

Производительность в реальном времени

Модель достигает скорости умозаключений в реальном времени, обрабатывая примерно 44 кадра в секунду. Это делает SAM 2 подходящим для приложений, требующих немедленной обратной связи, таких как редактирование видео и дополненная реальность.

Обобщение нулевого выстрела

SAM 2 может сегментировать объекты, с которыми он никогда раньше не сталкивался, демонстрируя сильное обобщение с нулевого выстрела. Это особенно полезно в разнообразных или развивающихся визуальных доменах, где заранее заданные категории могут не охватывать все возможные объекты.

Интерактивная доработка

Пользователи могут итеративно уточнять результаты сегментации, вводя дополнительные подсказки, что позволяет точно контролировать результат. Такая интерактивность необходима для тонкой настройки результатов в таких приложениях, как аннотирование видео или медицинская визуализация.

Продвинутая работа с визуальными проблемами

SAM 2 включает в себя механизмы, позволяющие справляться с общими проблемами сегментации видео, такими, как окклюзия и повторное появление объектов. Он использует сложный механизм памяти для отслеживания объектов в разных кадрах, обеспечивая непрерывность, даже когда объекты временно заслоняются или выходят и снова входят в сцену.

Чтобы глубже понять архитектуру и возможности SAM 2, изучи исследовательскую статьюSAM 2.

Производительность и технические характеристики

SAM 2 устанавливает новую планку в этой области, превосходя предыдущие модели по различным метрикам:

Архитектура модели

Основные компоненты

• Кодировщик изображений и видео: Использует архитектуру на основе трансформаторов для извлечения высокоуровневых характеристик из изображений и видеокадров. Этот компонент отвечает за понимание визуального контента на каждом временном этапе.
• Кодировщик подсказок: Обрабатывает подсказки пользователя (точки, боксы, маски), чтобы направить задачу сегментации. Это позволяет SAM 2 адаптироваться к пользовательским подсказкам и нацеливаться на конкретные объекты в сцене.
• Механизм памяти: включает в себя кодировщик памяти, банк памяти и модуль внимания к памяти. Эти компоненты в совокупности хранят и используют информацию из прошлых кадров, что позволяет модели поддерживать последовательное отслеживание объектов во времени.
• Декодер масок: Генерирует окончательные маски сегментации на основе закодированных особенностей изображения и подсказок. В видео он также использует контекст памяти, чтобы обеспечить точное отслеживание по кадрам.

Механизм памяти и работа с окклюзиями

Механизм памяти позволяет SAM 2 справляться с временными зависимостями и окклюзиями в видеоданных. По мере того как объекты перемещаются и взаимодействуют, SAM 2 записывает их особенности в банк памяти. Когда объект оказывается заслоненным, модель может опираться на эту память, чтобы предсказать его положение и внешний вид при повторном появлении. Окклюзионная головка специально обрабатывает сценарии, в которых объекты не видны, предсказывая вероятность того, что объект может быть окклюзирован.

Разрешение двусмысленности в многозадачном режиме

В ситуациях с неоднозначностью (например, перекрывающиеся объекты) SAM 2 может генерировать несколько предсказаний масок. Эта функция очень важна для точного отображения сложных сцен, где одна маска может недостаточно полно описывать нюансы сцены.

Набор данных SA-V

Набор данных SA-V, созданный для обучения SAM 2, является одним из самых больших и разнообразных наборов данных для сегментации видео. Он включает в себя:

• 51 000+ видеороликов: Снятые в 47 странах, они предоставляют широкий спектр реальных сценариев.
• 600 000+ аннотаций масок: Подробные пространственно-временные аннотации к маскам, называемые "масклетами", охватывают как целые объекты, так и их части.
• Масштабность датасета: В ней в 4,5 раза больше видео и в 53 раза больше аннотаций, чем в предыдущих крупнейших датасетах, что обеспечивает беспрецедентное разнообразие и сложность.

Бенчмарки

Сегментация видеообъектов

SAM 2 продемонстрировал превосходную производительность в основных бенчмарках сегментации видео:

Интерактивное сегментирование

В интерактивных задачах сегментации SAM 2 показывает значительную эффективность и точность:

Установка

Чтобы установить SAM 2, воспользуйся следующей командой. Все модели SAM 2 автоматически загрузятся при первом использовании.

pip install ultralytics

Как использовать SAM 2: универсальность в сегментации изображений и видео

В следующей таблице подробно описаны доступные модели SAM 2, их предварительно обученные веса, поддерживаемые задачи и совместимость с различными режимами работы, такими как Inference, Validation, Training и Export.

SAM 2 Примеры предсказаний

SAM 2 можно использовать в широком спектре задач, включая редактирование видео в реальном времени, медицинскую визуализацию и автономные системы. Способность сегментировать как статические, так и динамические визуальные данные делает его универсальным инструментом для исследователей и разработчиков.

Сегмент с подсказками

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

Сегментировать все

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

# Run inference with a SAM 2 model
yolo predict model=sam2_b.pt source=path/to/video.mp4

• Этот пример демонстрирует, как SAM 2 можно использовать для сегментирования всего содержимого изображения или видео, если нет подсказок (bboxes/points/masks).

SAM 2 comparison vs YOLOv8

Here we compare Meta's smallest SAM 2 model, SAM2-t, with Ultralytics smallest segmentation model, YOLOv8n-seg:

Это сравнение показывает разницу на порядок в размерах и скорости моделей между собой. В то время как SAM представляет уникальные возможности для автоматического сегментирования, он не является прямым конкурентом сегментным моделям YOLOv8 , которые меньше, быстрее и эффективнее.

Tests run on a 2023 Apple M2 Macbook with 16GB of RAM using torch==2.3.1 и ultralytics==8.3.82. To reproduce this test:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLOv8n-seg
model = YOLO("yolov8n-seg.pt")
model.info()
model(ASSETS)

Автоаннотация: Эффективное создание наборов данных

Автоаннотирование - мощная функция SAM 2, позволяющая пользователям быстро и точно генерировать наборы данных для сегментации, используя предварительно обученные модели. Эта возможность особенно полезна для создания больших высококачественных наборов данных без особых ручных усилий.

Как сделать автоаннотацию с помощью SAM 2

Чтобы автоаннотировать свой набор данных с помощью SAM 2, следуй этому примеру:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolov8x.pt", sam_model="sam2_b.pt")

Эта функция способствует быстрому созданию высококачественных наборов данных сегментации, что идеально подходит для исследователей и разработчиков, стремящихся ускорить свои проекты.

Ограничения

Несмотря на свои сильные стороны, SAM 2 имеет определенные ограничения:

• Стабильность отслеживания: SAM 2 может потерять слежение за объектами во время длительных последовательностей или значительных изменений точки зрения.
• Путаница объектов: Модель иногда может путать похожие друг на друга объекты, особенно в многолюдных сценах.
• Эффективность при работе с несколькими объектами: Эффективность сегментации снижается при одновременной обработке нескольких объектов из-за отсутствия межобъектной связи.
• Точность деталей: Может упустить мелкие детали, особенно на быстро движущихся объектах. Дополнительные подсказки могут частично решить эту проблему, но временная плавность не гарантируется.

Цитаты и благодарности

Если SAM 2 является важной частью твоего исследования или разработки, пожалуйста, процитируй его, используя следующую ссылку:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

Мы выражаем благодарность компании Meta AI за их вклад в сообщество ИИ с помощью этой новаторской модели и набора данных.

ВОПРОСЫ И ОТВЕТЫ

Что такое SAM 2 и как она улучшает оригинальную модель Segment Anything Model (SAM)?

SAM 2, преемник Segment Anything Model (SAM) от Meta, - это передовой инструмент, предназначенный для комплексной сегментации объектов как на изображениях, так и на видео. Он отлично справляется со сложными визуальными данными благодаря единой архитектуре модели с возможностью подсказок, которая поддерживает обработку в реальном времени и обобщение с нулевого снимка. SAM 2 предлагает несколько улучшений по сравнению с оригинальным SAM, включая:

• Архитектура унифицированной модели: Объединяет возможности сегментации изображений и видео в единую модель.
• Производительность в реальном времени: Обрабатывает примерно 44 кадра в секунду, что делает его подходящим для приложений, требующих немедленной обратной связи.
• Нулевая генерализация: Сегментирование объектов, с которыми он никогда не сталкивался, полезно в различных визуальных областях.
• Интерактивное уточнение: Позволяет пользователям итеративно уточнять результаты сегментации, предоставляя дополнительные подсказки.
• Усовершенствованная обработка визуальных проблем: Справись с такими распространенными проблемами сегментации видео, как окклюзия и повторное появление объектов.

Чтобы узнать больше подробностей об архитектуре и возможностях SAM 2, изучи исследовательскую статьюSAM 2.

Как я могу использовать SAM 2 для сегментации видео в реальном времени?

SAM 2 можно использовать для сегментации видео в реальном времени, используя его подсказываемый интерфейс и возможности вывода в реальном времени. Вот базовый пример:

from ultralytics import SAM

# Load a model
model = SAM("sam2_b.pt")

# Display model information (optional)
model.info()

# Segment with bounding box prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Segment with point prompt
results = model("path/to/image.jpg", points=[150, 150], labels=[1])

Более подробную информацию об использовании ты найдешь в разделе " Как использовать SAM 2".

Какие наборы данных используются для обучения SAM 2 и как они повышают его производительность?

SAM 2 обучен на наборе данных SA-V, одном из самых больших и разнообразных наборов данных для сегментации видео. Набор данных SA-V включает в себя:

• 51 000+ видеороликов: Снятые в 47 странах, они предоставляют широкий спектр реальных сценариев.
• 600 000+ аннотаций масок: Подробные пространственно-временные аннотации к маскам, называемые "масклетами", охватывают как целые объекты, так и их части.
• Масштабность датасета: В 4,5 раза больше видео и в 53 раза больше аннотаций, чем в предыдущих крупнейших наборах данных, что обеспечивает беспрецедентное разнообразие и сложность.

Этот обширный набор данных позволяет SAM 2 достичь превосходной производительности в основных бенчмарках сегментации видео и улучшает его возможности обобщения с нулевого снимка. Более подробную информацию ты найдешь в разделе " Набор данных SA-V ".

Как SAM 2 справляется с окклюзиями и повторными появлениями объектов при сегментации видео?

SAM 2 включает в себя сложный механизм памяти для управления временными зависимостями и окклюзиями в видеоданных. Механизм памяти состоит из:

• Кодировщик памяти и банк памяти: Хранит особенности прошлых кадров.
• Модуль внимания к памяти: Использует сохраненную информацию для поддержания последовательного отслеживания объекта во времени.
• Occlusion Head: Специально обрабатывает сценарии, в которых объекты не видны, предсказывая вероятность того, что объект заслонен.

Этот механизм обеспечивает непрерывность, даже когда объекты временно заслоняются или выходят и снова входят в сцену. Подробнее об этом читай в разделе " Механизм памяти и обработка окклюзии ".

Как SAM 2 сравнивается с другими моделями сегментации, например YOLOv8?

SAM 2 и Ultralytics YOLOv8 служат разным целям и преуспевают в разных областях. В то время как SAM 2 предназначен для комплексной сегментации объектов с расширенными возможностями, такими как генерализация нулевого снимка и работа в реальном времени, YOLOv8 оптимизирован для скорости и эффективности в задачах обнаружения и сегментации объектов. Вот сравнение:

For more details, see the SAM 2 comparison vs YOLOv8 section.

📅 Created 1 month ago ✏️ Updated 10 days ago

Комментарии