Сегмент "Любая модель" (SAM)

Добро пожаловать на границу сегментации изображений с помощью модели Segment Anything Model, или SAM. Эта революционная модель изменила игру, представив оперативную сегментацию изображений с производительностью в реальном времени, установив новые стандарты в этой области.

Введение в SAM: Модель "Сегмент - всё

Модель Segment Anything Model, или SAM, - это передовая модель сегментации изображений, которая позволяет выполнять сегментацию по запросу, обеспечивая беспрецедентную универсальность в задачах анализа изображений. SAM - это сердце инициативы Segment Anything, новаторского проекта, который представляет новую модель, задачу и набор данных для сегментации изображений.

SAMУсовершенствованная конструкция позволяет ему адаптироваться к новым распределениям изображений и задачам без предварительных знаний, что известно как перенос нулевых снимков. Обучаясь на обширном наборе данных SA-1B, который содержит более 1 миллиарда масок, распределенных по 11 миллионам тщательно подобранных изображений, SAM продемонстрировал впечатляющие результаты работы с нулевыми снимками, во многих случаях превзойдя предыдущие результаты, полученные под полным наблюдением.

SA-1B Примерные изображения. На изображения из набора данных накладываются маски из недавно появившегося набора данных SA-1B. SA-1B содержит 11 миллионов разнообразных изображений высокого разрешения, лицензированных и защищающих конфиденциальность, и 1,1 миллиарда высококачественных масок для сегментации. Эти маски были аннотированы полностью автоматически SAM, и, как подтвердили человеческие оценки и многочисленные эксперименты, отличаются высоким качеством и разнообразием. Для наглядности изображения сгруппированы по количеству масок на одном изображении (в среднем на одно изображение приходится ∼100 масок).

Ключевые особенности модели Segment Anything Model (SAM)

• Задача сегментации по подсказке: SAM был разработан с учетом задачи сегментации по подсказке, что позволяет ему генерировать правильные маски сегментации по любой подсказке, например, по пространственным или текстовым подсказкам, идентифицирующим объект.
• Продвинутая архитектура: В модели Segment Anything Model используется мощный кодер изображений, кодер подсказок и легкий декодер масок. Эта уникальная архитектура обеспечивает гибкие подсказки, вычисление масок в реальном времени и осознание неоднозначности в задачах сегментации.
• Набор данных SA-1B: Представленный проектом Segment Anything, набор данных SA-1B содержит более 1 миллиарда масок на 11 миллионах изображений. Являясь самым большим набором данных для сегментации на сегодняшний день, он обеспечивает SAM разнообразным и масштабным источником обучающих данных.
• Zero-Shot Performance: SAM демонстрирует выдающиеся показатели zero-shot в различных задачах сегментации, что делает его готовым к использованию инструментом для различных приложений с минимальной потребностью в оперативном проектировании.

Для более детального ознакомления с моделью Segment Anything и набором данных SA-1B посети сайт Segment Anything и ознакомься с исследовательской работой Segment Anything.

Доступные модели, поддерживаемые задачи и режимы работы

В этой таблице представлены доступные модели с их конкретными предварительно обученными весами, задачи, которые они поддерживают, и их совместимость с различными режимами работы, такими как Inference, Validation, Training и Export, обозначенные ✅ emojis для поддерживаемых режимов и ❌ emojis для неподдерживаемых режимов.

Как использовать SAM: универсальность и мощь в сегментации изображений

Модель Segment Anything может быть использована для множества последующих задач, выходящих за рамки ее обучающих данных. Это и обнаружение краев, и генерация предложений объектов, и сегментация экземпляров, и предварительное предсказание текста по маске. Благодаря оперативной разработке SAM может быстро адаптироваться к новым задачам и распределению данных, что делает его универсальным и мощным инструментом для решения всех твоих задач по сегментации изображений.

SAM Пример предсказания

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with points prompt
results = model("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

# Run inference with a SAM model
yolo predict model=sam_b.pt source=path/to/image.jpg

• Логика здесь такова: сегментировать все изображение, если ты не передаешь никаких подсказок (bboxes/points/masks).

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])
results = predictor(points=[900, 370], labels=[1])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024, model="mobile_sam.pt")
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Больше дополнительных аргументов для Segment everything смотри Predictor/generate Ссылка.

SAM сравнение против YOLOv8

Здесь мы сравниваем самую маленькую модель Меты SAM , SAM-b, с самой маленькой моделью сегментации Ultralytics , YOLOv8n-seg:

Это сравнение показывает разницу на порядок в размерах и скорости моделей между собой. В то время как SAM представляет уникальные возможности для автоматического сегментирования, он не является прямым конкурентом сегментным моделям YOLOv8 , которые меньше, быстрее и эффективнее.

Тесты проводятся на макбуке Apple M2 2023 года выпуска с 16 Гб оперативной памяти. Чтобы воспроизвести этот тест:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLOv8n-seg
model = YOLO("yolov8n-seg.pt")
model.info()
model(ASSETS)

Автоаннотация: Быстрый путь к набору данных для сегментации

Автоаннотирование - ключевая особенность SAM, позволяющая пользователям генерировать набор данных для сегментации с помощью предварительно обученной модели обнаружения. Эта функция позволяет быстро и точно аннотировать большое количество изображений, минуя необходимость трудоемкой ручной маркировки.

Создай свой набор данных для сегментации с помощью модели обнаружения

Чтобы автоаннотировать свой набор данных с помощью фреймворка Ultralytics , используй auto_annotate функция, как показано ниже:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolov8x.pt", sam_model="sam_b.pt")

The auto_annotate Функция принимает путь к твоим изображениям, с дополнительными аргументами для указания предварительно обученных моделей обнаружения и сегментации SAM , устройства, на котором будут запущены модели, и выходной директории для сохранения аннотированных результатов.

Автоаннотирование с помощью предварительно обученных моделей может значительно сократить время и усилия, необходимые для создания качественных наборов данных сегментации. Эта функция особенно полезна для исследователей и разработчиков, работающих с большими коллекциями изображений, так как позволяет им сосредоточиться на разработке и оценке моделей, а не на ручном аннотировании.

Цитаты и благодарности

Если ты находишь SAM полезным в своих исследованиях или разработках, пожалуйста, подумай о том, чтобы сослаться на нашу статью:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Мы хотели бы выразить благодарность компании Meta AI за создание и поддержку этого ценного ресурса для сообщества компьютерного зрения.

ВОПРОСЫ И ОТВЕТЫ

Что такое Segment Anything Model (SAM) от Ultralytics?

Segment Anything Model (SAM) от Ultralytics - это революционная модель сегментации изображений, разработанная для задач сегментации с подсказками. Она использует передовую архитектуру, включающую кодировщики изображений и подсказок в сочетании с легким декодером масок, для генерации высококачественных масок сегментации на основе различных подсказок, таких как пространственные или текстовые сигналы. Обученный на обширном наборе данных SA-1B, SAM демонстрирует превосходную производительность при нулевых выстрелах, адаптируясь к новым распределениям изображений и задачам без предварительных знаний. Узнать больше можно здесь.

Как использовать модель Segment Anything Model (SAM) для сегментации изображений?

Ты можешь использовать модель Segment Anything Model (SAM) для сегментации изображений, запуская умозаключения с различными подсказками, такими как ограничительные рамки или точки. Вот пример использования Python:

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Segment with bounding box prompt
model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Segment with points prompt
model("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

В качестве альтернативы ты можешь запустить inference с помощью SAM в интерфейсе командной строки (CLI):

yolo predict model=sam_b.pt source=path/to/image.jpg

Более подробные инструкции по использованию можно найти в разделе "Сегментация".

Как SAM и YOLOv8 сравниваются по производительности?

По сравнению с YOLOv8, модели SAM , такие как SAM-b и FastSAM-s, больше и медленнее, но предлагают уникальные возможности для автоматической сегментации. Например, Ultralytics YOLOv8n -seg в 53,4 раза меньше и в 866 раз быстрее, чем SAM-b. Однако производительность SAM'zero-shot' делает его очень гибким и эффективным в разнообразных необучаемых задачах. Подробнее о сравнении производительности SAM и YOLOv8 можно узнать здесь.

Как я могу автоаннотировать свой набор данных с помощью SAM?

Ultralytics' SAM предлагает функцию автоаннотирования, которая позволяет генерировать наборы данных сегментации с помощью предварительно обученной модели обнаружения. Вот пример в Python:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolov8x.pt", sam_model="sam_b.pt")

Эта функция принимает путь к твоим изображениям и необязательные аргументы для предварительно обученных моделей обнаружения и сегментации SAM , а также спецификации устройства и выходной директории. Полное руководство см. в разделе " Автоаннотация".

Какие наборы данных используются для обучения модели Segment Anything Model (SAM)?

SAM обучен на обширном наборе данных SA-1B, который включает в себя более 1 миллиарда масок на 11 миллионах изображений. SA-1B - это самый большой на сегодняшний день набор данных для сегментации, который предоставляет высококачественные и разнообразные обучающие данные, обеспечивая впечатляющую производительность при выполнении различных задач сегментации. Для получения более подробной информации посети раздел Dataset.

📅 Created 10 months ago ✏️ Updated 6 days ago

Комментарии