Mobile Segment Anything (MobileSAM)#

MobileSAM — компактная и эффективная модель сегментации изображений, специально созданная для мобильных и периферийных устройств. Она переносит возможности модели сегментации любых объектов от Meta (SAM) на устройства с ограниченными вычислительными ресурсами и обеспечивает почти мгновенную сегментацию, сохраняя совместимость с исходным конвейером SAM. MobileSAM позволяет добиваться впечатляющих результатов сегментации при значительно меньших требованиях к размеру модели и скорости работы, будь то разработка приложений реального времени или развёртывание облегчённых решений.

MobileSAM используется в различных проектах, включая Grounding-SAM, AnyLabeling и Segment Anything in 3D.

MobileSAM обучили менее чем за сутки на одном GPU с использованием набора данных из 100 тыс. изображений (1% от исходного количества изображений).

Доступные модели, поддерживаемые задачи и режимы работы#

В таблице ниже указаны доступная модель MobileSAM, её предварительно обученные веса, поддерживаемые задачи и совместимость с различными режимами работы, такими как инференс, валидация, обучение и экспорт. Поддерживаемые режимы отмечены ✅, а неподдерживаемые — ❌.

Сравнение MobileSAM и YOLO#

В следующем сравнении показаны различия между вариантами SAM от Meta, MobileSAM и моделями сегментации Ultralytics, включая YOLO26n-seg:

Это сравнение демонстрирует существенные различия в размере и скорости моделей между вариантами SAM и моделями YOLO для сегментации. Хотя модели SAM обладают уникальными возможностями автоматической сегментации, модели YOLO — особенно YOLOv8n-seg, YOLO11n-seg и YOLO26n-seg — значительно компактнее, быстрее и эффективнее используют вычислительные ресурсы.

Скорость SAM измерялась с PyTorch, скорость YOLO — с ONNX Runtime. Тесты проводились на Apple M4 Air 2025 года с 16 ГБ оперативной памяти с использованием torch==2.10.0, ultralytics==8.4.31 и onnxruntime==1.24.4. Чтобы воспроизвести эти результаты:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Профилировать SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Профилирование FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Профилировать модели YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Голова YOLO26 без NMS; ничего не делает для YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Переход с SAM на MobileSAM#

MobileSAM сохраняет тот же конвейер, что и оригинальная SAM, включая предварительную обработку, постобработку и все интерфейсы. Это позволяет перейти с SAM на MobileSAM с минимальными изменениями рабочего процесса.

Ключевое отличие — кодировщик изображений: MobileSAM заменяет оригинальный кодировщик ViT-H (637 млн параметров) гораздо меньшим кодировщиком Tiny-ViT (5 млн параметров). На одном GPU MobileSAM обрабатывает изображение примерно за 12 мс (8 мс занимает кодировщик, 4 мс — декодер масок).

Сравнение кодировщиков изображений на основе ViT#

Декодер масок с управлением по подсказкам#

Сравнение всего конвейера#

Ниже показана производительность MobileSAM и оригинальной SAM с подсказками в виде точек и рамок.

MobileSAM примерно в 7 раз компактнее и в 5 раз быстрее FastSAM. Подробности смотри на странице проекта MobileSAM.

Тестирование MobileSAM в Ultralytics#

Как и для оригинальной SAM, в Ultralytics предусмотрен простой интерфейс для тестирования MobileSAM с поддержкой подсказок в виде точек и рамок.

Загрузка модели#

Скачай предварительно обученные веса MobileSAM из ресурсов Ultralytics.

Подсказка-точка#

from ultralytics import SAM

# Загрузи модель
model = SAM("mobile_sam.pt")

# Предсказание сегмента по одной подсказке-точке
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Предсказание нескольких сегментов по нескольким подсказкам-точкам
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Предсказание сегмента по нескольким подсказкам-точкам для каждого объекта
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Предсказание сегмента с использованием положительных и отрицательных подсказок.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Подсказка-рамка#

from ultralytics import SAM

# Загрузи модель
model = SAM("mobile_sam.pt")

# Предсказание сегмента по одной подсказке-рамке
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Предсказание нескольких сегментов по нескольким подсказкам-рамкам
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM и SAM используют один и тот же API. Подробности об использовании смотри в документации SAM.

Автоматическое создание датасетов для сегментации с помощью модели обнаружения#

Чтобы автоматически разметить датасет с помощью фреймворка Ultralytics, используй функцию auto_annotate, как показано ниже:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Цитирование и благодарности#

Если MobileSAM полезна для твоих исследований или разработок, рассмотри возможность сослаться на следующую статью:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Читай полную статью о MobileSAM на arXiv.

Часто задаваемые вопросы#