移动端分割一切（MobileSAM）#
MobileSAM 是一款紧凑高效的图像分割模型，专为移动设备和边缘设备打造。它旨在将 Meta 的分割一切模型（SAM）的强大能力带到计算资源受限的环境中，在保持与原始 SAM 流程兼容的同时，实现近乎即时的分割。无论你是在开发实时应用，还是进行轻量级部署，MobileSAM 都能以远低于前代模型的尺寸和速度要求，提供出色的分割效果。
Watch: How to Run Inference with MobileSAM using Ultralytics | Step-by-Step Guide 🎉
MobileSAM 已应用于多个项目，包括 Grounding-SAM、AnyLabeling 和 Segment Anything in 3D。
MobileSAM 在单个 GPU 上使用 10 万张图像的数据集（原始图像的 1%）在不到一天的时间内完成了训练。
可用模型、支持的任务和运行模式#
下表列出了可用的 MobileSAM 模型、其预训练权重、支持的任务，以及与不同运行模式的兼容性，例如 推理、验证、训练 和 导出。支持的模式以 ✅ 表示，不支持的模式以 ❌ 表示。
| 模型类型 | 预训练权重 | 支持的任务 | 训练 | 验证 | 推理 | 导出 |
|---|---|---|---|---|---|---|
| MobileSAM | mobile_sam.pt | 实例分割 | ❌ | ❌ | ✅ | ❌ |
MobileSAM 与 YOLO 的对比#
以下对比突出了 Meta 的 SAM 变体、MobileSAM 以及 Ultralytics 分割模型（包括 YOLO26n-seg）之间的差异：
| 模型 | 大小 （MB） | 参数量 （M） | 速度（CPU） （毫秒/图像） |
|---|---|---|---|
| Meta SAM-b | 375 | 93.7 | 41703 |
| Meta SAM2-b | 162 | 80.8 | 28867 |
| Meta SAM2-t | 78.1 | 38.9 | 23430 |
| MobileSAM | 40.7 | 10.1 | 23802 |
| 使用 YOLOv8 主干网络的 FastSAM-s | 23.9 | 11.8 | 58.0 |
| Ultralytics YOLOv8n-seg | 7.1 (体积缩小 11.0 倍) | 3.4 (参数减少 11.4 倍) | 24.8 (速度提升 945 倍) |
| Ultralytics YOLO11n-seg | 6.2（小 12.6 倍） | 2.9 (参数减少 13.4 倍) | 24.3（快 964 倍） |
| Ultralytics YOLO26n-seg | 6.7 (体积缩小 11.7 倍) | 2.7（少 14.4 倍） | 25.2 (速度提升 930 倍) |
此对比展示了 SAM 变体与 YOLO 分割模型在模型大小和速度方面的显著差异。SAM 模型具备独特的自动分割能力，而 YOLO 模型，尤其是 YOLOv8n-seg、YOLO11n-seg 和 YOLO26n-seg，尺寸明显更小、速度更快，计算效率也更高。
SAM 的速度使用 PyTorch 测量，YOLO 的速度使用 ONNX Runtime 测量。测试在配备 16GB RAM 的 2025 款 Apple M4 Air 上运行，使用了 torch==2.10.0、ultralytics==8.4.31 和 onnxruntime==1.24.4。要复现这些结果：
from ultralytics import ASSETS, SAM, YOLO, FastSAM
# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
model = SAM(file)
model.info()
model(ASSETS)
# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)
# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
model = YOLO(file_name)
model.info()
onnx_path = model.export(format="onnx", dynamic=True, nms=False) # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
model = YOLO(onnx_path)
model(ASSETS)从 SAM 迁移到 MobileSAM#
MobileSAM 保留了原始 SAM 的相同流程，包括预处理、后处理和所有接口。这意味着你只需对工作流进行极少的更改，就能从 SAM 迁移到 MobileSAM。
主要区别在于图像编码器：MobileSAM 用小得多的 Tiny-ViT 编码器（500 万参数）替换了原始的 ViT-H 编码器（6.37 亿参数）。在单个 GPU 上，MobileSAM 处理一张图像大约需要 12ms（编码器需要 8ms，掩码解码器需要 4ms）。
基于 ViT 的图像编码器对比#
| 图像编码器 | 原始 SAM | MobileSAM |
|---|---|---|
| 参数量 | 637M | 500万 |
| 速度 | 452ms | 8毫秒 |
提示引导的掩码解码器#
| 掩码解码器 | 原始 SAM | MobileSAM |
|---|---|---|
| 参数量 | 387.6万 | 387.6万 |
| 速度 | 4毫秒 | 4毫秒 |
完整流程对比#
| 完整流程（编码器+解码器） | 原始 SAM | MobileSAM |
|---|---|---|
| 参数量 | 641M | 966万 |
| 速度 | 456ms | 12毫秒 |
下图使用点提示和框提示展示了 MobileSAM 与原始 SAM 的性能。
MobileSAM 的尺寸约为 FastSAM 的 1/7，速度约为 FastSAM 的 5 倍。有关更多详情，请访问 MobileSAM 项目页面。
在 Ultralytics 中测试 MobileSAM#
与原始 SAM 一样，Ultralytics 为测试 MobileSAM 提供了简单的接口，同时支持点提示和框提示。
模型下载#
从 Ultralytics 资源下载 MobileSAM 预训练权重。
点提示#
from ultralytics import SAM
# Load the model
model = SAM("mobile_sam.pt")
# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])
# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])
# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])
# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])框提示#
from ultralytics import SAM
# Load the model
model = SAM("mobile_sam.pt")
# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])
# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])MobileSAM 和 SAM 使用相同的 API。有关更多使用详情，请参阅 SAM 文档。
使用检测模型自动构建分割数据集#
要使用 Ultralytics 框架自动标注你的数据集，请使用如下所示的 auto_annotate 函数：
from ultralytics.data.annotator import auto_annotate
auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")| 参数 | 类型 | 默认值 | 描述 |
|---|---|---|---|
data | str | 必需 | 包含用于标注或分割的目标图像的目录路径。 |
det_model | str | 'yolo26x.pt' | 用于初始对象检测的 YOLO 检测模型路径。 |
sam_model | str | 'sam_b.pt' | 用于分割的 SAM 模型路径（支持 SAM、SAM 2、MobileSAM 和 SAM 3 权重）。 |
device | str | '' | 计算设备（例如，'cuda:0'、'cpu'，或使用 '' 自动检测设备）。 |
conf | float | 0.25 | 用于过滤低置信度检测结果的 YOLO 检测置信度阈值。 |
iou | float | 0.45 | 用于非极大值抑制以过滤重叠框的 IoU 阈值。 |
imgsz | int | 640 | 用于调整图像大小的输入尺寸（必须是 32 的倍数）。 |
max_det | int | 300 | 每张图像的最大检测数，以提高内存使用效率。 |
classes | list[int] | None | 要检测的类别索引列表（例如，[0, 1] 表示人和自行车）。 |
output_dir | str | None | 用于保存标注的目录（默认：<data>_auto_annotate_labels 所在目录的同级目录）。 |
引用和致谢#
如果 MobileSAM 对你的研究或开发有所帮助，请考虑引用以下论文：
@article{mobile_sam,
title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
journal={arXiv preprint arXiv:2306.14289},
year={2023}
}阅读 arXiv 上的完整 MobileSAM 论文。
常见问题#
MobileSAM 是一个轻量级、快速的图像分割模型，针对移动端和边缘端应用进行了优化。MobileSAM 保持了与原始 SAM 相同的流程，但用紧凑的 Tiny-ViT 编码器（5M 参数）替换了大型 ViT-H 编码器（637M 参数）。这使得完整的 MobileSAM 流程比原始 SAM 小约 66 倍（9.66M 对 641M 参数），速度快约 38 倍，每张图像的处理时间约为 12 毫秒，而 SAM 为 456 毫秒。在MobileSAM GitHub 存储库上探索更多关于 MobileSAM 实现的内容。
在 Ultralytics 中测试 MobileSAM 非常简单。你可以使用点提示和框提示来预测分割结果。例如，使用点提示：
from ultralytics import SAM # Load the model model = SAM("mobile_sam.pt") # Predict a segment based on a point prompt model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])有关更多详情，请参阅在 Ultralytics 中测试 MobileSAM部分。
MobileSAM 在单块 GPU 上使用 10 万张图像的数据集（原始 SA-1B 图像的 1%）在不到一天的时间内完成训练，将 SAM 的 ViT-H 图像编码器蒸馏为 Tiny-ViT 编码器。预训练权重和实现细节可在MobileSAM GitHub 存储库中获取。
MobileSAM 专为移动端和边缘环境中的快速、高效图像分割而设计。主要使用场景包括：
- 面向移动应用的实时目标检测与分割
- 在计算资源有限的设备上进行低延迟图像处理
- 将其集成到 AI 驱动的移动应用中，用于增强现实（AR）、分析等场景
有关使用场景和性能的更多详情，请参阅从 SAM 迁移到 MobileSAM以及 Ultralytics 关于 MobileSAM 应用的博客。