Mobile Segment Anything (MobileSAM)#

MobileSAMは、モバイルおよびエッジデバイス向けに専用設計された、コンパクトで効率的な画像セグメンテーションモデルです。MetaのSegment Anything Model（SAM）のパワーを計算リソースが限られた環境にもたらすように設計されたMobileSAMは、元のSAMパイプラインとの互換性を維持しながら、ほぼ瞬時のセグメンテーションを実現します。リアルタイムアプリケーションや軽量なデプロイメントを開発している場合でも、MobileSAMは、従来のモデルのサイズと速度の要件のほんの一部で、印象的なセグメンテーション結果を提供します。

MobileSAMは、Grounding-SAM、AnyLabeling、Segment Anything in 3Dなど、さまざまなプロジェクトで採用されています。

MobileSAMは、単一のGPUを使用して100k枚の画像データセット（元の画像の1%）で1日未満でトレーニングされました。トレーニングコードは将来リリースされる予定です。

利用可能なモデル、サポートされているタスク、および動作モード#

以下の表は、利用可能なMobileSAMモデル、その事前学習済み重み、サポートされているタスク、およびInference、Validation、Training、Exportなどのさまざまな動作モードとの互換性の概要を示しています。サポートされているモードは✅で示され、サポートされていないモードは❌で示されます。

MobileSAMとYOLOの比較#

以下の比較では、MetaのSAMバリアント、MobileSAM、およびYOLO26n-segを含むUltralyticsセグメンテーションモデルの違いを強調しています。

この比較は、SAMバリアントとYOLOセグメンテーションモデル間のモデルサイズと速度における実質的な違いを示しています。SAMモデルは独自の自動セグメンテーション機能を提供しますが、YOLOモデル（特に YOLOv8n-seg、YOLO11n-seg、および YOLO26n-seg）は、大幅に小さく、高速で、計算効率に優れています。

SAMの速度はPyTorchで測定され、YOLOの速度はONNX Runtimeで測定されました。テストは、torch==2.10.0、ultralytics==8.4.31、onnxruntime==1.24.4を使用して、16GBのRAMを搭載した2025年製Apple M4 Airで実行されました。これらの結果を再現するには：

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

SAMからMobileSAMへの適応#

MobileSAMは、前処理、後処理、およびすべてのインターフェースを含め、元のSAMと同じパイプラインを保持しています。これは、ワークフローを最小限に変更するだけで、SAMからMobileSAMに移行できることを意味します。

主な違いは画像エンコーダーにあります。MobileSAMは、オリジナルのViT-Hエンコーダー（637Mパラメーター）を、はるかに小さいTiny-ViTエンコーダー（5Mパラメーター）に置き換えています。単一のGPUにおいて、MobileSAMは1画像あたり約12msで処理します（エンコーダーに8ms、マスクデコーダーに4ms）

ViTベースの画像エンコーダー比較#

プロンプトガイド付きマスクデコーダー#

全パイプライン比較#

MobileSAMとオリジナルのSAMのパフォーマンスを、ポイントプロンプトとボックスプロンプトの両方を使用して以下に示します。

MobileSAMは、FastSAMよりも約7倍小さく、5倍高速です。詳細については、MobileSAM project pageをご覧ください。

UltralyticsでのMobileSAMのテスト#

元のSAMと同様に、UltralyticsはMobileSAMをテストするためのシンプルなインターフェースを提供しており、ポイントおよびボックスの両方のプロンプトをサポートしています。

モデルのダウンロード#

Ultralytics assetsからMobileSAMの事前学習済み重みをダウンロードします。

ポイントプロンプト#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

ボックスプロンプト#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAMとSAMの両方が同じAPIを共有しています。使用方法の詳細については、SAM documentationをご覧ください。

検出モデルを使用してセグメンテーションデータセットを自動的に構築する#

Ultralyticsフレームワークでdatasetを自動的にアノテーションするには、以下に示すようにauto_annotate関数を使用します。

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

引用と謝辞#

MobileSAMが研究や開発に役立った場合は、以下の論文を引用することを検討してください。

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

arXivの完全なMobileSAM paper on arXivをお読みください。

よくある質問 (FAQ)#