Mobile Segment Anything（MobileSAM）#

MobileSAMは、モバイルデバイスやエッジデバイス向けに特化して設計された、コンパクトで効率的な画像セグメンテーションモデルです。計算リソースが限られた環境にMetaのセグメント・エニシング・モデル（SAM）の性能をもたらすよう設計されており、オリジナルのSAMパイプラインとの互換性を維持しながら、ほぼ瞬時のセグメンテーションを実現します。リアルタイムアプリケーションの開発にも、軽量なデプロイにも、MobileSAMは従来モデルより大幅に少ないサイズと処理速度の要件で優れたセグメンテーション結果を提供します。

MobileSAMは、Grounding-SAM、AnyLabeling、Segment Anything in 3Dなど、さまざまなプロジェクトに採用されています。

MobileSAMは、元の画像の1%にあたる10万枚の画像データセットを使い、単一のGPUで1日足らずで学習されました。

利用可能なモデル、サポート対象タスク、動作モード#

以下の表では、利用可能なMobileSAMモデルとその事前学習済み重み、サポート対象タスク、および推論、検証、学習、エクスポートなどの各動作モードとの互換性を示します。サポートされるモードには✅、サポートされないモードには❌が付いています。

MobileSAMとYOLOの比較#

以下の比較では、MetaのSAM派生モデル、MobileSAM、およびYOLO26n-segを含むUltralyticsのセグメンテーションモデルの違いを示します。

この比較では、SAMの各バリアントとYOLOのセグメンテーションモデルの間にある、モデルサイズと速度の大きな違いを示しています。SAMモデルは独自の自動セグメンテーション機能を備えていますが、YOLOモデル、特にYOLOv8n-seg、YOLO11n-seg、YOLO26n-segは、大幅に小型かつ高速で、計算効率にも優れています。

SAMの速度はPyTorchで測定し、YOLOの速度はONNX Runtimeで測定しました。16GBのRAMを搭載した2025年モデルのApple M4 Airを使用し、torch==2.10.0、ultralytics==8.4.31、onnxruntime==1.24.4でテストを実施しました。これらの結果を再現するには、次の手順に従ってください。

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t、SAM2-b、SAM-b、MobileSAMのプロファイルを取得
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-sのプロファイルを取得
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLOモデル（ONNX）のプロファイルを取得
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26のNMSフリーヘッド。YOLOv8/YOLO11では何もしません
    model = YOLO(onnx_path)
    model(ASSETS)

SAMからMobileSAMへの移行#

MobileSAMは、前処理、後処理、すべてのインターフェースを含め、元のSAMと同じパイプラインを維持しています。そのため、ワークフローを最小限変更するだけで、SAMからMobileSAMに移行できます。

主な違いは画像エンコーダーです。MobileSAMでは、元のViT-Hエンコーダー（パラメーター数6億3,700万）を、はるかに小型のTiny-ViTエンコーダー（パラメーター数500万）に置き換えています。単一のGPUで、MobileSAMは画像を約12ms（エンコーダーが8ms、マスクデコーダーが4ms）で処理します。

ViTベースの画像エンコーダーの比較#

プロンプトガイド型マスクデコーダー#

パイプライン全体の比較#

以下では、ポイントプロンプトとボックスプロンプトを使用して、MobileSAMと元のSAMの性能を示します。

MobileSAMはFastSAMより約7倍小型で、約5倍高速です。詳しくは、MobileSAMプロジェクトページをご覧ください。

UltralyticsでのMobileSAMのテスト#

元のSAMと同様に、UltralyticsはMobileSAMをテストするためのシンプルなインターフェースを提供しており、ポイントプロンプトとボックスプロンプトの両方に対応しています。

モデルのダウンロード#

UltralyticsのアセットからMobileSAMの事前学習済み重みをダウンロードしてください。

ポイントプロンプト#

from ultralytics import SAM

# モデルを読み込みます
model = SAM("mobile_sam.pt")

# 単一のポイントプロンプトに基づいてセグメントを予測します
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# 複数のポイントプロンプトに基づいて複数のセグメントを予測します
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# オブジェクトごとに複数のポイントプロンプトに基づいてセグメントを予測します
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# 正のプロンプトと負のプロンプトの両方を使用してセグメントを予測します。
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

ボックスプロンプト#

from ultralytics import SAM

# モデルを読み込みます
model = SAM("mobile_sam.pt")

# 単一のボックスプロンプトに基づいてセグメントを予測します
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# 複数のボックスプロンプトに基づいて複数のセグメントを予測します
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAMとSAMは同じAPIを共有しています。使用方法の詳細については、SAMのドキュメントをご覧ください。

検出モデルを使用したセグメンテーションデータセットの自動作成#

Ultralyticsフレームワークを使ってデータセットに自動アノテーションを付けるには、以下に示すようにauto_annotate関数を使用してください。

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

引用と謝辞#

MobileSAMが研究や開発に役立つ場合は、以下の論文を引用してください。

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

arXivでMobileSAMの論文全文を読む。

よくある質問#