SAM 2: セグメント・エニシング・モデル 2#

Metaのセグメント・エニシング・モデル (SAM)の後継であるSAM 2は、画像と動画の両方で包括的なオブジェクトセグメンテーションを実現するために設計された最先端のツールです。リアルタイム処理とゼロショット汎化をサポートする、統合されたプロンプト対応モデルアーキテクチャにより、複雑なビジュアルデータを効果的に処理します。

主な特徴#

統合モデルアーキテクチャ#

SAM 2は、画像と動画のセグメンテーション機能を単一のモデルに統合します。この統合により、デプロイが簡素化され、異なるメディアタイプ間で一貫した性能を実現できます。柔軟なプロンプトベースのインターフェースを活用し、ポイント、バウンディングボックス、マスクなど、さまざまなプロンプトタイプで対象オブジェクトを指定できます。

リアルタイム性能#

このモデルは毎秒約44フレームを処理するリアルタイムの推論速度を実現します。そのため、動画編集や拡張現実など、即時のフィードバックが必要なアプリケーションに適しています。

ゼロショット汎化#

SAM 2は、これまで遭遇したことのないオブジェクトもセグメンテーションでき、優れたゼロショット汎化性能を示します。これは、事前定義されたカテゴリーでは考えられるすべてのオブジェクトを網羅できない、多様または変化するビジュアル領域で特に有用です。

インタラクティブな改善#

ユーザーは追加のプロンプトを入力してセグメンテーション結果を反復的に改善できるため、出力を細かく制御できます。このインタラクティブ性は、動画アノテーションや医用画像などのアプリケーションで結果を微調整するために不可欠です。

高度なビジュアル課題への対応#

SAM 2には、オブジェクトの遮蔽や再出現など、動画セグメンテーションでよく生じる課題に対処するメカニズムが含まれています。高度なメモリメカニズムによってフレーム間のオブジェクトを追跡し、オブジェクトが一時的に遮蔽されたり、シーンから退出して再び入ったりする場合でも連続性を維持します。

SAM 2のアーキテクチャと機能をより深く理解するには、SAM 2の研究論文をご覧ください。

性能と技術詳細#

SAM 2はこの分野で新たなベンチマークを打ち立て、さまざまな指標で従来のモデルを上回っています。

モデルアーキテクチャ#

主要コンポーネント#

• 画像・動画エンコーダー: transformerベースのアーキテクチャを利用して、画像と動画フレームの両方から高レベルの特徴を抽出します。このコンポーネントは、各タイムステップでビジュアルコンテンツを理解します。
• プロンプトエンコーダー: ユーザーが指定したプロンプト（ポイント、ボックス、マスク）を処理し、セグメンテーションタスクを誘導します。これにより、SAM 2はユーザー入力に適応し、シーン内の特定のオブジェクトを対象にできます。
• メモリメカニズム: メモリエンコーダー、メモリバンク、メモリアテンションモジュールで構成されます。これらのコンポーネントが過去のフレームの情報をまとめて保存・利用し、時間経過に伴う一貫したオブジェクトトラッキングを可能にします。
• マスクデコーダー: エンコードされた画像特徴とプロンプトに基づいて、最終的なセグメンテーションマスクを生成します。動画ではメモリコンテキストも使用し、フレーム間で正確なトラッキングを実現します。

メモリメカニズムと遮蔽への対応#

メモリメカニズムにより、SAM 2は動画データの時間的依存関係と遮蔽に対応できます。オブジェクトが移動・相互作用すると、SAM 2はその特徴をメモリバンクに記録します。オブジェクトが遮蔽されると、モデルはこのメモリを利用して、再出現時の位置と外観を予測できます。遮蔽ヘッドは、オブジェクトが見えない状況を具体的に処理し、オブジェクトが遮蔽されている可能性を予測します。

複数マスクの曖昧性解消#

曖昧性がある状況（例：オブジェクトが重なっている場合）では、SAM 2は複数のマスク予測を生成できます。この機能は、単一のマスクではシーンの細部を十分に表現できない複雑なシーンを正確に表現するうえで重要です。

SA-Vデータセット#

SAM 2のトレーニング用に開発されたSA-Vデータセットは、現在利用可能な最大級かつ最も多様な動画セグメンテーションデータセットの1つです。次の内容が含まれています。

• 51,000本以上の動画: 47か国で撮影され、現実世界の幅広いシナリオを提供します。
• 600,000件以上のマスクアノテーション: 「masklets」と呼ばれる詳細な時空間マスクアノテーションで、オブジェクト全体とその一部を対象としています。
• データセット規模: これまで最大だったデータセットと比較して、動画数が4.5倍、アノテーション数が53倍多く、かつてない多様性と複雑性を提供します。

ベンチマーク#

動画オブジェクトセグメンテーション#

SAM 2は、主要な動画セグメンテーションベンチマーク全体で優れた性能を示しています。

インタラクティブセグメンテーション#

インタラクティブセグメンテーションタスクで、SAM 2は優れた効率と精度を示します。

インストール#

SAM 2をインストールするには、次のコマンドを使用します。すべてのSAM 2モデルは初回使用時に自動的にダウンロードされます。

pip install ultralytics

SAM 2の使用方法: 画像と動画のセグメンテーションにおける汎用性#

次の表では、利用可能なSAM 2モデル、事前学習済みウェイト、対応タスク、および推論、検証、トレーニング、エクスポートなどの各種動作モードとの互換性について詳しく説明します。

SAM 2の予測例#

SAM 2は、リアルタイム動画編集、医用画像、自律システムなど、幅広いタスクに利用できます。静的および動的なビジュアルデータの両方をセグメンテーションできるため、研究者や開発者にとって汎用性の高いツールです。

プロンプトでセグメンテーション#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("path/to/image.jpg", bboxes=[100, 100, 200, 200])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

すべてをセグメンテーション#

from ultralytics import SAM

# Load a model
model = SAM("sam2.1_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/video.mp4")

動画をセグメンテーションしてオブジェクトをトラッキング#

from ultralytics.models.sam import SAM2VideoPredictor

# Create SAM2VideoPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_b.pt"}
predictor = SAM2VideoPredictor(overrides=overrides)

# Run inference with single point
results = predictor(source="test.mp4", points=[920, 470], labels=[1])

# Run inference with multiple points
results = predictor(source="test.mp4", points=[[920, 470], [909, 138]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = predictor(source="test.mp4", points=[[[920, 470], [909, 138]]], labels=[[1, 0]])

• この例では、プロンプト（bboxes/points/masks）が指定されていない場合に、SAM 2を使用して画像または動画の全コンテンツをセグメンテーションする方法を示します。

動的インタラクティブセグメンテーションとトラッキング#

SAM2DynamicInteractivePredictorは、SAM 2の高度なトレーニング不要の拡張機能であり、複数フレームとの動的インタラクションと継続的学習機能を可能にします。この予測器は、一連の画像にわたるトラッキング性能を向上させるため、リアルタイムのプロンプト更新とメモリ管理をサポートします。元のSAM 2と比較して、SAM2DynamicInteractivePredictorは推論フローを再構築し、追加のトレーニングを必要とせずに事前トレーニング済みのSAM 2モデルを最大限に活用できるようにします。

主な特徴#

次の3つの重要な拡張機能を提供します。

1. 動的インタラクション: 動画処理中の任意のタイミングで、後続フレームにおけるマージ対象または未追跡の新しいインスタンス用のプロンプトを追加します
2. 継続学習: 既存のインスタンスに新しいプロンプトを追加し、時間の経過に伴ってモデル性能を向上させます
3. 独立した複数画像のサポート: メモリ共有と画像間オブジェクトトラッキングにより、複数の独立した画像（必ずしも動画シーケンス由来である必要はありません）を処理します

主要機能#

• プロンプトの柔軟性: バウンディングボックス、ポイント、マスクをプロンプトとして受け付けます
• メモリバンク管理: フレーム間のオブジェクト状態を保存する動的なメモリバンクを維持します
• マルチオブジェクトトラッキング: 個別のオブジェクトIDを使用して、複数のオブジェクトを同時にトラッキングできます
• リアルタイム更新: 推論中に、以前のフレームを再処理せずに新しいプロンプトを追加できます
• 独立画像処理: 共有メモリコンテキストを使用して、画像間でオブジェクトの一貫性を保ちながら、個別の画像を処理します

from ultralytics.models.sam import SAM2DynamicInteractivePredictor

# Create SAM2DynamicInteractivePredictor
overrides = {"conf": 0.01, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "sam2_t.pt", "save": False}
predictor = SAM2DynamicInteractivePredictor(overrides=overrides, max_obj_num=10)

# Define a category by box prompt
predictor(source="image1.jpg", bboxes=[[100, 100, 200, 200]], obj_ids=[0], update_memory=True)

# Detect this particular object in a new image
results = predictor(source="image2.jpg")

# Add new category with a new object ID
results = predictor(
    source="image4.jpg",
    bboxes=[[300, 300, 400, 400]],  # New object
    obj_ids=[1],  # New object ID
    update_memory=True,  # Add to memory
)
# Perform inference
results = predictor(source="image5.jpg")

# Add refinement prompts to the same category to boost performance
# This helps when object appearance changes significantly
results = predictor(
    source="image6.jpg",
    points=[[150, 150]],  # Refinement point
    labels=[1],  # Positive point
    obj_ids=[1],  # Same object ID
    update_memory=True,  # Update memory with new information
)
# Perform inference on new image
results = predictor(source="image7.jpg")

引数#

ユースケース#

SAM2DynamicInteractivePredictor は、次の用途に適しています:

• シーケンス中に新しいオブジェクトが出現する動画アノテーションワークフロー
• リアルタイムのオブジェクト追加と調整が必要なインタラクティブ動画編集
• 動的なオブジェクト追跡が必要な監視アプリケーション
• 時系列データ全体で解剖学的構造を追跡する医療画像処理
• 適応型のオブジェクト検出と追跡が必要な自律システム
• 独立した画像間で一貫したオブジェクトセグメンテーションを行う複数画像データセット
• 異なるシーン間でオブジェクトを追跡する必要がある画像コレクション分析
• 多様な画像コンテキストのメモリを活用するドメイン横断セグメンテーション
• 最小限の手動作業で効率的にデータセットを作成する半自動アノテーション

SAM と YOLO の比較#

ここでは、最小の SAM2-t バリアントを含む Meta の SAM 2 モデルと、YOLO26n-seg を含む Ultralytics のセグメンテーションモデルを比較します:

この比較から、SAM の各バリアントと YOLO セグメンテーションモデルの間には、モデルサイズと速度に大きな違いがあることが分かります。SAM は独自の自動セグメンテーション機能を提供しますが、YOLO モデル、特に YOLOv8n-seg、YOLO11n-seg、YOLO26n-seg は、大幅に小型で高速かつ計算効率に優れています。

SAM の速度は PyTorch で、YOLO の速度は ONNX Runtime で測定しました。テストは、torch==2.10.0、ultralytics==8.4.31、onnxruntime==1.24.4 を使用し、16GB の RAM を搭載した 2025 Apple M4 Air 上で実行しました。このテストを再現するには、次の手順を実行します:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

自動アノテーション: 効率的なデータセット作成#

自動アノテーションは SAM 2 の強力な機能であり、事前学習済みモデルを活用して、セグメンテーションデータセットを迅速かつ正確に生成できます。この機能は、大規模で高品質なデータセットを、広範な手動作業なしで作成する場合に特に役立ちます。

SAM 2 で自動アノテーションする方法#

SAM 2 を使用してデータセットに自動アノテーションを付けるには、次の例に従ってください:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam2_b.pt")

この関数により、高品質なセグメンテーションデータセットを迅速に作成できます。プロジェクトの加速を目指す研究者や開発者に最適です。

制限事項#

SAM 2 には優れた点がある一方で、いくつかの制限事項があります:

• 追跡の安定性: SAM 2 は、長時間のシーケンスや視点の大きな変化がある場合に、オブジェクトの追跡を失うことがあります。
• オブジェクトの混同: 特に混雑したシーンでは、外観が似たオブジェクトをモデルが混同することがあります。
• 複数オブジェクトの効率: オブジェクト間の通信がないため、複数のオブジェクトを同時に処理するとセグメンテーションの効率が低下します。
• 詳細な 精度: 特に高速で移動するオブジェクトでは、細部を見落とすことがあります。追加のプロンプトでこの問題を部分的に解決できますが、時間的な滑らかさは保証されません。

引用と謝辞#

SAM 2 が研究または開発作業の重要な部分を占める場合は、次の参考文献を使用して引用してください:

@article{ravi2024sam2,
  title={SAM 2: Segment Anything in Images and Videos},
  author={Ravi, Nikhila and Gabeur, Valentin and Hu, Yuan-Ting and Hu, Ronghang and Ryali, Chaitanya and Ma, Tengyu and Khedr, Haitham and R{\"a}dle, Roman and Rolland, Chloe and Gustafson, Laura and Mintun, Eric and Pan, Junting and Alwala, Kalyan Vasudev and Carion, Nicolas and Wu, Chao-Yuan and Girshick, Ross and Doll{\'a}r, Piotr and Feichtenhofer, Christoph},
  journal={arXiv preprint},
  year={2024}
}

この画期的なモデルとデータセットによって AI コミュニティに貢献した Meta AI に、心より感謝します。

FAQ#