SAM 3：コンセプトであらゆるものをセグメンテーション#

SAM 3（Segment Anythingモデル3（SAM 3））は、Metaがリリースしたプロンプト可能なコンセプトセグメンテーション（PCS）用の基盤モデルです。SAM 2を基盤として、SAM 3は根本的に新しい機能を導入しています。テキストプロンプト、画像エグゼンプラー、またはその両方で指定した視覚コンセプトのすべてのインスタンスを検出、セグメンテーション、トラッキングできます。従来のSAMバージョンが1つのプロンプトにつき単一のオブジェクトをセグメンテーションしていたのに対し、SAM 3は画像や動画のどこに現れるコンセプトでも、すべての出現箇所を見つけてセグメンテーションできます。これは、現代のインスタンスセグメンテーションにおけるオープンボキャブラリーの目標に沿ったものです。

SAM 3はultralyticsパッケージに完全統合され、テキストプロンプト、画像エグゼンプラープロンプトによるコンセプトセグメンテーションと、動画トラッキング機能をネイティブにサポートします。

概要#

SAM 3は、プロンプト可能なコンセプトセグメンテーションにおいて既存システムを2倍上回る性能を達成しながら、インタラクティブなビジュアルセグメンテーションにおけるSAM 2の機能を維持・向上させています。このモデルはオープンボキャブラリーセグメンテーションに優れており、ユーザーは「yellow school bus」「striped cat」のような単純な名詞句や、対象オブジェクトのサンプル画像を指定してコンセプトを定義できます。これらの機能は、合理化されたpredictおよびtrackワークフローに依存する、本番環境対応のパイプラインを補完します。

プロンプト可能なコンセプトセグメンテーション（PCS）とは？#

PCSタスクはコンセプトプロンプトを入力として受け取り、一致するすべてのオブジェクトインスタンスに対して、一意のIDを持つセグメンテーションマスクを返します。コンセプトプロンプトには次の種類があります。

• テキスト：「red apple」や「person wearing a hat」のような単純な名詞句で、ゼロショット学習に似ています
• 画像エグゼンプラー：高速な汎化のために、サンプルオブジェクト（ポジティブまたはネガティブ）の周囲に配置したバウンディングボックス
• 組み合わせ：正確な制御のために、テキストと画像エグゼンプラーの両方を使用します

これは、元祖SAMファミリーで広く知られるようになった、1つの特定のオブジェクトインスタンスのみをセグメンテーションする従来のビジュアルプロンプト（ポイント、ボックス、マスク）とは異なります。

主要なパフォーマンス指標#

本番環境におけるモデル指標とトレードオフについては、モデル評価の知見およびYOLOのパフォーマンス指標をご覧ください。

アーキテクチャ#

SAM 3は、Perception Encoder（PE）ビジョンバックボーンを共有する検出器とトラッカーで構成されています。この分離設計により、タスク間の競合を回避しながら、画像レベルの検出と動画レベルのトラッキングの両方を可能にします。また、UltralyticsのPython使用方法およびCLI使用方法と互換性のあるインターフェースを備えています。

主要コンポーネント#

• 検出器：DETRベースのアーキテクチャによる画像レベルのコンセプト検出

  • 名詞句プロンプト用のテキストエンコーダー
  • 画像ベースのプロンプト用のエグゼンプラーエンコーダー
  • プロンプトに基づいて画像特徴量を条件付けするフュージョンエンコーダー
  • 認識（「何」）と位置特定（「どこ」）を分離する新しいpresence head
  • インスタンスセグメンテーションマスクを生成するマスクヘッド

• トラッカー：SAM 2から継承したメモリベースの動画セグメンテーション

  • プロンプトエンコーダー、マスクデコーダー、メモリエンコーダー
  • フレーム間のオブジェクトの外観を保存するメモリバンク
  • マルチオブジェクト環境で、カルマンフィルターなどの技術によって支援される時間的曖昧性解消

• Presence Token：対象コンセプトが画像またはフレームに存在するかどうかを予測する学習済みのグローバルトークンです。認識と位置特定を分離することで、検出性能を向上させます。

主要なイノベーション#

1. 認識と位置特定の分離：presence headはコンセプトの存在をグローバルに予測し、プロポーザルクエリは位置特定のみに集中することで、競合する目的を回避します。
2. コンセプトプロンプトとビジュアルプロンプトの統合：PCS（コンセプトプロンプト）とPVS（SAM 2のクリックやボックスなどのビジュアルプロンプト）の両方を単一のモデルでサポートします。
3. インタラクティブなエグゼンプラーリファインメント：ユーザーはポジティブまたはネガティブな画像エグゼンプラーを追加して結果を反復的に改善できます。モデルは個々のインスタンスを修正するだけでなく、類似オブジェクトへ汎化します。
4. 時間的曖昧性解消：マスクレットの検出スコアと定期的な再プロンプトを使用して、動画内のオクルージョン、混雑したシーン、トラッキング失敗に対処します。これはインスタンスセグメンテーションとトラッキングのベストプラクティスに沿ったものです。

SA-Coデータセット#

SAM 3は**Segment Anything with Concepts（SA-Co）**でトレーニングされています。これはMetaがこれまでに構築した最大かつ最も多様なセグメンテーションデータセットであり、COCOやLVISのような一般的なベンチマークを超えるものです。

トレーニングデータ#

ベンチマークデータ#

SA-Co評価ベンチマークには、12.6万枚の画像と動画にまたがる21.4万個の一意なフレーズが含まれており、既存のベンチマークの50倍以上のコンセプトを提供します。以下が含まれます。

• SA-Co/Gold：7つのドメイン。人間の性能限界を測定するため、3人がアノテーション
• SA-Co/Silver：10のドメイン、1人による人手アノテーション
• SA-Co/BronzeおよびSA-Co/Bio：コンセプトセグメンテーション向けに適応した9つの既存データセット
• SA-Co/VEval：3つのドメイン（SA-V、YT-Temporal-1B、SmartGlasses）を含む動画ベンチマーク

データエンジンのイノベーション#

SAM 3のスケーラブルな人間およびモデル・イン・ザ・ループ型データエンジンは、以下によってアノテーションスループットを2倍にします。

1. AIアノテーター：Llamaベースのモデルが、ハードネガティブを含む多様な名詞句を提案します
2. AI検証器：ファインチューニング済みのマルチモーダルLLMが、人間に近い性能でマスクの品質と網羅性を検証します
3. アクティブマイニング：AIが苦手とする困難な失敗事例に人手を集中させます
4. オントロジー駆動：Wikidataに基づく大規模オントロジーを活用して、コンセプトの網羅性を確保します

インストール#

SAM 3はUltralytics バージョン 8.3.237以降で利用できます。次のコマンドでインストールまたはアップグレードしてください。

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

SAM 3の使用方法：コンセプトセグメンテーションの多様性#

SAM 3は、異なる予測インターフェースを通じて、プロンプト可能なコンセプトセグメンテーション（PCS）タスクとプロンプト可能なビジュアルセグメンテーション（PVS）タスクの両方をサポートします。

サポートされるタスクとモデル#

概念セグメンテーションの例#

テキストプロンプトによるセグメンテーション#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

画像例によるセグメンテーション#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

効率化のための特徴量ベース推論#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

動画の概念セグメンテーション#

バウンディングボックスで動画全体の概念を追跡#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

テキストプロンプトによる概念追跡#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

視覚プロンプト（SAM 2互換）#

SAM 3は、単一オブジェクトのセグメンテーションにおけるSAM 2の視覚プロンプトを完全に後方互換でサポートします。

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

性能ベンチマーク#

画像セグメンテーション#

SAM 3は、LVISやセグメンテーション用COCOなどの実世界のデータセットを含む、複数のベンチマークで最先端の結果を達成しています。

迅速な実験に使用できるデータセットの選択肢については、Ultralyticsのデータセットをご覧ください。

動画セグメンテーション性能#

SAM 3は、DAVIS 2017やYouTube-VOSなどの動画ベンチマークで、SAM 2および従来の最先端手法を大幅に上回っています。

Few-Shot適応#

SAM 3は、最小限の例で新しいドメインに適応する能力に優れており、データセントリックAIワークフローに適しています。

インタラクティブな精度改善の有効性#

SAM 3の例示による概念ベースのプロンプトは、視覚プロンプトよりもはるかに速く収束します。

オブジェクトカウント精度#

SAM 3は、すべてのインスタンスをセグメンテーションすることで正確なカウントを実現します。これはオブジェクトカウントで一般的に求められる機能です。

SAM 3、SAM 2、YOLOの比較#

ここでは、SAM 3の機能をSAM 2およびYOLO26モデルと比較します。同じ種類のプロンプトからリアルタイムでオープンボキャブラリーの検出とセグメンテーションを行う場合は、YOLOEをご覧ください。

速度は、torch==2.9.1 と ultralytics==8.4.19 を使用し、NVIDIA RTX PRO 6000 でベンチマークしています。

主なポイント:

• SAM 3: オープンボキャブラリーのコンセプトセグメンテーションに最適で、テキストまたはExemplarプロンプトを使用して、あるコンセプトのすべてのインスタンスを検出できます
• SAM 2: 幾何学的プロンプトを使用した画像および動画内の単一オブジェクトのインタラクティブなセグメンテーションに最適です
• YOLO26: NMSなしのエンドツーエンド推論によるリアルタイムの高速セグメンテーションに最適で、多くの形式にエクスポートしてGPU、CPU、エッジデバイスにデプロイできます

SAM と YOLO の比較#

UltralyticsのYOLOセグメンテーションモデル（YOLOv8、YOLO11、YOLO26）と、SAM 3、SAM 2、SAM、MobileSAM、FastSAMを、サイズ、パラメーター数、GPU推論速度の観点で比較します:

この比較から、SAM の各バリアントと YOLO セグメンテーションモデルの間には、モデルサイズと速度に大きな違いがあることが分かります。SAM は独自の自動セグメンテーション機能を提供しますが、YOLO モデル、特に YOLOv8n-seg、YOLO11n-seg、YOLO26n-seg は、大幅に小型で高速かつ計算効率に優れています。

テストは、VRAM 96GBのNVIDIA RTX PRO 6000上で、torch==2.9.1 と ultralytics==8.4.19 を使用して実行しました。このテストを再現するには:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

評価指標#

SAM 3では、PCSタスク向けに設計された新しい指標が導入され、F1スコア、適合率、再現率などの一般的な指標を補完します。

分類ゲート付きF1（CGF1）#

位置特定と分類を組み合わせた主要な指標です:

CGF1 = 100 × pmF1 × IL_MCC

内容:

• pmF1（Positive Macro F1）: 正例における位置特定の品質を測定します
• IL_MCC（画像レベルのMatthews相関係数）: 二値分類の精度（「コンセプトが存在するか」）を測定します

なぜこれらの指標なのか？#

従来のAP指標はキャリブレーションを考慮しないため、モデルを実際に使用することが困難です。0.5を超える信頼度の予測のみを評価することで、SAM 3の指標は適切なキャリブレーションを促し、インタラクティブな predict および track ループにおける実際の使用パターンを再現します。

主なアブレーションと知見#

Presence Headの影響#

Presence Headは認識と位置特定を分離し、大幅な改善をもたらします:

Presence Headにより、CGF1が+5.7向上（+9.9%）し、主に認識能力が改善します（IL_MCC +6.5%）。

ハードネガティブの効果#

ハードネガティブはオープンボキャブラリー認識に不可欠で、IL_MCCを54.5%（0.44 → 0.68）改善します。

トレーニングデータのスケーリング#

高品質な人手アノテーションは、合成データのみ、または外部データのみの場合と比べて大きな改善をもたらします。データ品質の実践方法については、データ収集とアノテーションを参照してください。

アプリケーション#

SAM 3のコンセプトセグメンテーション機能により、新たなユースケースが可能になります:

• コンテンツモデレーション: メディアライブラリ全体から特定の種類のコンテンツのすべてのインスタンスを検出します
• Eコマース: カタログ画像内の特定種類の商品をすべてセグメンテーションし、自動アノテーションをサポートします
• 医用画像: 特定の種類の組織や異常のすべての出現箇所を特定します
• 自律システム: 交通標識、歩行者、車両のすべてのインスタンスをカテゴリ別にトラッキングします
• 動画分析: 特定の服装をしている、または特定の行動をしているすべての人物をカウントしてトラッキングします
• データセットアノテーション: 希少なオブジェクトカテゴリのすべてのインスタンスに迅速にアノテーションを付けます
• 科学研究: 特定の基準に一致するすべての標本を定量化して分析します

SAM 3 Agent: 拡張言語推論#

SAM 3は、マルチモーダル大規模言語モデル（MLLMs）と組み合わせることで、OWLv2やT-Rexのようなオープンボキャブラリーシステムと同様の考え方で、推論を必要とする複雑なクエリを処理できます。

推論タスクにおけるパフォーマンス#

複雑なクエリの例#

SAM 3 Agentは、推論を必要とするクエリを処理できます:

• 「座っているが、手にギフトボックスを持っていない人」
• 「カメラに最も近く、首輪を付けていない犬」
• 「人の手よりも大きい赤い物体」

MLLMはSAM 3に単純な名詞句クエリを提案し、返されたマスクを分析して、満足するまで反復します。

制限事項#

SAM 3は大きな進歩を遂げていますが、いくつかの制限があります。

• フレーズの複雑さ: シンプルな名詞句に最適です。長い指示表現や複雑な推論には、MLLMとの統合が必要になる場合があります
• 曖昧性への対応: 一部の概念には本質的に曖昧なものがあります（例: "小さな窓"、"居心地のよい部屋"）
• 計算要件: YOLOのような専門的な検出モデルより大規模で低速です
• 語彙の範囲: 基本的な視覚概念に焦点を当てています。MLLMの支援がなければ、構成的推論には限界があります
• 稀な概念: 学習データに十分に含まれていない、極めて稀または細粒度の概念では、性能が低下する可能性があります

引用#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

FAQ#