SAM 3：概念であらゆるものをセグメント化#

SAM 3（Segment Anything Model 3）は、Metaが公開したプロンプト可能な概念セグメンテーション（PCS）向けの基盤モデルです。SAM 2を基盤とするSAM 3は、テキストプロンプト、画像の例示、またはその両方で指定された視覚概念について、すべてのインスタンスを検出、セグメント化、追跡するという、根本的に新しい機能を導入しています。1つのプロンプトにつき1つの物体をセグメント化する従来のSAMとは異なり、SAM 3は画像や動画内のあらゆる場所に現れる概念のすべての出現箇所を検出してセグメント化できます。これは、最新のインスタンスセグメンテーションにおけるオープンボキャブラリーの目標に沿ったものです。

SAM 3はultralyticsパッケージに完全に統合されており、テキストプロンプト、画像の例示プロンプト、動画追跡を使用した概念セグメンテーションをネイティブにサポートします。新しいSAM 3.1チェックポイントは、画像予測に対応しています。

概要#

SAM 3は、プロンプト可能な概念セグメンテーションにおいて既存システムを2倍上回る性能向上を達成すると同時に、インタラクティブなビジュアルセグメンテーションにおけるSAM 2の機能を維持・強化しています。このモデルはオープンボキャブラリーセグメンテーションに優れており、「黄色いスクールバス」「縞模様の猫」などの簡単な名詞句を使って概念を指定したり、対象物の画像例を提示したりできます。これらの機能は、効率化されたpredictおよびtrackワークフローを活用する、本番環境向けパイプラインを補完します。

プロンプト可能な概念セグメンテーション（PCS）とは何ですか？#

PCSタスクは概念プロンプトを入力として受け取り、一致するすべての物体インスタンスに対して、一意の識別情報を持つセグメンテーションマスクを返します。概念プロンプトには、次の種類があります。

• テキスト：「赤いリンゴ」や「帽子をかぶった人」などの簡単な名詞句で、ゼロショット学習に似ています。
• 画像の例示：素早く汎化できるように、対象物の例（ポジティブまたはネガティブ）をバウンディングボックスで指定します。
• 組み合わせ：テキストと画像の例示を併用して、正確に制御します。

これは、元祖SAMファミリーで広く知られるようになった、ポイント、ボックス、マスクなどの従来の視覚プロンプトが、特定の単一の物体インスタンスのみをセグメント化するのとは異なります。

主な性能指標#

本番環境におけるモデル指標とトレードオフの背景については、モデル評価の分析とYOLOの性能指標をご覧ください。

SAM 3.1#

2026年3月27日にMetaが公開したSAM 3.1は、マルチオブジェクト動画追跡に共有メモリ方式のObject Multiplexを追加する、新しいSAM 3チェックポイントです。追跡対象を個別に処理する代わりに、SAM 3.1は対象を固定容量のバケットにまとめて同時に処理します。Metaによると、単一のH100 GPUで128個のオブジェクトを処理した場合、速度が約7倍向上します。画像検出器とインタラクティブなポイントプロンプトヘッドは、SAM 3のアーキテクチャを維持しています。

UltralyticsはSAM 3.1チェックポイント（sam3.1_multiplex.pt）をSAM 3の画像予測器に読み込みます。ポイントプロンプトとボックスプロンプトにはSAM("sam3.1_multiplex.pt")を、テキストプロンプトと例示プロンプトにはSAM3SemanticPredictorを使用します。Object Multiplexによる動画追跡はまだサポートされていないため、引き続きsam3.ptとSAM3VideoPredictor、SAM3VideoSemanticPredictorを使用してください。

アーキテクチャ#

SAM 3は、Perception Encoder（PE）ビジョンバックボーンを共有する検出器とトラッカーで構成されています。この分離設計により、タスク間の競合を避けながら、画像レベルの検出と動画レベルの追跡の両方を実現し、UltralyticsのPythonの使用方法とCLIの使用方法に対応するインターフェースを提供します。

主要コンポーネント#

• 検出器：DETRベースのアーキテクチャによる画像レベルの概念検出

  • 名詞句プロンプト用のテキストエンコーダー
  • 画像ベースのプロンプト用の例示エンコーダー
  • プロンプトに基づいて画像特徴を条件付けるフュージョンエンコーダー
  • 認識（「何」）と位置特定（「どこ」）を分離する新しい存在ヘッド
  • インスタンスセグメンテーションマスクを生成するマスクヘッド

• トラッカー：SAM 2から継承したメモリベースの動画セグメンテーション

  • プロンプトエンコーダー、マスクデコーダー、メモリエンコーダー
  • フレーム間で物体の外観を保存するメモリバンク
  • マルチオブジェクト環境での時間的な曖昧さの解消には、カルマンフィルターなどの技術を活用します。

• Presence Token：対象の概念が画像またはフレーム内に存在するかを予測する学習済みのグローバルトークンです。認識と位置特定を分離することで、検出精度を向上させます。

主な革新点#

1. 認識と位置特定の分離: presence headは概念の存在をグローバルに予測し、proposal queryは位置特定のみに焦点を当てることで、競合する目的を回避します。
2. 概念プロンプトと視覚プロンプトの統合: 1つのモデルでPCS（概念プロンプト）とPVS（SAM 2のクリックやボックスなどの視覚プロンプト）の両方をサポートします。
3. インタラクティブな例示画像の調整: ユーザーは正例または負例の画像例を追加して結果を段階的に調整できます。モデルは個々のインスタンスを修正するだけでなく、類似したオブジェクトにも汎化します。
4. 時間的な曖昧さの解消: maskletの検出スコアと定期的なプロンプトの再入力を使用して、動画内のオクルージョン、混雑したシーン、トラッキングの失敗に対処し、インスタンスセグメンテーションとトラッキングのベストプラクティスに沿って処理します。

SA-Coデータセット#

SAM 3はSegment Anything with Concepts (SA-Co)でトレーニングされています。これはMetaがこれまでに構築した中で最大かつ最も多様なセグメンテーションデータセットであり、COCOやLVISなどの一般的なベンチマークを超える範囲をカバーします。

トレーニングデータ#

ベンチマークデータ#

SA-Co評価ベンチマークには、12万6,000本の画像と動画にわたる21万4,000個の固有フレーズが含まれており、既存のベンチマークの50倍を超える概念を提供します。次の項目が含まれます。

• SA-Co/Gold: 7つのドメインを対象とし、人間の性能上限を測定するために3名がアノテーション
• SA-Co/Silver: 10のドメインを対象とし、人手によるアノテーションは1回
• SA-Co/BronzeおよびSA-Co/Bio: 概念セグメンテーション向けに適応した9つの既存データセット
• SA-Co/VEval: 3つのドメイン（SA-V、YT-Temporal-1B、SmartGlasses）を含む動画ベンチマーク

データエンジンの革新点#

SAM 3のスケーラブルな人間とモデルが連携するデータエンジンは、次の仕組みによりアノテーション処理量を2倍にします。

1. AIアノテーター: Llamaベースのモデルが、ハードネガティブを含む多様な名詞句を提案します
2. AI検証器: ファインチューニング済みのマルチモーダルLLMが、ほぼ人間と同等の性能でマスクの品質と網羅性を検証します
3. アクティブマイニング: AIが苦手とする難しい失敗事例に人間の作業を集中させます
4. オントロジー主導: Wikidataに基づく大規模なオントロジーを活用して、概念を幅広くカバーします

インストール#

ultralyticsパッケージをインストールまたはアップグレードします。

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

SAM 3の使い方: 概念セグメンテーションの柔軟性#

SAM 3は、異なるpredictorインターフェースを通じて、プロンプト可能な概念セグメンテーション（PCS）とプロンプト可能な視覚セグメンテーション（PVS）の両方のタスクをサポートします。

サポート対象のタスクとモデル#

概念セグメンテーションの例#

テキストプロンプトによるセグメンテーション#

from ultralytics.models.sam import SAM3SemanticPredictor

# 設定を指定してpredictorを初期化
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # 推論を高速化するためにFP16を使用
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# 複数のクエリで画像を一度だけ設定
predictor.set_image("path/to/image.jpg")

# 複数のテキストプロンプトでクエリ
results = predictor(text=["person", "bus", "glasses"])

# 説明的なフレーズにも対応
results = predictor(text=["person with red cloth", "person with blue cloth"])

# 単一の概念でクエリ
results = predictor(text=["a person"])

画像の例を使ったセグメンテーション#

from ultralytics.models.sam import SAM3SemanticPredictor

# predictorを初期化
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# 画像を設定
predictor.set_image("path/to/image.jpg")

# 類似オブジェクトをセグメント化するための例として、バウンディングボックスを指定
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# 同じ視覚概念の例として複数のバウンディングボックスを指定
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

効率を高める特徴量ベースの推論#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# predictorを初期化
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# 1つ目のpredictorから特徴量を抽出
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# 2つ目のpredictorをセットアップし、特徴量を再利用
predictor2.setup_model()

# 共有特徴量とテキストプロンプトを使って推論を実行
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# 共有特徴量とバウンディングボックスプロンプトを使って推論を実行
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# 結果を可視化
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

動画の概念セグメンテーション#

バウンディングボックスで動画全体の概念をトラッキング#

from ultralytics.models.sam import SAM3VideoPredictor

# 動画predictorを作成
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# バウンディングボックスのプロンプトを使ってオブジェクトをトラッキング
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# 結果を処理して表示
for r in results:
    r.show()  # セグメンテーションマスクを重ねたフレームを表示

テキストプロンプトで概念をトラッキング#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# セマンティック動画predictorを初期化
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# テキストプロンプトを使って概念をトラッキング
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# 結果を処理する
for r in results:
    r.show()  # トラッキング対象のオブジェクトを含むフレームを表示

# 別の方法: バウンディングボックスのプロンプトでトラッキング
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # 正例ラベル
    stream=True,
)

視覚プロンプト（SAM 2との互換性）#

SAM 3は、単一オブジェクトのセグメンテーションにおいて、SAM 2の視覚プロンプトとの完全な後方互換性を維持します。

from ultralytics import SAM

model = SAM("sam3.pt")

# 単一点プロンプト - 特定の位置にあるオブジェクトをセグメント化します
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# 複数点プロンプト - 複数の点ヒントを使って単一のオブジェクトをセグメント化します
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# ボックスプロンプト - バウンディングボックス内のオブジェクトをセグメント化します
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

性能ベンチマーク#

画像セグメンテーション#

SAM 3は、LVISやセグメンテーション用COCOなど、実世界のデータセットを含む複数のベンチマークで最先端の結果を達成しています。

Ultralyticsのデータセットで、すぐに試せるデータセットのオプションをご確認ください。

動画セグメンテーション性能#

SAM 3は、DAVIS 2017やYouTube-VOSなどの動画ベンチマークで、SAM 2および従来の最先端手法を大きく上回ります。

少数ショット適応#

SAM 3は、最小限の例で新しいドメインに適応する能力に優れており、データ中心AIのワークフローに適しています。

インタラクティブな修正の効果#

SAM 3の見本を使った概念ベースのプロンプトは、ビジュアルプロンプトよりもはるかに速く収束します。

オブジェクトカウント精度#

SAM 3は、すべてのインスタンスをセグメント化することで正確なカウントを実現します。これはオブジェクトカウントでよく求められる機能です。

SAM 3、SAM 2、YOLOの比較#

ここでは、SAM 3の機能をSAM 2およびYOLO26のモデルと比較します。同種のプロンプトからリアルタイムでオープンボキャブラリー検出とセグメンテーションを行う場合は、YOLOEをご覧ください。

速度は、NVIDIA RTX PRO 6000でtorch==2.9.1およびultralytics==8.4.19を使用してベンチマークしました。

主なポイント:

• SAM 3: オープンボキャブラリーの概念セグメンテーションに最適です。テキストまたは見本プロンプトを使って、概念のすべてのインスタンスを検出します
• SAM 2: 幾何学的プロンプトを使って、画像や動画内の単一オブジェクトをインタラクティブにセグメント化するのに最適です
• YOLO26: オプションでNMSなしのエンドツーエンド推論に対応した、リアルタイムの高速セグメンテーションに最適です。多くの形式にエクスポートして、GPU、CPU、エッジデバイスにデプロイできます

SAMとYOLOの比較#

UltralyticsのYOLOセグメンテーションモデル（YOLOv8、YOLO11、YOLO26）とSAM 3、SAM 2、SAM、MobileSAM、FastSAMを、サイズ、パラメーター数、GPU推論速度の観点から比較します。

この比較から、SAMの各バリアントとYOLOのセグメンテーションモデルでは、モデルサイズと速度に大きな違いがあることがわかります。SAMは独自の自動セグメンテーション機能を備えていますが、YOLOモデル、特にYOLOv8n-seg、YOLO11n-seg、YOLO26n-segは、大幅に小型で高速かつ計算効率に優れています。

torch==2.9.1とultralytics==8.4.19を使用し、VRAM 96GBのNVIDIA RTX PRO 6000でテストを実行しました。このテストを再現するには、次の手順に従ってください。

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM3、SAM2-t、SAM2-b、SAM-b、MobileSAMのプロファイルを取得
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-sのプロファイルを取得
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLOモデルのプロファイルを取得
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26のNMSフリーヘッド。YOLOv8/YOLO11では何もしません

評価指標#

SAM 3では、PCSタスク向けに新しい指標が導入され、F1スコア、適合率、再現率などの一般的な指標を補完します。

分類ゲート付きF1（CGF1）#

位置特定と分類を組み合わせた主要な指標です。

CGF1 = 100 × pmF1 × IL_MCC

各項目の説明：

• pmF1（陽性マクロF1）：陽性例における位置特定の品質を測定します
• IL_MCC（画像レベルのマシューズ相関係数）：二値分類の精度（「その概念が存在するか」）を測定します

これらの指標を使用する理由#

従来のAP指標ではキャリブレーションが考慮されないため、モデルを実運用で使いにくくなります。信頼度が0.5を超える予測のみを評価することで、SAM 3の指標は適切なキャリブレーションを促し、インタラクティブなpredictおよびtrackループにおける実環境の使用パターンを再現します。

主なアブレーションと知見#

Presence Headの影響#

Presence Headは認識と位置特定を分離し、大幅な改善をもたらします。

Presence Headにより、主に認識能力（IL_MCC +6.5%）が向上し、CGF1が+5.7ポイント（+9.9%）改善します。

ハードネガティブの効果#

ハードネガティブはオープンボキャブラリー認識に不可欠であり、IL_MCCを54.5%（0.44 → 0.68）改善します。

学習データのスケーリング#

高品質な人手アノテーションは、合成データまたは外部データのみの場合と比べて大きな改善をもたらします。データ品質管理の実践については、データ収集とアノテーションをご覧ください。

用途#

SAM 3の概念セグメンテーション機能により、新たなユースケースが可能になります。

• コンテンツモデレーション：メディアライブラリ全体から、特定の種類のコンテンツをすべて検出します
• Eコマース：カタログ画像内の特定種類の商品をすべてセグメント化し、自動アノテーションを支援します
• 医療画像処理：特定の組織タイプや異常の出現箇所をすべて特定します
• 自律システム：交通標識、歩行者、車両をカテゴリー別にすべて追跡します
• ビデオ分析：特定の服装をしている人や、特定の動作をしている人をすべてカウントして追跡します
• データセットのアノテーション：希少な物体カテゴリーのすべてのインスタンスを迅速にアノテーションします
• 科学研究：特定の条件に合致する標本をすべて定量化して分析します

SAM 3 Agent：拡張言語推論#

SAM 3は、複雑なクエリに対応するため、マルチモーダル大規模言語モデル（MLLM）と組み合わせることができます。これは、OWLv2やT-Rexのようなオープンボキャブラリーシステムと同様のアプローチです。

推論タスクでの性能#

複雑なクエリの例#

SAM 3 Agentは、推論を必要とする次のようなクエリに対応できます。

• 「座っていて、手にギフトボックスを持っていない人」
• 「首輪をしていない、カメラに最も近い犬」
• 「人の手より大きい赤い物体」

MLLMはSAM 3に簡単な名詞句のクエリを提示し、返されたマスクを分析して、満足するまで処理を繰り返します。

制限事項#

SAM 3は大きな進歩をもたらしますが、いくつかの制限があります。

• フレーズの複雑さ：簡単な名詞句に最適です。長い指示表現や複雑な推論には、MLLMとの統合が必要になる場合があります
• 曖昧さへの対応：「小さな窓」や「居心地のよい部屋」など、一部の概念には本質的な曖昧さが残ります
• 計算要件：YOLOのような特化型検出モデルよりも大きく、低速です
• 語彙の範囲：視覚的な基本概念に特化しており、MLLMの支援がなければ合成的な推論には限界があります
• 希少な概念：学習データに十分含まれていない、極めて希少または粒度の細かい概念では、性能が低下する可能性があります

引用#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

よくある質問#