Fast Segment Anything Model(FastSAM)
Fast Segment Anything Model(FastSAM)は、Segment Anythingタスク向けのリアルタイムな畳み込みニューラルネットワーク(CNN)ベースのソリューションです。このタスクでは、さまざまなユーザー操作プロンプトに基づいて、画像内の任意のオブジェクトをセグメント化します。FastSAMは競争力のある性能を維持しながら計算負荷を大幅に削減するため、さまざまなビジョンタスクで実用的な選択肢となります。
視聴: Ultralytics で FastSAM を使ったオブジェクトトラッキング
モデルアーキテクチャ#

概要#
FastSAMは、計算リソースを大幅に必要とする大型のTransformerモデルであるSegment Anything Model(SAM)の制約に対処するために設計されています。FastSAMはSegment Anythingタスクを、全インスタンスセグメンテーションとプロンプトに基づく選択の2つの段階に分けます。第1段階ではYOLOv8-segを使用して画像内のすべてのインスタンスのセグメンテーションマスクを生成し、第2段階ではプロンプトに対応する関心領域を出力します。
主な機能#
-
リアルタイムソリューション: CNNの計算効率を活用するFastSAMは、Segment Anythingタスク向けのリアルタイムソリューションを提供し、迅速な結果が求められる産業用途で役立ちます。
-
効率と性能: FastSAMはSAMと同等の性能を実現しながら計算負荷とリソース要件を大幅に削減し、リアルタイムアプリケーションを可能にします。
-
プロンプトに基づくセグメンテーション: FastSAMはさまざまなユーザー操作のプロンプトに基づいて画像内の任意のオブジェクトをセグメント化でき、さまざまな状況に柔軟に適応します。
-
YOLOv8-segベース: FastSAMは、インスタンスセグメンテーションブランチを備えたオブジェクト検出器であるYOLOv8-segをベースにしています。これにより、画像内のすべてのインスタンスのセグメンテーションマスクを効果的に生成できます。
-
ベンチマークでの競争力ある結果: MS COCOのオブジェクト候補タスクでは、FastSAMは単一のNVIDIA RTX 3090上でSAMより大幅に高速に動作しながら高いスコアを達成し、その効率と性能を示しています。
-
実用的な用途: この手法は多くのビジョンタスクに実用的なソリューションを提供し、従来のSegment Anything手法より数十倍から数百倍高速に動作します。
-
モデル圧縮の実現可能性: FastSAMは、構造に人工的な事前知識を導入することで計算量を大幅に削減できる方法の実現可能性を示しており、汎用ビジョンタスク向けの大規模モデルアーキテクチャに新たな可能性をもたらします。
利用可能なモデル、サポート対象タスク、動作モード#
この表では、利用可能なモデル、各モデルの事前学習済み重み、対応タスク、および学習、検証、推論、エクスポートなどの各モードとの互換性を示します。対応モードは✅、非対応モードは❌で示します。
| モデルタイプ | 事前学習済み重み | サポートされるタスク | トレーニング | 検証 | 推論 | エクスポート |
|---|---|---|---|---|---|---|
| FastSAM-s | FastSAM-s.pt | インスタンスセグメンテーション | ❌ | ✅ | ✅ | ✅ |
| FastSAM-x | FastSAM-x.pt | インスタンスセグメンテーション | ❌ | ✅ | ✅ | ✅ |
FastSAMとYOLOの比較#
ここでは、FastSAM-sと、MetaのSAMバリアントおよびYOLO26を含むUltralyticsのセグメンテーションモデルを比較します。
| モデル | サイズ (MB) | パラメーター (M) | 速度(CPU) (ms/im) |
|---|---|---|---|
| Meta SAM-b | 375 | 93.7 | 41703 |
| Meta SAM2-b | 162 | 80.8 | 28867 |
| Meta SAM2-t | 78.1 | 38.9 | 23430 |
| MobileSAM | 40.7 | 10.1 | 23802 |
| YOLOv8のバックボーンを使用したFastSAM-s | 23.9 | 11.8 | 58.0 |
| Ultralytics YOLOv8n-seg | 7.1(11.0倍小型) | 3.4(11.4倍少ない) | 24.8(945倍高速) |
| Ultralytics YOLO11n-seg | 6.2(12.6倍小型) | 2.9(13.4倍少ない) | 24.3(964倍高速) |
| Ultralytics YOLO26n-seg | 6.7(11.7倍小型) | 2.7(14.4倍少ない) | 25.2(930倍高速) |
この比較から、SAMの各バリアントとYOLOのセグメンテーションモデルでは、モデルサイズと速度に大きな違いがあることがわかります。SAMは独自の自動セグメンテーション機能を備えていますが、YOLOモデル、特にYOLOv8n-seg、YOLO11n-seg、YOLO26n-segは、大幅に小型で高速かつ計算効率に優れています。
SAMの速度はPyTorchで、YOLOの速度はONNX Runtimeで測定しました。テストは16GBのRAMを搭載した2025年製Apple M4 Airで、torch==2.10.0、ultralytics==8.4.31、onnxruntime==1.24.4を使用して実施しました。このテストを再現するには、次の手順を実行してください。
from ultralytics import ASSETS, SAM, YOLO, FastSAM
# SAM2-t、SAM2-b、SAM-b、MobileSAMのプロファイルを取得
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
model = SAM(file)
model.info()
model(ASSETS)
# FastSAM-sのプロファイルを取得
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)
# YOLOモデル(ONNX)のプロファイルを取得
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
model = YOLO(file_name)
model.info()
onnx_path = model.export(format="onnx", dynamic=True, nms=False) # YOLO26のNMSフリーヘッド。YOLOv8/YOLO11では何もしません
model = YOLO(onnx_path)
model(ASSETS)使用例#
FastSAMモデルは、Pythonアプリケーションに簡単に統合できます。Ultralyticsは、Python APIとCLIコマンドの両方を提供しています。
予測の使用方法#
画像をセグメンテーションするには、以下に示すようにpredictメソッドを使用してください。
from ultralytics import FastSAM
# 推論ソースを定義します
source = "path/to/bus.jpg"
# FastSAMモデルを作成します
model = FastSAM("FastSAM-s.pt") # またはFastSAM-x.pt
# 画像に対して推論を実行する
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)
# bboxesプロンプトを使用して推論を実行
results = model(source, bboxes=[439, 437, 524, 709])
# ポイントプロンプトを使用して推論を実行します
results = model(source, points=[[200, 200]], labels=[1])
# テキストプロンプトを使用して推論を実行します
results = model(source, texts="a photo of a dog")
# BBox、ポイント、テキストのプロンプトを同時に使用して推論を実行します
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")このコード例では、事前学習済みモデルの読み込みと画像に対する予測の実行が簡単であることを示しています。
画像に対して一度推論を実行して、すべてのセグメントresultsを取得した後、推論を再実行せずに、その結果へ複数回プロンプトを適用できます。
from ultralytics.models.fastsam import FastSAMPredictor
# FastSAMPredictorを作成します
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "FastSAM-s.pt", "save": False, "imgsz": 1024}
predictor = FastSAMPredictor(overrides=overrides)
# すべてをセグメンテーションします
everything_results = predictor("ultralytics/assets/bus.jpg")
# プロンプト推論
bbox_results = predictor.prompt(everything_results, bboxes=[[200, 200, 300, 300]])
point_results = predictor.prompt(everything_results, points=[200, 200])
text_results = predictor.prompt(everything_results, texts="a photo of a dog")上記の例で返されるresultsはすべてResultsオブジェクトであり、予測されたマスクと元の画像にアクセスできます。
検証の使用方法#
FastSAMは単一のオブジェクトクラスの検出とセグメンテーションのみをサポートするため、すべてのオブジェクトを同じクラスとして認識し、セグメント化します。データセットを準備する際は、すべてのオブジェクトカテゴリIDを0に変換してください。
データセット上でモデルを検証するには、次のようにします。
from ultralytics import FastSAM
# FastSAMモデルを作成します
model = FastSAM("FastSAM-s.pt") # またはFastSAM-x.pt
# モデルを検証します
results = model.val(data="coco8-seg.yaml")トラッキングの使用方法#
画像上でオブジェクトトラッキングを実行するには、以下のようにtrackメソッドを使用します。
from ultralytics import FastSAM
# FastSAMモデルを作成します
model = FastSAM("FastSAM-s.pt") # またはFastSAM-x.pt
# 動画でFastSAMモデルを使用してトラッキングする
results = model.track(source="path/to/video.mp4", imgsz=640)FastSAMの公式な使用方法#
FastSAMは、CASIA-LMC-Lab/FastSAMリポジトリから直接利用することもできます。FastSAMを使用する一般的な手順を簡単に紹介します。
インストール#
-
FastSAMリポジトリをクローンします。
git clone https://github.com/CASIA-LMC-Lab/FastSAM.git -
Python 3.9でConda環境を作成して有効化します。
conda create -n FastSAM python=3.9 conda activate FastSAM -
クローンしたリポジトリに移動し、必要なパッケージをインストールします。
cd FastSAM pip install -r requirements.txt -
CLIPモデルをインストールします。
pip install git+https://github.com/ultralytics/CLIP.git
使用例#
-
モデルチェックポイントをダウンロードします。
-
推論にFastSAMを使用します。コマンドの例を以下に示します。
-
画像内のすべてのオブジェクトをセグメンテーションします。
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg -
テキストプロンプトを使用して特定のオブジェクトをセグメンテーションします。
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog" -
バウンディングボックス内のオブジェクトをセグメンテーションします(ボックスの座標はxywh形式で指定します)。
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]" -
特定のポイント付近のオブジェクトをセグメンテーションします。
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"
-
さらに、CASIA-LMC-LabのColabデモでFastSAMを試すこともできます。
引用と謝辞#
リアルタイムのインスタンスセグメンテーション分野における多大な貢献に対し、FastSAMの著者に感謝します。
@misc{zhao2023fast,
title={Fast Segment Anything},
author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
year={2023},
eprint={2306.12156},
archivePrefix={arXiv},
primaryClass={cs.CV}
}FastSAMの原著論文はarXivでご覧いただけます。著者は研究成果を公開しており、コードベースはGitHubからアクセスできます。この分野の発展に尽力し、より広いコミュニティが研究成果を利用できるようにしたことに感謝します。
よくある質問#
Fast Segment Anything Modelの略称であるFastSAMは、オブジェクトセグメンテーションタスクで高い性能を維持しながら計算負荷を削減するよう設計された、リアルタイムの畳み込みニューラルネットワーク(CNN)ベースのソリューションです。より大型のTransformerベースのアーキテクチャを使用するSegment Anything Model(SAM)とは異なり、FastSAMはUltralytics YOLOv8-segを使用して、全インスタンスセグメンテーションとプロンプトに基づく選択の2段階で効率的なインスタンスセグメンテーションを行います。
FastSAMは、YOLOv8-segによる全インスタンスセグメンテーションと、プロンプトに基づく選択の2段階にタスクを分けることで、リアルタイムセグメンテーションを実現します。CNNの計算効率を活用することで、競争力のある性能を維持しながら計算負荷とリソース要件を大幅に削減します。この2段階のアプローチにより、迅速な結果が求められる用途に適した、高速で効率的なセグメンテーションを実現します。
FastSAMは、リアルタイムのセグメンテーション性能が求められるさまざまなコンピュータビジョンタスクに実用的です。用途には次のようなものがあります。
- 品質管理と品質保証のための産業オートメーション
- セキュリティと監視のためのリアルタイム動画解析
- 物体検出とセグメンテーションのための自動運転車
- 高精度かつ迅速なセグメンテーションタスクのための医療画像処理
さまざまなユーザー操作プロンプトに対応できるため、FastSAMは多様なシナリオに適応できる柔軟なモデルです。
Pythonで推論にFastSAMを使用するには、次の例を参考にしてください。
from ultralytics import FastSAM # 推論ソースを定義します source = "path/to/bus.jpg" # FastSAMモデルを作成します model = FastSAM("FastSAM-s.pt") # またはFastSAM-x.pt # 画像に対して推論を実行する everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9) # bboxesプロンプトを使用して推論を実行 results = model(source, bboxes=[439, 437, 524, 709]) # ポイントプロンプトを使用して推論を実行します results = model(source, points=[[200, 200]], labels=[1]) # テキストプロンプトを使用して推論を実行します results = model(source, texts="a photo of a dog") # BBox、ポイント、テキストのプロンプトを同時に使用して推論を実行します results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")推論方法の詳細については、ドキュメントのPredictの使用方法セクションをご覧ください。
FastSAMは、セグメンテーションタスクをガイドするために複数の種類のプロンプトをサポートしています。
- すべてを対象とするプロンプト:表示されているすべてのオブジェクトをセグメンテーションします。
- バウンディングボックス(BBox)プロンプト: 指定されたバウンディングボックス内のオブジェクトをセグメント化します。検出されたマスクと重ならないボックスでは、何も選択されません。
- テキストプロンプト:説明に一致するオブジェクトを、説明テキストを使用してセグメンテーションします。
- ポイントプロンプト:ユーザーが指定したポイント付近のオブジェクトをセグメンテーションします。
この柔軟性により、FastSAMは幅広いユーザー操作シナリオに適応し、さまざまな用途での有用性を高めます。これらのプロンプトの使用方法については、主な機能セクションをご覧ください。
コメント26
質問したり、結果を共有したり、ほかの人をサポートしたりできます。
qinfendekaizhou
why is the postprocess times is so long
PrashantDixit0(編集済み)
@qinfendekaizhou, can you share the reproducible code for it? Or the reference from where u noticed this.
In general, post-process time gets increased because of the post-processes involved to show the results, like
- NMS
- filtering by confidence score/ labels
- Scaling results to the original given inputs
- Number of objects to be annotated,
- Type of annotation, like BB or Segmentation
juliopchile
Will someone try to do a FastSAM for SAM2?
shahedmomenzadeh
Hi, I have a question Can I use the generated bbox cordinates by a yolo detection model like yolov11 as bboxes prompt for FastSAM ?
Glenn JocherUltralytics@shahedmomenzadeh yes, you can use YOLO detection model-generated bbox coordinates as prompts for FastSAM. The FastSAM documentation shows examples of passing bbox coordinates directly to the model using either the Python API or CLI. Just ensure your coordinates are in XYXY format as shown in the examples.
ismailwale
How can I make an inference of a video using frame by frame in loop using FastSam ?because I tried multiple times making inference directly with video predictor I constantly running out of memory despite setting stream =True since SAM is trying to keep the memory of 2000 frames of the video at ones . I will appreciate any ideal on how to predict and segment the video as a single frame image at every instance and put everything in a loop.
Similar question win MobileSam
Glenn JocherUltralytics@ismailwale to process a video frame by frame and avoid memory overload with FastSAM or MobileSAM, load the video as a frame sequence using a tool like OpenCV. Loop through each frame, run inference on it individually, and clear any cached results to free up memory between frames. For reference on frame-wise usage, consult OpenCV and FastSAM integration. Let me know if you need further clarifications!
ismailwale
Thanks so much for your guide .I appreciate it sir.
llu025
Thank you all for your great work! I am having troubles with prompting with a bounding box, it seems the FastSAM model ignores it and detects objects all over the video frames. This is how I obtain the results:
results = model( input_filename, device=device, imgsz=(736, 1280), verbose=False, stream=True, bboxes=[0, 0, 360, 640], retina_masks=True, conf=0.4, iou=0.9, )I also tried with
bboxes=[[0, 0, 360, 640]],without success. The model should detect objects in the top left quadrant of the video, instead it detects everywhere. Also, it oddly does not raise any error or warnings, both withbboxesas list of integers orbboxesas list of lists of integers.
Glenn JocherUltralyticsIt seems the bounding box prompts aren't being applied as expected. Ensure the
bboxesformat is correct (e.g.,[[x1, y1, x2, y2]]as a list of lists). Additionally, try using theFastSAMPredictorapproach for more controlled prompt application, as shown in this example. Let me know if the issue persists!llu025
Thank you @glenn-jocher for the "prompt" response ;-)
I need to use
stream=Truesince I am working with large videos. I cannot use it coupled withFastSAMPredictor, because it does not support it. My only alternative is to grab frames on my own with OpenCV, is that correct?By the way, in your examples in here
bboxesis passed as a list of integers, I followed those in the beginning. I see in the examples withFastSAMPredictorthat a list of lists is used instead. In any case, I ensured that I was using a list of lists, and it did not work anyway.Here's a minimal example of what I am trying to do, i.e., detecting objects in the top left part of the video:
from ultralytics import FastSAM import os import ffmpeg input_filename = "test_video.mp4" base_name = os.path.splitext(os.path.basename(input_filename))[0] output_filename = os.path.join("output", f"{base_name}.avi") model = FastSAM("models/FastSAM-x.pt") process2 = ( ffmpeg.input( "pipe:", format="rawvideo", pix_fmt="rgb24", s="1280x720", loglevel="-8", ) .output( output_filename, pix_fmt="yuv420p", vcodec="libx264", loglevel="-8", crf=17, ) .overwrite_output() .run_async(pipe_stdin=True) ) results = model( input_filename, device="cuda", imgsz=(736, 1280), verbose=False, stream=True, bboxes=[[0, 0, 360, 640]], retina_masks=True, conf=0.4, iou=0.9, ) for result in results: frame = result.plot() # Save on disk with process2 process2.stdin.write(frame.tobytes()) process2.stdin.close() process2.wait()
Glenn JocherUltralyticsThank you for the detailed explanation and example. Yes, you're correct—using OpenCV to manually grab frames is a valid and efficient approach, especially when working with
stream=Truefor large videos, as it avoids memory issues. Regardingbboxes, FastSAM expects a list of lists in the format[[x1, y1, x2, y2]]. If this still doesn't work as intended, please ensure your bounding box coordinates are correct and within the frame dimensions. Let us know if you encounter any further issues!llu025
I still encounter the same issue. I used
bboxes=[[20, 20, 500, 500]]just to be 100% sure the coordinates are within the the frame dimensions (1280x720), nothing changed. Since I have to grab frames with OpenCV anyway, I will just crop them myself, but I am quite sure this option is not working as intended.
Glenn JocherUltralytics@llu025 thank you for the update. If you’re certain the
bboxesparameter is properly configured and still not working as intended, cropping frames manually with OpenCV before passing them to the model is indeed a reliable workaround. It may also be worth checking the latest FastSAM updates or reporting this as a potential issue to ensure the bounding box prompt functionality is reviewed. Let us know if you need further assistance!
chongkuiqi
Thanks for your great work! I'm using FastSAM-x with bboxes prompt, the original image shape is [720, 1280], and I set 'imgsz' 1024. However, the results mask shape is [576, 1024], but I remembered in ultralytics-8.2.10, I can get masks with the same shape as the original image. May I ask why this change happened ?
chongkuiqi
Sorry, I forgot to set 'Retina_masks', problem solved, thanks again.
feiwenxiong
how many boxes are supported in thsi api, it cound only segment 2 boxes at most.
Glenn JocherUltralytics@feiwenxiong fastSAM should support multiple boxes. If you're experiencing limitations, please ensure your input format is correct. For further assistance, you might want to check the latest updates or documentation.
YuechengLiu
Thanks the authors for the great work!
I'm using FastSAM-x for instance segmentation (bboxes as the prompt), but I find that the shape of the predicted masks mismatch with the bounding box number. (e.g. the model takes 18 bboxes as input, but the shape of the predicted mask is (17, H, W)) . I tried to set
conf=0.01andiou=0.999, but it doesn't work. How can I solve that? Thanks!
Glenn JocherUltralytics@YuechengLiu thank you for your kind words! The issue you're experiencing might be due to a mismatch in the bounding box prompts and the segmentation results. Please ensure you're using the latest version of the FastSAM model. If the problem persists, consider checking the input format and the bounding box coordinates. For further assistance, you can refer to the FastSAM documentation: https://docs.ultralytics.com/models/fast-sam/.
YuechengLiu
Thanks for your kind reply! The bounding boxes I'm using are predicted by yolov10x (result.boxes.xyxy), so I think the input format might be right. I also tried the same bounding boxes for
mobile_sam, and the output dimension is as expected (same as the input dimension). The problem does not always occur. Do you have any idea about that? Thanks!YuechengLiu
And I'm using the latest version of ultralytics
Glenn JocherUltralyticsThanks for confirming you're using the latest version. Given that the issue is intermittent, it might be related to the specific bounding boxes or the image content. Please try running the model with a different set of bounding boxes or images to see if the issue persists. If it does, consider opening an issue on the GitHub repository with detailed information for further investigation.
nguyenvandang1998
Hi! I am using the FastSAM model and trying to obtain information about the bounding box and mask image of the object, but I don't know how to do it. I hope you can help me. Thank you very much!!
nguyenvandang1998
Currently, I can obtain information about the bounding box, but I still don't know how to get the mask image!!
Glenn JocherUltralytics(編集済み)Hi there! 🙌 To extract both bounding boxes and mask images using the FastSAM model, you would typically work with the
resultsobject returned by the model's prediction method. For the bounding boxes, you can access them directly as shown in the documentation or examples provided. For the mask images, since FastSAM is designed for real-time segmentation, the results should also include segmentation masks corresponding to detected objects.Here's a simplified way to access both:
from ultralytics import FastSAM # Define your image source source = 'path/to/your/image.jpg' # Load the FastSAM model (ensure you've chosen the correct model path) model = FastSAM('FastSAM-s.pt') # or another appropriate model # Perform inference results = model(source) # Accessing bounding boxes (assuming XYXY format) boxes = results[0].boxes.xyxy # Accessing segmentation masks # The masks are directly associated with detected objects in the results masks = results[0].masks # To visualize or further process masks and boxes, you would iterate through these objectsTo visualize or save the masks, you'd typically iterate over the
masksobject, and each mask can be processed according to your requirements (e.g., overlaying on the original image or saving as separate mask images).Remember, the exact attribute names (
boxes,masks) and methods might vary based on the model output specification, so it's always good to refer to the specific documentation or example codes for guidance.Hope this helps! Let us know if you have more questions. 😊
2