Быстрая модель Segment Anything (FastSAM)
Модель «Быстрая сегментация всего» (FastSAM) — это решение на основе CNN для сегментации в реальном времени. Задача состоит в сегментации любого объекта на изображении с помощью различных запросов, задаваемых пользователем. FastSAM значительно снижает вычислительные затраты, сохраняя конкурентоспособные результаты, поэтому модель подходит для решения множества задач компьютерного зрения.
Смотри: Трекинг объектов с FastSAM с помощью Ultralytics
Архитектура модели#

Обзор#
FastSAM разработана для устранения ограничений модели «Сегментация всего» (SAM) — ресурсоёмкой модели на основе Transformer, требующей значительных вычислительных ресурсов. FastSAM разделяет задачу сегментации всего на два последовательных этапа: сегментацию всех экземпляров объектов и выбор объектов по запросу. На первом этапе YOLOv8-seg создает маски сегментации для всех экземпляров на изображении. На втором этапе модель выделяет область интереса, соответствующую запросу.
Основные особенности#
-
Решение для работы в реальном времени: Благодаря высокой вычислительной эффективности CNN FastSAM обеспечивает обработку в реальном времени для задачи сегментации всего. Это делает модель полезной для промышленных приложений, где важно быстро получать результаты.
-
Эффективность и производительность: FastSAM значительно снижает вычислительные затраты и требования к ресурсам, обеспечивая результаты, сопоставимые с SAM, и поддерживая приложения реального времени.
-
Сегментация по запросу: FastSAM может сегментировать любой объект на изображении по различным запросам пользователя, обеспечивая гибкость и адаптивность в разных сценариях.
-
На основе YOLOv8-seg: FastSAM основана на YOLOv8-seg — детекторе объектов с ветвью сегментации экземпляров. Благодаря этому модель эффективно создает маски сегментации для всех экземпляров объектов на изображении.
-
Конкурентные результаты на бенчмарках: В задаче генерации объектных предложений на MS COCO FastSAM показывает высокие результаты и значительно превосходит SAM по скорости работы на одном NVIDIA RTX 3090, демонстрируя свою эффективность и возможности.
-
Практическое применение: Этот подход предлагает практичное решение для множества задач компьютерного зрения и работает в десятки и даже сотни раз быстрее предыдущих методов сегментации всего.
-
Возможность сжатия модели: FastSAM демонстрирует, что можно существенно снизить вычислительные затраты, введя в структуру искусственное априорное знание. Это открывает новые возможности для создания архитектур крупных моделей для общих задач компьютерного зрения.
Доступные модели, поддерживаемые задачи и режимы работы#
В этой таблице представлены доступные модели, соответствующие им предварительно обученные веса, поддерживаемые задачи и совместимость с различными режимами работы: обучением, валидацией, инференсом и экспортом. Поддерживаемые режимы отмечены ✅, а неподдерживаемые — ❌.
| Тип модели | Предобученные веса | Поддерживаемые задачи | Обучение | Валидация | Инференс | Экспорт |
|---|---|---|---|---|---|---|
| FastSAM-s | FastSAM-s.pt | Сегментация экземпляров | ❌ | ✅ | ✅ | ✅ |
| FastSAM-x | FastSAM-x.pt | Сегментация экземпляров | ❌ | ✅ | ✅ | ✅ |
Сравнение FastSAM и YOLO#
Здесь мы сравниваем FastSAM-s с вариантами SAM от Meta и моделями сегментации Ultralytics, включая YOLO26:
| Модель | Размер (МБ) | Параметры (M) | Скорость (CPU) (мс/изобр.) |
|---|---|---|---|
| Meta SAM-b | 375 | 93.7 | 41703 |
| Meta SAM2-b | 162 | 80.8 | 28867 |
| Meta SAM2-t | 78.1 | 38.9 | 23430 |
| MobileSAM | 40.7 | 10.1 | 23802 |
| FastSAM-s с базовой сетью YOLOv8 | 23.9 | 11.8 | 58.0 |
| Ultralytics YOLOv8n-seg | 7.1 (в 11.0 раз меньше) | 3.4 (в 11.4 раза меньше) | 24.8 (в 945 раз быстрее) |
| Ultralytics YOLO11n-seg | 6.2 (в 12.6 раза меньше) | 2.9 (в 13.4 раза меньше) | 24.3 (в 964 раза быстрее) |
| Ultralytics YOLO26n-seg | 6.7 (в 11.7 раза меньше) | 2.7 (в 14.4 раза меньше) | 25.2 (в 930 раз быстрее) |
Это сравнение показывает существенные различия в размере и скорости моделей вариантов SAM и моделей сегментации YOLO. Хотя SAM предоставляет уникальные возможности автоматической сегментации, модели YOLO, особенно YOLOv8n-seg, YOLO11n-seg и YOLO26n-seg, значительно компактнее, быстрее и эффективнее используют вычислительные ресурсы.
Скорость SAM измерялась с помощью PyTorch, скорость YOLO — с помощью ONNX Runtime. Тесты проводились на Apple M4 Air 2025 года с 16 ГБ оперативной памяти с использованием torch==2.10.0, ultralytics==8.4.31 и onnxruntime==1.24.4. Чтобы воспроизвести этот тест:
from ultralytics import ASSETS, SAM, YOLO, FastSAM
# Профилировать SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
model = SAM(file)
model.info()
model(ASSETS)
# Профилирование FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)
# Профилировать модели YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
model = YOLO(file_name)
model.info()
onnx_path = model.export(format="onnx", dynamic=True, nms=False) # Голова YOLO26 без NMS; ничего не делает для YOLOv8/YOLO11
model = YOLO(onnx_path)
model(ASSETS)Примеры использования#
Модели FastSAM легко интегрировать в приложения на Python. Ultralytics предоставляет API для Python и команды CLI.
Использование для предсказаний#
Чтобы сегментировать изображение, используй метод predict, как показано ниже:
from ultralytics import FastSAM
# Задать источник для инференса
source = "path/to/bus.jpg"
# Создать модель FastSAM
model = FastSAM("FastSAM-s.pt") # или FastSAM-x.pt
# Запустить инференс на изображении
everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9)
# Выполнить инференс с подсказкой в виде bboxes
results = model(source, bboxes=[439, 437, 524, 709])
# Запустить инференс с подсказкой-точкой
results = model(source, points=[[200, 200]], labels=[1])
# Запустить инференс с текстовыми подсказками
results = model(source, texts="a photo of a dog")
# Запустить инференс одновременно с bbox, точками и текстовыми подсказками
results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")Этот фрагмент показывает, как просто загрузить предварительно обученную модель и выполнить предсказание для изображения.
Один раз запусти инференс на изображении, чтобы получить все объекты сегментации results, а затем несколько раз применяй запросы к этим результатам, не запуская инференс повторно.
from ultralytics.models.fastsam import FastSAMPredictor
# Создать FastSAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "FastSAM-s.pt", "save": False, "imgsz": 1024}
predictor = FastSAMPredictor(overrides=overrides)
# Сегментировать всё
everything_results = predictor("ultralytics/assets/bus.jpg")
# Инференс по подсказке
bbox_results = predictor.prompt(everything_results, bboxes=[[200, 200, 300, 300]])
point_results = predictor.prompt(everything_results, points=[200, 200])
text_results = predictor.prompt(everything_results, texts="a photo of a dog")Все объекты results, возвращаемые в примерах выше, — это объекты Results, которые предоставляют доступ к предсказанным маскам и исходному изображению.
Использование для валидации#
FastSAM поддерживает обнаружение и сегментацию объектов только одного класса, поэтому все объекты распознаются и сегментируются как объекты одного класса. При подготовке датасета преобразуй идентификаторы категорий всех объектов в 0.
Валидацию модели на наборе данных можно выполнить следующим образом:
from ultralytics import FastSAM
# Создать модель FastSAM
model = FastSAM("FastSAM-s.pt") # или FastSAM-x.pt
# Валидировать модель
results = model.val(data="coco8-seg.yaml")Отслеживание объектов#
Чтобы отслеживать объекты на изображении, используй метод track, как показано ниже:
from ultralytics import FastSAM
# Создать модель FastSAM
model = FastSAM("FastSAM-s.pt") # или FastSAM-x.pt
# Отслеживание объектов в видео с помощью модели FastSAM
results = model.track(source="path/to/video.mp4", imgsz=640)Официальное руководство по использованию FastSAM#
FastSAM также доступна непосредственно в репозитории CASIA-LMC-Lab/FastSAM. Ниже кратко описаны типичные шаги по использованию FastSAM:
Установка#
-
Клонируй репозиторий FastSAM:
git clone https://github.com/CASIA-LMC-Lab/FastSAM.git -
Создай и активируй среду Conda с Python 3.9:
conda create -n FastSAM python=3.9 conda activate FastSAM -
Перейди в клонированный репозиторий и установи необходимые пакеты:
cd FastSAM pip install -r requirements.txt -
Установи модель CLIP:
pip install git+https://github.com/ultralytics/CLIP.git
Пример использования#
-
Скачай чекпойнт модели.
-
Используй FastSAM для инференса. Примеры команд:
-
Сегментируй все объекты на изображении:
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg -
Сегментируй определённые объекты с помощью текстового запроса:
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --text_prompt "the yellow dog" -
Сегментируй объекты внутри ограничивающей рамки (укажи координаты рамки в формате xywh):
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --box_prompt "[570,200,230,400]" -
Сегментируй объекты рядом с заданными точками:
python Inference.py --model_path ./weights/FastSAM.pt --img_path ./images/dogs.jpg --point_prompt "[[520,360],[620,300]]" --point_label "[1,0]"
-
Кроме того, можешь попробовать FastSAM в демонстрации Colab от CASIA-LMC-Lab.
Цитирование и благодарности#
Мы хотели бы отметить значительный вклад авторов FastSAM в развитие сегментации экземпляров в реальном времени:
@misc{zhao2023fast,
title={Fast Segment Anything},
author={Xu Zhao and Wenchao Ding and Yongqi An and Yinglong Du and Tao Yu and Min Li and Ming Tang and Jinqiao Wang},
year={2023},
eprint={2306.12156},
archivePrefix={arXiv},
primaryClass={cs.CV}
}Оригинальная статья о FastSAM доступна на arXiv. Авторы опубликовали свою работу в открытом доступе, а исходный код можно найти на GitHub. Мы ценим их усилия по развитию этой области и предоставлению своей работы широкому сообществу.
Часто задаваемые вопросы#
FastSAM (сокращение от Fast Segment Anything Model — «Быстрая сегментация всего») — это решение на основе свёрточной нейронной сети (CNN) для сегментации объектов в реальном времени, разработанное для снижения вычислительных затрат без потери высокой производительности. В отличие от модели «Сегментация всего» (SAM), использующей более ресурсоёмкую архитектуру на основе Transformer, FastSAM использует Ultralytics YOLOv8-seg для эффективной сегментации экземпляров в два этапа: сегментация всех экземпляров с последующим выбором объектов по запросу.
FastSAM выполняет сегментацию в реальном времени, разделяя задачу на два этапа: сегментацию всех экземпляров с помощью YOLOv8-seg и выбор объектов по запросу. Используя вычислительную эффективность CNN, FastSAM значительно снижает вычислительные затраты и требования к ресурсам, сохраняя конкурентоспособные результаты. Благодаря этому двухэтапному подходу FastSAM обеспечивает быструю и эффективную сегментацию для приложений, которым важно оперативно получать результаты.
FastSAM подходит для множества задач компьютерного зрения, требующих сегментации в реальном времени. Например:
- Промышленная автоматизация для контроля и обеспечения качества
- Анализ видео в реальном времени для обеспечения безопасности и видеонаблюдения
- Автономные транспортные средства для обнаружения и сегментации объектов
- Обработка медицинских изображений для точной и быстрой сегментации
Благодаря поддержке различных пользовательских запросов FastSAM можно гибко адаптировать к разным сценариям.
Чтобы выполнить инференс с помощью FastSAM в Python, воспользуйся примером ниже:
from ultralytics import FastSAM # Задать источник для инференса source = "path/to/bus.jpg" # Создать модель FastSAM model = FastSAM("FastSAM-s.pt") # или FastSAM-x.pt # Запустить инференс на изображении everything_results = model(source, device="cpu", retina_masks=True, imgsz=1024, conf=0.4, iou=0.9) # Выполнить инференс с подсказкой в виде bboxes results = model(source, bboxes=[439, 437, 524, 709]) # Запустить инференс с подсказкой-точкой results = model(source, points=[[200, 200]], labels=[1]) # Запустить инференс с текстовыми подсказками results = model(source, texts="a photo of a dog") # Запустить инференс одновременно с bbox, точками и текстовыми подсказками results = model(source, bboxes=[439, 437, 524, 709], points=[[200, 200]], labels=[1], texts="a photo of a dog")Подробнее о методах инференса см. в разделе документации Использование режима Predict.
FastSAM поддерживает несколько типов запросов для управления сегментацией:
- Запрос «Все объекты»: сегментирует все видимые объекты.
- Запрос ограничивающей рамки (BBox): Сегментирует объекты внутри заданной ограничивающей рамки. Рамка, не пересекающая ни одну обнаруженную маску, ничего не выбирает.
- Текстовый запрос: использует текстовое описание, чтобы сегментировать соответствующие ему объекты.
- Запрос «Точка»: сегментирует объекты рядом с точками, заданными пользователем.
Благодаря такой гибкости FastSAM подходит для самых разных сценариев взаимодействия с пользователем и находит применение в различных задачах. Подробнее об использовании запросов см. в разделе Основные возможности.
Комментарии26
Задай вопрос, поделись результатами или помоги кому-нибудь.
qinfendekaizhou
why is the postprocess times is so long
PrashantDixit0(изменено)
@qinfendekaizhou, can you share the reproducible code for it? Or the reference from where u noticed this.
In general, post-process time gets increased because of the post-processes involved to show the results, like
- NMS
- filtering by confidence score/ labels
- Scaling results to the original given inputs
- Number of objects to be annotated,
- Type of annotation, like BB or Segmentation
juliopchile
Will someone try to do a FastSAM for SAM2?
shahedmomenzadeh
Hi, I have a question Can I use the generated bbox cordinates by a yolo detection model like yolov11 as bboxes prompt for FastSAM ?
Glenn JocherUltralytics@shahedmomenzadeh yes, you can use YOLO detection model-generated bbox coordinates as prompts for FastSAM. The FastSAM documentation shows examples of passing bbox coordinates directly to the model using either the Python API or CLI. Just ensure your coordinates are in XYXY format as shown in the examples.
ismailwale
How can I make an inference of a video using frame by frame in loop using FastSam ?because I tried multiple times making inference directly with video predictor I constantly running out of memory despite setting stream =True since SAM is trying to keep the memory of 2000 frames of the video at ones . I will appreciate any ideal on how to predict and segment the video as a single frame image at every instance and put everything in a loop.
Similar question win MobileSam
Glenn JocherUltralytics@ismailwale to process a video frame by frame and avoid memory overload with FastSAM or MobileSAM, load the video as a frame sequence using a tool like OpenCV. Loop through each frame, run inference on it individually, and clear any cached results to free up memory between frames. For reference on frame-wise usage, consult OpenCV and FastSAM integration. Let me know if you need further clarifications!
ismailwale
Thanks so much for your guide .I appreciate it sir.
llu025
Thank you all for your great work! I am having troubles with prompting with a bounding box, it seems the FastSAM model ignores it and detects objects all over the video frames. This is how I obtain the results:
results = model( input_filename, device=device, imgsz=(736, 1280), verbose=False, stream=True, bboxes=[0, 0, 360, 640], retina_masks=True, conf=0.4, iou=0.9, )I also tried with
bboxes=[[0, 0, 360, 640]],without success. The model should detect objects in the top left quadrant of the video, instead it detects everywhere. Also, it oddly does not raise any error or warnings, both withbboxesas list of integers orbboxesas list of lists of integers.
Glenn JocherUltralyticsIt seems the bounding box prompts aren't being applied as expected. Ensure the
bboxesformat is correct (e.g.,[[x1, y1, x2, y2]]as a list of lists). Additionally, try using theFastSAMPredictorapproach for more controlled prompt application, as shown in this example. Let me know if the issue persists!llu025
Thank you @glenn-jocher for the "prompt" response ;-)
I need to use
stream=Truesince I am working with large videos. I cannot use it coupled withFastSAMPredictor, because it does not support it. My only alternative is to grab frames on my own with OpenCV, is that correct?By the way, in your examples in here
bboxesis passed as a list of integers, I followed those in the beginning. I see in the examples withFastSAMPredictorthat a list of lists is used instead. In any case, I ensured that I was using a list of lists, and it did not work anyway.Here's a minimal example of what I am trying to do, i.e., detecting objects in the top left part of the video:
from ultralytics import FastSAM import os import ffmpeg input_filename = "test_video.mp4" base_name = os.path.splitext(os.path.basename(input_filename))[0] output_filename = os.path.join("output", f"{base_name}.avi") model = FastSAM("models/FastSAM-x.pt") process2 = ( ffmpeg.input( "pipe:", format="rawvideo", pix_fmt="rgb24", s="1280x720", loglevel="-8", ) .output( output_filename, pix_fmt="yuv420p", vcodec="libx264", loglevel="-8", crf=17, ) .overwrite_output() .run_async(pipe_stdin=True) ) results = model( input_filename, device="cuda", imgsz=(736, 1280), verbose=False, stream=True, bboxes=[[0, 0, 360, 640]], retina_masks=True, conf=0.4, iou=0.9, ) for result in results: frame = result.plot() # Save on disk with process2 process2.stdin.write(frame.tobytes()) process2.stdin.close() process2.wait()
Glenn JocherUltralyticsThank you for the detailed explanation and example. Yes, you're correct—using OpenCV to manually grab frames is a valid and efficient approach, especially when working with
stream=Truefor large videos, as it avoids memory issues. Regardingbboxes, FastSAM expects a list of lists in the format[[x1, y1, x2, y2]]. If this still doesn't work as intended, please ensure your bounding box coordinates are correct and within the frame dimensions. Let us know if you encounter any further issues!llu025
I still encounter the same issue. I used
bboxes=[[20, 20, 500, 500]]just to be 100% sure the coordinates are within the the frame dimensions (1280x720), nothing changed. Since I have to grab frames with OpenCV anyway, I will just crop them myself, but I am quite sure this option is not working as intended.
Glenn JocherUltralytics@llu025 thank you for the update. If you’re certain the
bboxesparameter is properly configured and still not working as intended, cropping frames manually with OpenCV before passing them to the model is indeed a reliable workaround. It may also be worth checking the latest FastSAM updates or reporting this as a potential issue to ensure the bounding box prompt functionality is reviewed. Let us know if you need further assistance!
chongkuiqi
Thanks for your great work! I'm using FastSAM-x with bboxes prompt, the original image shape is [720, 1280], and I set 'imgsz' 1024. However, the results mask shape is [576, 1024], but I remembered in ultralytics-8.2.10, I can get masks with the same shape as the original image. May I ask why this change happened ?
chongkuiqi
Sorry, I forgot to set 'Retina_masks', problem solved, thanks again.
feiwenxiong
how many boxes are supported in thsi api, it cound only segment 2 boxes at most.
Glenn JocherUltralytics@feiwenxiong fastSAM should support multiple boxes. If you're experiencing limitations, please ensure your input format is correct. For further assistance, you might want to check the latest updates or documentation.
YuechengLiu
Thanks the authors for the great work!
I'm using FastSAM-x for instance segmentation (bboxes as the prompt), but I find that the shape of the predicted masks mismatch with the bounding box number. (e.g. the model takes 18 bboxes as input, but the shape of the predicted mask is (17, H, W)) . I tried to set
conf=0.01andiou=0.999, but it doesn't work. How can I solve that? Thanks!
Glenn JocherUltralytics@YuechengLiu thank you for your kind words! The issue you're experiencing might be due to a mismatch in the bounding box prompts and the segmentation results. Please ensure you're using the latest version of the FastSAM model. If the problem persists, consider checking the input format and the bounding box coordinates. For further assistance, you can refer to the FastSAM documentation: https://docs.ultralytics.com/models/fast-sam/.
YuechengLiu
Thanks for your kind reply! The bounding boxes I'm using are predicted by yolov10x (result.boxes.xyxy), so I think the input format might be right. I also tried the same bounding boxes for
mobile_sam, and the output dimension is as expected (same as the input dimension). The problem does not always occur. Do you have any idea about that? Thanks!YuechengLiu
And I'm using the latest version of ultralytics
Glenn JocherUltralyticsThanks for confirming you're using the latest version. Given that the issue is intermittent, it might be related to the specific bounding boxes or the image content. Please try running the model with a different set of bounding boxes or images to see if the issue persists. If it does, consider opening an issue on the GitHub repository with detailed information for further investigation.
nguyenvandang1998
Hi! I am using the FastSAM model and trying to obtain information about the bounding box and mask image of the object, but I don't know how to do it. I hope you can help me. Thank you very much!!
nguyenvandang1998
Currently, I can obtain information about the bounding box, but I still don't know how to get the mask image!!
Glenn JocherUltralytics(изменено)Hi there! 🙌 To extract both bounding boxes and mask images using the FastSAM model, you would typically work with the
resultsobject returned by the model's prediction method. For the bounding boxes, you can access them directly as shown in the documentation or examples provided. For the mask images, since FastSAM is designed for real-time segmentation, the results should also include segmentation masks corresponding to detected objects.Here's a simplified way to access both:
from ultralytics import FastSAM # Define your image source source = 'path/to/your/image.jpg' # Load the FastSAM model (ensure you've chosen the correct model path) model = FastSAM('FastSAM-s.pt') # or another appropriate model # Perform inference results = model(source) # Accessing bounding boxes (assuming XYXY format) boxes = results[0].boxes.xyxy # Accessing segmentation masks # The masks are directly associated with detected objects in the results masks = results[0].masks # To visualize or further process masks and boxes, you would iterate through these objectsTo visualize or save the masks, you'd typically iterate over the
masksobject, and each mask can be processed according to your requirements (e.g., overlaying on the original image or saving as separate mask images).Remember, the exact attribute names (
boxes,masks) and methods might vary based on the model output specification, so it's always good to refer to the specific documentation or example codes for guidance.Hope this helps! Let us know if you have more questions. 😊
2