SAM 3: Phân đoạn mọi thứ bằng concept#

SAM 3 (Mô hình phân đoạn mọi thứ 3) là foundation model do Meta phát hành cho Promptable Concept Segmentation (PCS). Phát triển trên nền tảng SAM 2, SAM 3 giới thiệu một khả năng hoàn toàn mới: phát hiện, phân đoạn và tracking tất cả các instance của một concept thị giác được chỉ định bằng text prompt, exemplar hình ảnh hoặc cả hai. Khác với các phiên bản SAM trước đây chỉ phân đoạn một object cho mỗi prompt, SAM 3 có thể tìm và phân đoạn mọi lần xuất hiện của một concept ở bất kỳ vị trí nào trong hình ảnh hoặc video, phù hợp với các mục tiêu open-vocabulary trong instance segmentation hiện đại.

SAM 3 được tích hợp hoàn toàn vào gói ultralytics, cung cấp khả năng hỗ trợ nguyên bản cho phân đoạn khái niệm bằng các prompt dạng văn bản, prompt mẫu hình ảnh và theo dõi video. Điểm kiểm tra SAM 3.1 mới hơn được hỗ trợ cho việc dự đoán hình ảnh.

Tổng quan#

SAM 3 đạt hiệu năng cao hơn 2× so với các hệ thống hiện có trong Promptable Concept Segmentation, đồng thời duy trì và cải thiện các khả năng của SAM 2 cho visual segmentation tương tác. Model này nổi bật trong phân đoạn open-vocabulary, cho phép người dùng chỉ định concept bằng các cụm danh từ đơn giản (ví dụ: "xe buýt trường học màu vàng", "mèo vằn") hoặc cung cấp hình ảnh mẫu của object mục tiêu. Các khả năng này bổ trợ cho những pipeline sẵn sàng cho production, dựa trên các workflow predict và track được tinh gọn.

Promptable Concept Segmentation (PCS) là gì?#

Task PCS nhận đầu vào là một concept prompt và trả về các segmentation mask với identity duy nhất cho tất cả instance object khớp. Concept prompt có thể là:

• Text: Các cụm danh từ đơn giản như "quả táo đỏ" hoặc "người đội mũ", tương tự zero-shot learning
• Exemplar hình ảnh: Các bounding box xung quanh object mẫu (positive hoặc negative) để tổng quát hóa nhanh
• Kết hợp: Đồng thời sử dụng text và exemplar hình ảnh để kiểm soát chính xác

Điều này khác với các visual prompt truyền thống (point, box, mask), vốn chỉ phân đoạn một instance object cụ thể duy nhất, như được phổ biến bởi họ SAM ban đầu.

Các chỉ số hiệu năng chính#

Để tìm hiểu về các metric của model và sự đánh đổi trong production, hãy xem insight về đánh giá model và metric hiệu năng YOLO.

SAM 3.1#

SAM 3.1, được Meta phát hành vào ngày 27 tháng 3 năm 2026, là một điểm kiểm tra SAM 3 mới bổ sung Object Multiplex, một cách tiếp cận bộ nhớ chia sẻ để theo dõi video đa đối tượng. Thay vì xử lý độc lập từng đối tượng được theo dõi, SAM 3.1 nhóm các đối tượng vào các thùng có dung lượng cố định và xử lý chúng cùng nhau, điều mà Meta báo cáo là tốc độ tăng khoảng ~7× ở 128 đối tượng trên một GPU H100 duy nhất. Trình phát hiện hình ảnh và phần đầu prompt điểm tương tác giữ nguyên kiến trúc SAM 3.

Ultralytics tải điểm kiểm tra SAM 3.1 (sam3.1_multiplex.pt) vào các trình dự đoán hình ảnh SAM 3: SAM("sam3.1_multiplex.pt") cho các prompt điểm và hộp, và SAM3SemanticPredictor cho các prompt văn bản và mẫu. Theo dõi video Object Multiplex chưa được hỗ trợ, vì vậy hãy tiếp tục sử dụng sam3.pt với SAM3VideoPredictor và SAM3VideoSemanticPredictor.

Kiến trúc#

SAM 3 gồm một detector và tracker, cùng chia sẻ backbone thị giác Perception Encoder (PE). Thiết kế tách rời này tránh xung đột giữa các task, đồng thời hỗ trợ cả detection cấp độ hình ảnh và tracking cấp độ video, với interface tương thích với cách sử dụng Python và cách sử dụng CLI của Ultralytics.

Các thành phần cốt lõi#

• Detector: Kiến trúc dựa trên DETR cho detection concept ở cấp độ hình ảnh

  • Text encoder cho các prompt dạng cụm danh từ
  • Exemplar encoder cho các prompt dựa trên hình ảnh
  • Fusion encoder để điều kiện hóa các đặc trưng hình ảnh theo prompt
  • Presence head mới, tách recognition ("what") khỏi localization ("where")
  • Mask head để tạo segmentation mask cho instance

• Tracker: Video segmentation dựa trên memory, kế thừa từ SAM 2

  • Prompt encoder, mask decoder, memory encoder
  • Memory bank để lưu trữ diện mạo của object qua các frame
  • Disambiguation theo thời gian được hỗ trợ bởi các kỹ thuật như bộ lọc Kalman trong các bối cảnh multi-object

• Presence Token: Global token được học để dự đoán concept mục tiêu có hiện diện trong hình ảnh/frame hay không, cải thiện detection bằng cách tách recognition khỏi localization.

Các cải tiến chính#

1. Tách biệt Recognition và Localization: Presence head dự đoán sự hiện diện của concept trên toàn cục, trong khi các proposal query chỉ tập trung vào localization, tránh các mục tiêu xung đột.
2. Prompt Concept và Visual thống nhất: Hỗ trợ cả PCS (concept prompt) và PVS (visual prompt như click/box của SAM 2) trong một model duy nhất.
3. Tinh chỉnh Exemplar tương tác: Người dùng có thể thêm exemplar hình ảnh positive hoặc negative để tinh chỉnh kết quả lặp lại, trong đó model tổng quát hóa sang các object tương tự thay vì chỉ sửa từng instance riêng lẻ.
4. Disambiguation theo thời gian: Sử dụng điểm detection của masklet và re-prompt định kỳ để xử lý hiện tượng che khuất, cảnh đông đúc và lỗi tracking trong video, phù hợp với các best practice về instance segmentation và tracking.

Dataset SA-Co#

SAM 3 được huấn luyện trên Segment Anything with Concepts (SA-Co), dataset segmentation lớn nhất và đa dạng nhất của Meta cho đến nay, mở rộng vượt ra ngoài các benchmark phổ biến như COCO và LVIS.

Dữ liệu huấn luyện#

Dữ liệu benchmark#

Benchmark đánh giá SA-Co chứa 214K phrase duy nhất trên 126K hình ảnh và video, cung cấp số lượng concept nhiều hơn 50× so với các benchmark hiện có. Benchmark bao gồm:

• SA-Co/Gold: 7 lĩnh vực, được gán nhãn ba lần để đo cận hiệu năng của con người
• SA-Co/Silver: 10 lĩnh vực, một lần gán nhãn bởi con người
• SA-Co/Bronze và SA-Co/Bio: 9 dataset hiện có được điều chỉnh cho phân đoạn concept
• SA-Co/VEval: Benchmark video với 3 lĩnh vực (SA-V, YT-Temporal-1B, SmartGlasses)

Các cải tiến của Data Engine#

Data engine có human-in-the-loop và model-in-the-loop với khả năng mở rộng của SAM 3 đạt throughput annotation cao hơn 2× thông qua:

1. AI Annotators: Các model dựa trên Llama đề xuất nhiều cụm danh từ đa dạng, bao gồm cả hard negative
2. AI Verifiers: Multimodal LLM được fine-tune xác minh chất lượng và tính đầy đủ của mask với hiệu năng gần bằng con người
3. Active Mining: Tập trung nỗ lực của con người vào các case lỗi khó, nơi AI gặp khó khăn
4. Dựa trên Ontology: Tận dụng ontology lớn được xây dựng trên nền tảng Wikidata để bao phủ concept

Cài đặt#

Cài đặt hoặc nâng cấp gói ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Cách sử dụng SAM 3: Tính linh hoạt trong phân đoạn concept#

SAM 3 hỗ trợ cả task Promptable Concept Segmentation (PCS) và Promptable Visual Segmentation (PVS) thông qua các interface predictor khác nhau:

Các task và model được hỗ trợ#

Ví dụ về phân đoạn khái niệm#

Phân đoạn bằng prompt văn bản#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Phân đoạn bằng exemplar hình ảnh#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Inference dựa trên feature để tăng hiệu quả#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Phân đoạn khái niệm trong video#

Theo dõi khái niệm trong video bằng bounding box#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Theo dõi khái niệm bằng prompt văn bản#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Prompt trực quan (tương thích với SAM 2)#

SAM 3 duy trì khả năng tương thích ngược đầy đủ với tính năng prompting trực quan của SAM 2 để phân đoạn một đối tượng:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Benchmark hiệu năng#

Phân đoạn hình ảnh#

SAM 3 đạt kết quả tiên tiến nhất trên nhiều benchmark, bao gồm các dataset thực tế như LVIS và COCO cho phân đoạn:

Khám phá các tùy chọn dataset để nhanh chóng thử nghiệm trong các dataset của Ultralytics.

Hiệu năng phân đoạn video#

SAM 3 cho thấy mức cải thiện đáng kể so với SAM 2 và các mô hình tiên tiến nhất trước đây trên các benchmark video như DAVIS 2017 và YouTube-VOS:

Thích ứng few-shot#

SAM 3 nổi bật trong việc thích ứng với các domain mới chỉ bằng một số lượng tối thiểu ví dụ, phù hợp với các workflow AI lấy dữ liệu làm trung tâm:

Hiệu quả tinh chỉnh tương tác#

Prompt dựa trên khái niệm của SAM 3 với exemplar hội tụ nhanh hơn nhiều so với prompting trực quan:

Độ chính xác đếm đối tượng#

SAM 3 cung cấp khả năng đếm chính xác bằng cách phân đoạn tất cả các instance, một yêu cầu phổ biến trong bài toán đếm đối tượng:

So sánh SAM 3 với SAM 2 và YOLO#

Tại đây, chúng ta so sánh các khả năng của SAM 3 với các model SAM 2 và YOLO26. Để phát hiện và phân đoạn open-vocabulary theo thời gian thực từ cùng các dạng prompt, hãy xem YOLOE:

Tốc độ được benchmark trên NVIDIA RTX PRO 6000 với torch==2.9.1 và ultralytics==8.4.19.

Điểm chính:

• SAM 3: Phù hợp nhất cho phân đoạn concept với vocabulary mở, tìm tất cả instance của một concept bằng prompt dạng text hoặc exemplar
• SAM 2: Phù hợp nhất cho phân đoạn tương tác một đối tượng trong ảnh và video bằng prompt hình học
• YOLO26: Tốt nhất cho việc phân đoạn thời gian thực, tốc độ cao với suy luận đầu-cuối không cần NMS tùy chọn, có thể xuất sang nhiều định dạng để triển khai trên GPU, CPU và thiết bị biên

So sánh SAM với YOLO#

So sánh SAM 3, SAM 2, SAM, MobileSAM và FastSAM với các model phân đoạn Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) về kích thước, số lượng tham số và tốc độ inference trên GPU:

So sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ model giữa các biến thể SAM và các model phân đoạn YOLO. Mặc dù SAM cung cấp khả năng phân đoạn tự động độc đáo, các model YOLO, đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg, nhỏ hơn, nhanh hơn và hiệu quả tính toán cao hơn đáng kể.

Các phép thử được chạy trên NVIDIA RTX PRO 6000 với 96GB VRAM bằng torch==2.9.1 và ultralytics==8.4.19. Để tái tạo phép thử này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11

Các metric đánh giá#

SAM 3 giới thiệu các metric mới được thiết kế cho tác vụ PCS, bổ sung cho những thước đo quen thuộc như F1 score, precision và recall.

F1 có điều kiện theo phân loại (CGF1)#

Metric chính kết hợp localization và classification:

CGF1 = 100 × pmF1 × IL_MCC

Trong đó:

• pmF1 (F1 macro dương): Đo chất lượng localization trên các ví dụ dương
• IL_MCC (Hệ số tương quan Matthews cấp ảnh): Đo độ chính xác phân loại nhị phân ("concept có hiện diện không?")

Tại sao cần các metric này?#

Các metric AP truyền thống không tính đến calibration, khiến model khó sử dụng trong thực tế. Bằng cách chỉ đánh giá các prediction có confidence trên 0.5, các metric của SAM 3 đảm bảo calibration tốt và mô phỏng các pattern sử dụng trong thực tế ở các vòng lặp predict và track tương tác.

Các ablation và insight chính#

Ảnh hưởng của presence head#

Presence head tách recognition khỏi localization, mang lại những cải thiện đáng kể:

Presence head mang lại mức tăng 5.7 CGF1 (+9.9%), chủ yếu cải thiện khả năng recognition (IL_MCC +6.5%).

Ảnh hưởng của hard negative#

Hard negative rất quan trọng đối với recognition với vocabulary mở, cải thiện IL_MCC 54.5% (0.44 → 0.68).

Scaling dữ liệu huấn luyện#

Các annotation chất lượng cao do con người thực hiện mang lại mức cải thiện lớn so với chỉ sử dụng dữ liệu synthetic hoặc external. Để tìm hiểu cơ sở về các phương pháp đảm bảo chất lượng dữ liệu, hãy xem thu thập và annotation dữ liệu.

Ứng dụng#

Khả năng phân đoạn concept của SAM 3 mở ra các use case mới:

• Kiểm duyệt nội dung: Tìm tất cả instance của các loại nội dung cụ thể trong các thư viện media
• E-commerce: Phân đoạn tất cả sản phẩm thuộc một loại nhất định trong ảnh catalog, hỗ trợ auto-annotation
• Chẩn đoán hình ảnh y tế: Xác định mọi trường hợp xuất hiện của các loại mô hoặc bất thường cụ thể
• Hệ thống tự hành: Theo dõi tất cả instance của biển báo giao thông, người đi bộ hoặc phương tiện theo category
• Phân tích video: Đếm và theo dõi tất cả người mặc loại quần áo cụ thể hoặc thực hiện các hành động cụ thể
• Annotation dataset: Nhanh chóng annotate tất cả instance của các category đối tượng hiếm
• Nghiên cứu khoa học: Định lượng và phân tích tất cả mẫu vật phù hợp với các tiêu chí cụ thể

SAM 3 Agent: Suy luận ngôn ngữ mở rộng#

SAM 3 có thể kết hợp với các mô hình ngôn ngữ lớn đa phương thức (MLLMs) để xử lý các truy vấn phức tạp cần suy luận, tương tự về cách tiếp cận với các hệ thống vocabulary mở như OWLv2 và T-Rex.

Hiệu năng trên các tác vụ suy luận#

Các truy vấn phức tạp mẫu#

SAM 3 Agent có thể xử lý các truy vấn cần suy luận:

• "Những người đang ngồi nhưng không cầm hộp quà trên tay"
• "Con chó gần camera nhất nhưng không đeo vòng cổ"
• "Các vật thể màu đỏ lớn hơn bàn tay của người đó"

MLLM đề xuất các truy vấn cụm danh từ đơn giản cho SAM 3, phân tích các mask được trả về và lặp lại cho đến khi đạt yêu cầu.

Hạn chế#

Mặc dù SAM 3 là một bước tiến lớn, model này vẫn có một số hạn chế nhất định:

• Độ phức tạp của cụm từ: Phù hợp nhất với các cụm danh từ đơn giản; những biểu thức quy chiếu dài hoặc yêu cầu suy luận phức tạp có thể cần tích hợp MLLM
• Xử lý tính mơ hồ: Một số khái niệm vốn dĩ vẫn mơ hồ (ví dụ: "cửa sổ nhỏ", "căn phòng ấm cúng")
• Yêu cầu tính toán: Lớn hơn và chậm hơn các model detection chuyên biệt như YOLO
• Phạm vi từ vựng: Tập trung vào các khái niệm hình ảnh nguyên tử; khả năng suy luận tổ hợp bị hạn chế nếu không có hỗ trợ của MLLM
• Khái niệm hiếm: Hiệu năng có thể giảm đối với các khái niệm cực kỳ hiếm hoặc có mức độ chi tiết cao nhưng không được biểu diễn đầy đủ trong dữ liệu huấn luyện

Trích dẫn#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

FAQ#