SAM 3: Phân đoạn mọi thứ bằng khái niệm#

SAM 3 (Mô hình phân đoạn mọi thứ 3) là model nền tảng do Meta phát hành cho Phân đoạn khái niệm bằng prompt (PCS). Được xây dựng dựa trên SAM 2, SAM 3 giới thiệu một khả năng hoàn toàn mới: phát hiện, phân đoạn và theo dõi tất cả các thể hiện của một khái niệm thị giác được xác định bằng prompt văn bản, ảnh mẫu hoặc cả hai. Khác với các phiên bản SAM trước đây, vốn chỉ phân đoạn một đối tượng cho mỗi prompt, SAM 3 có thể tìm và phân đoạn mọi lần xuất hiện của một khái niệm ở bất kỳ đâu trong ảnh hoặc video, phù hợp với mục tiêu từ vựng mở trong phân đoạn thể hiện hiện đại.

SAM 3 được tích hợp hoàn toàn vào package ultralytics, cung cấp hỗ trợ gốc cho phân đoạn khái niệm bằng prompt văn bản, prompt ảnh mẫu và theo dõi video. Checkpoint SAM 3.1 mới hơn được hỗ trợ cho dự đoán trên ảnh.

Tổng quan#

SAM 3 đạt mức tăng hiệu năng 2× so với các hệ thống hiện có trong tác vụ Phân đoạn khái niệm bằng prompt, đồng thời duy trì và cải thiện các khả năng phân đoạn thị giác tương tác của SAM 2 phân đoạn thị giác. Model vượt trội trong phân đoạn từ vựng mở, cho phép người dùng chỉ định khái niệm bằng các cụm danh từ đơn giản (ví dụ: "xe buýt trường học màu vàng", "mèo vằn") hoặc cung cấp ảnh mẫu của đối tượng mục tiêu. Các khả năng này bổ trợ cho những pipeline sẵn sàng đưa vào production, dựa trên quy trình dự đoán và theo dõi được tinh gọn.

Phân đoạn khái niệm bằng prompt (PCS) là gì?#

Tác vụ PCS nhận prompt khái niệm làm đầu vào và trả về các mask phân đoạn có định danh riêng cho tất cả các thể hiện đối tượng phù hợp. Prompt khái niệm có thể là:

• Văn bản: Các cụm danh từ đơn giản như "quả táo đỏ" hoặc "người đội mũ", tương tự như học zero-shot
• Ảnh mẫu: Các bounding box bao quanh đối tượng mẫu (dương tính hoặc âm tính) để khái quát hóa nhanh
• Kết hợp: Văn bản và ảnh mẫu cùng lúc để kiểm soát chính xác

Cách này khác với các prompt thị giác truyền thống (điểm, box, mask), vốn chỉ phân đoạn một thể hiện đối tượng cụ thể duy nhất, như được phổ biến bởi họ SAM gốc.

Các chỉ số hiệu năng chính#

Để hiểu thêm về các chỉ số và đánh đổi của model trong môi trường production, hãy xem phân tích đánh giá model và chỉ số hiệu năng YOLO.

SAM 3.1#

SAM 3.1, được Meta phát hành ngày 27 tháng 3 năm 2026, là checkpoint SAM 3 mới bổ sung Object Multiplex, một phương pháp dùng bộ nhớ chia sẻ để theo dõi nhiều đối tượng trong video. Thay vì xử lý riêng từng đối tượng được theo dõi, SAM 3.1 nhóm các đối tượng vào các bucket có dung lượng cố định và xử lý chúng cùng nhau; Meta cho biết cách này tăng tốc ~7× khi xử lý 128 đối tượng trên một GPU H100. Detector ảnh và head tương tác dùng prompt điểm vẫn giữ nguyên kiến trúc SAM 3.

Ultralytics tải checkpoint SAM 3.1 (sam3.1_multiplex.pt) vào các bộ dự đoán ảnh SAM 3: SAM("sam3.1_multiplex.pt") cho prompt điểm và box, và SAM3SemanticPredictor cho prompt văn bản và ảnh mẫu. Hiện chưa hỗ trợ theo dõi video Object Multiplex, vì vậy hãy tiếp tục sử dụng sam3.pt cùng với SAM3VideoPredictor và SAM3VideoSemanticPredictor.

Kiến trúc#

SAM 3 gồm một detector và một tracker dùng chung backbone thị giác Perception Encoder (PE). Thiết kế tách rời này tránh xung đột giữa các tác vụ, đồng thời hỗ trợ cả phát hiện ở cấp ảnh và theo dõi ở cấp video, với giao diện tương thích với cách sử dụng Python và CLI của Ultralytics.

Các thành phần cốt lõi#

• Detector: Kiến trúc dựa trên DETR để phát hiện khái niệm ở cấp ảnh

  • Text encoder cho prompt cụm danh từ
  • Exemplar encoder cho prompt dựa trên ảnh
  • Fusion encoder để điều kiện hóa đặc trưng ảnh theo prompt
  • Presence head mới giúp tách biệt nhận diện ("là gì") khỏi định vị ("ở đâu")
  • Mask head để tạo mask phân đoạn thể hiện

• Tracker: Phân đoạn video dựa trên bộ nhớ, kế thừa từ SAM 2

  • Prompt encoder, mask decoder, memory encoder
  • Memory bank để lưu trữ diện mạo đối tượng qua các frame
  • Phân giải mơ hồ theo thời gian được hỗ trợ bởi các kỹ thuật như bộ lọc Kalman trong các tình huống có nhiều đối tượng

• Presence Token: Một token toàn cục được học để dự đoán liệu khái niệm mục tiêu có xuất hiện trong ảnh/frame hay không, qua đó cải thiện khả năng phát hiện bằng cách tách biệt nhận diện khỏi định vị.

Đổi mới then chốt#

1. Tách biệt nhận diện và định vị: Head dự đoán sự hiện diện của concept trên toàn cục, trong khi các truy vấn đề xuất chỉ tập trung vào định vị, tránh các mục tiêu xung đột.
2. Thống nhất concept và prompt trực quan: Hỗ trợ cả PCS (prompt concept) và PVS (prompt trực quan như thao tác nhấp/khung của SAM 2) trong cùng một model.
3. Tinh chỉnh exemplar tương tác: Người dùng có thể thêm exemplar ảnh dương tính hoặc âm tính để tinh chỉnh kết quả theo cách lặp lại; model khái quát hóa sang các đối tượng tương tự thay vì chỉ sửa từng instance riêng lẻ.
4. Phân giải mơ hồ theo thời gian: Sử dụng điểm phát hiện masklet và việc đặt lại prompt định kỳ để xử lý hiện tượng che khuất, cảnh đông đúc và lỗi theo dõi trong video, phù hợp với các phương pháp thực hành tốt nhất về phân đoạn instance và theo dõi.

Dataset SA-Co#

SAM 3 được huấn luyện trên Segment Anything with Concepts (SA-Co), dataset phân đoạn lớn nhất và đa dạng nhất từ trước đến nay của Meta, mở rộng vượt ra ngoài các benchmark phổ biến như COCO và LVIS.

Dữ liệu huấn luyện#

Dữ liệu benchmark#

Benchmark đánh giá SA-Co bao gồm 214K cụm từ duy nhất trên 126K ảnh và video, cung cấp số lượng concept nhiều hơn 50× so với các benchmark hiện có. Benchmark này bao gồm:

• SA-Co/Gold: 7 lĩnh vực, được chú giải ba lần để đo lường giới hạn hiệu suất của con người
• SA-Co/Silver: 10 lĩnh vực, được con người chú giải một lần
• SA-Co/Bronze và SA-Co/Bio: 9 dataset hiện có được điều chỉnh cho phân đoạn concept
• SA-Co/VEval: Benchmark video gồm 3 lĩnh vực (SA-V, YT-Temporal-1B, SmartGlasses)

Đổi mới trong data engine#

Data engine có khả năng mở rộng, kết hợp con người và model trong vòng lặp của SAM 3 đạt thông lượng chú giải cao gấp 2× thông qua:

1. Bộ chú giải AI: Các model dựa trên Llama đề xuất nhiều cụm danh từ đa dạng, bao gồm cả hard negative
2. Bộ xác minh AI: LLM đa phương thức được fine-tune xác minh chất lượng mask và tính toàn diện ở mức hiệu suất gần bằng con người
3. Khai thác chủ động: Tập trung nỗ lực của con người vào các trường hợp lỗi khó mà AI gặp khó khăn
4. Dựa trên ontology: Khai thác ontology quy mô lớn, được xây dựng dựa trên Wikidata, để bao quát các concept

Cài đặt#

Cài đặt hoặc nâng cấp package ultralytics:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Cách sử dụng SAM 3: Tính linh hoạt trong phân đoạn concept#

SAM 3 hỗ trợ cả tác vụ phân đoạn concept có thể prompt (PCS) và phân đoạn trực quan có thể prompt (PVS) thông qua các interface predictor khác nhau:

Các tác vụ và model được hỗ trợ#

Ví dụ phân đoạn concept#

Phân đoạn bằng prompt văn bản#

from ultralytics.models.sam import SAM3SemanticPredictor

# Khởi tạo predictor bằng cấu hình
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Dùng FP16 để suy luận nhanh hơn
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Thiết lập ảnh một lần cho nhiều truy vấn
predictor.set_image("path/to/image.jpg")

# Truy vấn bằng nhiều prompt văn bản
results = predictor(text=["person", "bus", "glasses"])

# Hoạt động với các cụm từ mô tả
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Truy vấn bằng một concept
results = predictor(text=["a person"])

Phân đoạn bằng exemplar ảnh#

from ultralytics.models.sam import SAM3SemanticPredictor

# Khởi tạo predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Thiết lập ảnh
predictor.set_image("path/to/image.jpg")

# Cung cấp các ví dụ bounding box để phân đoạn những đối tượng tương tự
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Nhiều bounding box làm exemplar cho cùng một concept trực quan
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Suy luận dựa trên feature để tăng hiệu quả#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Khởi tạo các predictor
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Trích xuất feature từ predictor thứ nhất
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Thiết lập predictor thứ hai và tái sử dụng feature
predictor2.setup_model()

# Thực hiện suy luận bằng feature dùng chung với prompt văn bản
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Thực hiện suy luận bằng feature dùng chung với prompt bounding box
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Trực quan hóa kết quả
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Phân đoạn concept trong video#

Theo dõi concept xuyên suốt video bằng bounding box#

from ultralytics.models.sam import SAM3VideoPredictor

# Tạo predictor video
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Theo dõi đối tượng bằng prompt bounding box
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Xử lý và hiển thị kết quả
for r in results:
    r.show()  # Hiển thị frame với các mask phân đoạn

Theo dõi concept bằng prompt văn bản#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Khởi tạo predictor video ngữ nghĩa
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Theo dõi concept bằng prompt văn bản
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# # Xử lý kết quả
for r in results:
    r.show()  # Hiển thị frame với các đối tượng được theo dõi

# Cách khác: Theo dõi bằng prompt bounding box
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Nhãn dương tính
    stream=True,
)

Prompt trực quan (tương thích với SAM 2)#

SAM 3 duy trì khả năng tương thích ngược hoàn toàn với tính năng prompt trực quan của SAM 2 để phân đoạn một đối tượng đơn lẻ:

from ultralytics import SAM

model = SAM("sam3.pt")

# Prompt một điểm - phân đoạn đối tượng tại vị trí cụ thể
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Nhiều điểm - phân đoạn một đối tượng bằng nhiều gợi ý điểm
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Prompt hộp - phân đoạn đối tượng bên trong hộp giới hạn
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Đánh giá hiệu năng#

Phân đoạn ảnh#

SAM 3 đạt kết quả tiên tiến nhất trên nhiều benchmark, bao gồm các dataset thực tế như LVIS và COCO cho phân đoạn:

Khám phá các tùy chọn dataset để thử nghiệm nhanh trong dataset của Ultralytics.

Hiệu năng phân đoạn video#

SAM 3 cho thấy mức cải thiện đáng kể so với SAM 2 và các phương pháp tiên tiến nhất trước đây trên những benchmark video như DAVIS 2017 và YouTube-VOS:

Thích ứng few-shot#

SAM 3 thích ứng hiệu quả với các domain mới chỉ bằng một vài ví dụ, hữu ích cho quy trình AI tập trung vào dữ liệu:

Hiệu quả tinh chỉnh tương tác#

Prompt dựa trên khái niệm với các ví dụ mẫu của SAM 3 hội tụ nhanh hơn nhiều so với prompt trực quan:

Độ chính xác đếm đối tượng#

SAM 3 đếm chính xác bằng cách phân đoạn tất cả các instance, một yêu cầu phổ biến trong bài toán đếm đối tượng:

So sánh SAM 3, SAM 2 và YOLO#

Ở đây, chúng tôi so sánh các khả năng của SAM 3 với các model SAM 2 và YOLO26. Để xem khả năng phát hiện và phân đoạn từ vựng mở theo thời gian thực với cùng loại prompt, hãy tham khảo YOLOE:

Tốc độ được benchmark trên NVIDIA RTX PRO 6000 với torch==2.9.1 và ultralytics==8.4.19.

Điểm chính:

• SAM 3: Phù hợp nhất cho phân đoạn khái niệm với từ vựng mở, tìm tất cả instance của một khái niệm bằng prompt văn bản hoặc ví dụ mẫu
• SAM 2: Phù hợp nhất cho phân đoạn tương tác một đối tượng trong ảnh và video bằng prompt hình học
• YOLO26: Phù hợp nhất cho phân đoạn tốc độ cao theo thời gian thực, có tùy chọn suy luận end-to-end không cần NMS, có thể export sang nhiều định dạng để triển khai trên GPU, CPU và thiết bị biên

So sánh SAM với YOLO#

So sánh SAM 3, SAM 2, SAM, MobileSAM và FastSAM với các model phân đoạn Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) về kích thước, số lượng tham số và tốc độ suy luận trên GPU:

So sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ giữa các biến thể SAM và model phân đoạn YOLO. SAM có khả năng phân đoạn tự động độc đáo, nhưng các model YOLO, đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg, nhỏ hơn, nhanh hơn và hiệu quả tính toán hơn đáng kể.

Các bài kiểm thử được chạy trên NVIDIA RTX PRO 6000 với 96GB VRAM, sử dụng torch==2.9.1 và ultralytics==8.4.19. Để tái tạo bài kiểm thử này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Lập hồ sơ SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Lập hồ sơ FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Lập hồ sơ các model YOLO
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS, nms=False)  # Đầu NMS-free của YOLO26; không có tác dụng với YOLOv8/YOLO11

Các chỉ số đánh giá#

SAM 3 giới thiệu các chỉ số mới dành cho tác vụ PCS, bổ sung cho những thước đo quen thuộc như điểm F1, độ chính xác và độ bao phủ.

F1 có xét đến phân loại (CGF1)#

Chỉ số chính kết hợp khả năng định vị và phân loại:

CGF1 = 100 × pmF1 × IL_MCC

Trong đó:

• pmF1 (F1 macro dương): Đo chất lượng định vị trên các mẫu dương tính
• IL_MCC (Hệ số tương quan Matthews cấp ảnh): Đo độ chính xác phân loại nhị phân ("có khái niệm này không?")

Vì sao dùng các chỉ số này?#

Các chỉ số AP truyền thống không tính đến hiệu chuẩn, khiến model khó sử dụng trong thực tế. Bằng cách chỉ đánh giá các dự đoán có độ tin cậy trên 0.5, các chỉ số của SAM 3 thúc đẩy hiệu chuẩn tốt và mô phỏng cách sử dụng trong thực tế ở các vòng lặp dự đoán và theo dõi tương tác.

Các thí nghiệm loại bỏ thành phần và thông tin chuyên sâu chính#

Tác động của nhánh nhận diện sự hiện diện#

Nhánh nhận diện sự hiện diện tách biệt khả năng nhận dạng khỏi định vị, mang lại cải thiện đáng kể:

Nhánh nhận diện sự hiện diện giúp CGF1 tăng 5.7 điểm (+9.9%), chủ yếu nhờ cải thiện khả năng nhận dạng (IL_MCC tăng 6.5%).

Tác động của mẫu âm khó#

Mẫu âm khó đóng vai trò thiết yếu trong nhận dạng từ vựng mở, giúp IL_MCC tăng 54.5% (0.44 → 0.68).

Mở rộng quy mô dữ liệu huấn luyện#

Chú thích do con người tạo có chất lượng cao mang lại mức cải thiện lớn so với chỉ sử dụng dữ liệu tổng hợp hoặc dữ liệu bên ngoài. Để tìm hiểu về các phương pháp đảm bảo chất lượng dữ liệu, xem thu thập và chú thích dữ liệu.

Ứng dụng#

Khả năng phân đoạn khái niệm của SAM 3 mở ra các trường hợp sử dụng mới:

• Kiểm duyệt nội dung: Tìm tất cả các trường hợp thuộc loại nội dung cụ thể trong thư viện media
• Thương mại điện tử: Phân đoạn tất cả sản phẩm thuộc một loại nhất định trong ảnh danh mục, hỗ trợ tự động chú thích
• Chẩn đoán hình ảnh y khoa: Xác định mọi trường hợp xuất hiện của loại mô hoặc bất thường cụ thể
• Hệ thống tự hành: Theo dõi mọi biển báo giao thông, người đi bộ hoặc phương tiện theo danh mục
• Phân tích video: Đếm và theo dõi tất cả người mặc trang phục cụ thể hoặc thực hiện hành động nhất định
• Chú thích bộ dữ liệu: Nhanh chóng chú thích mọi trường hợp thuộc các danh mục đối tượng hiếm
• Nghiên cứu khoa học: Định lượng và phân tích tất cả mẫu vật đáp ứng các tiêu chí cụ thể

SAM 3 Agent: Suy luận ngôn ngữ mở rộng#

Có thể kết hợp SAM 3 với các mô hình ngôn ngữ lớn đa phương thức (MLLMs) để xử lý các truy vấn phức tạp đòi hỏi suy luận, tương tự như các hệ thống từ vựng mở như OWLv2 và T-Rex.

Hiệu năng trên các tác vụ suy luận#

Ví dụ về truy vấn phức tạp#

SAM 3 Agent có thể xử lý các truy vấn đòi hỏi suy luận:

• "Những người đang ngồi nhưng không cầm hộp quà trên tay"
• "Con chó gần máy ảnh nhất và không đeo vòng cổ"
• "Các vật thể màu đỏ lớn hơn bàn tay của người đó"

MLLM đề xuất các truy vấn cụm danh từ đơn giản cho SAM 3, phân tích các mask được trả về và lặp lại cho đến khi đạt yêu cầu.

Hạn chế#

Dù là một bước tiến lớn, SAM 3 vẫn có một số hạn chế:

• Độ phức tạp của cụm từ: Phù hợp nhất với các cụm danh từ đơn giản; biểu thức quy chiếu dài hoặc suy luận phức tạp có thể cần tích hợp MLLM
• Xử lý sự mơ hồ: Một số khái niệm vốn dĩ vẫn mơ hồ (ví dụ: "cửa sổ nhỏ", "căn phòng ấm cúng")
• Yêu cầu tính toán: Lớn hơn và chậm hơn các model phát hiện chuyên biệt như YOLO
• Phạm vi từ vựng: Tập trung vào các khái niệm thị giác đơn lẻ; khả năng suy luận tổ hợp bị hạn chế nếu không có MLLM hỗ trợ
• Khái niệm hiếm: Hiệu năng có thể suy giảm với các khái niệm cực hiếm hoặc chi tiết mà dữ liệu huấn luyện không đại diện đầy đủ

Trích dẫn#

@misc{carion2025sam3,
  title         = {SAM 3: Segment Anything with Concepts},
  author        = {Nicolas Carion and Laura Gustafson and Yuan-Ting Hu and Shoubhik Debnath and Ronghang Hu and Didac Suris and Chaitanya Ryali and Kalyan Vasudev Alwala and Haitham Khedr and Andrew Huang and Jie Lei and Tengyu Ma and Baishan Guo and Arpit Kalla and Markus Marks and Joseph Greer and Meng Wang and Peize Sun and Roman R{\"a}dle and Triantafyllos Afouras and Effrosyni Mavroudi and Katherine Xu and Tsung-Han Wu and Yu Zhou and Liliane Momeni and Rishi Hazra and Shuangrui Ding and Sagar Vaze and Francois Porcher and Feng Li and Siyuan Li and Aishwarya Kamath and Ho Kei Cheng and Piotr Doll{\'a}r and Nikhila Ravi and Kate Saenko and Pengchuan Zhang and Christoph Feichtenhofer},
  year          = {2025},
  eprint        = {2511.16719},
  archivePrefix = {arXiv},
  primaryClass  = {cs.CV},
  url           = {https://arxiv.org/abs/2511.16719}
}

Câu hỏi thường gặp#