SAM 3: Phân đoạn mọi thứ với các khái niệm (Segment Anything with Concepts)#

SAM 3 (Segment Anything Model 3) là mô hình nền tảng do Meta phát hành cho Phân đoạn Khái niệm Có thể Nhắc (PCS). Dựa trên nền tảng của SAM 2, SAM 3 giới thiệu một khả năng hoàn toàn mới: phát hiện, phân đoạn và theo dõi tất cả các thể hiện của một khái niệm trực quan được chỉ định bằng các câu lệnh văn bản, mẫu hình ảnh hoặc cả hai. Không giống như các phiên bản SAM trước đây chỉ phân đoạn các đối tượng đơn lẻ cho mỗi câu lệnh, SAM 3 có thể tìm và phân đoạn mọi lần xuất hiện của một khái niệm xuất hiện ở bất kỳ đâu trong hình ảnh hoặc video, phù hợp với các mục tiêu từ vựng mở trong phân đoạn cá thể hiện đại.

SAM 3 nay đã được tích hợp hoàn toàn vào gói ultralytics, cung cấp hỗ trợ gốc cho việc phân đoạn khái niệm bằng các câu lệnh văn bản, câu lệnh mẫu hình ảnh và khả năng theo dõi video.

Tổng quan#

SAM 3 đạt được mức tăng hiệu suất gấp 2 lần so với các hệ thống hiện có trong Phân đoạn Khái niệm Có thể Nhắc trong khi vẫn duy trì và cải thiện các tính năng của SAM 2 cho phân đoạn trực quan tương tác. Mô hình này xuất sắc trong việc phân đoạn từ vựng mở, cho phép người dùng chỉ định các khái niệm bằng các cụm danh từ đơn giản (ví dụ: "xe buýt trường học màu vàng", "mèo có sọc") hoặc bằng cách cung cấp hình ảnh ví dụ của đối tượng mục tiêu. Những khả năng này bổ sung cho các đường ống sẵn sàng cho sản xuất dựa trên các quy trình dự đoán và theo dõi được hợp lý hóa.

Phân đoạn Khái niệm có thể nhắc (PCS) là gì?#

Tác vụ PCS lấy một gợi ý khái niệm làm đầu vào và trả về các mặt nạ phân đoạn với định danh duy nhất cho tất cả các thực thể đối tượng khớp. Các gợi ý khái niệm có thể là:

• Văn bản: Các cụm danh từ đơn giản như "táo đỏ" hoặc "người đội mũ", tương tự như học không mẫu
• Mẫu hình ảnh: Các khung bao (bounding box) xung quanh các đối tượng ví dụ (tích cực hoặc tiêu cực) để tổng quát hóa nhanh
• Kết hợp: Cả văn bản và mẫu hình ảnh cùng nhau để kiểm soát chính xác

Điều này khác với các câu lệnh trực quan truyền thống (điểm, hộp, mặt nạ) vốn chỉ phân đoạn một thể hiện đối tượng cụ thể duy nhất, theo xu hướng phổ biến của họ SAM ban đầu.

Các chỉ số hiệu suất chính#

Để có ngữ cảnh về các số liệu mô hình và sự đánh đổi trong quá trình sản xuất, hãy xem thông tin chi tiết về đánh giá mô hình và các số liệu hiệu suất của YOLO.

Kiến trúc#

SAM 3 bao gồm một trình phát hiện và trình theo dõi chia sẻ chung một mạng xương sống thị giác Perception Encoder (PE). Thiết kế tách rời này giúp tránh xung đột tác vụ đồng thời cho phép cả phát hiện cấp độ hình ảnh và theo dõi cấp độ video, với một giao diện tương thích với cách sử dụng Python và cách sử dụng CLI của Ultralytics.

Các thành phần cốt lõi#

• Trình phát hiện: Kiến trúc dựa trên DETR để phát hiện khái niệm ở cấp độ hình ảnh

  • Bộ mã hóa văn bản cho các gợi ý cụm danh từ
  • Bộ mã hóa mẫu cho các gợi ý dựa trên hình ảnh
  • Bộ mã hóa hợp nhất để điều kiện hóa các đặc trưng hình ảnh dựa trên gợi ý
  • Presence head mới giúp tách biệt nhận dạng ("cái gì") khỏi định vị ("ở đâu")
  • Mask head để tạo các mặt nạ phân đoạn thực thể

• Trình theo dõi: Phân đoạn video dựa trên bộ nhớ được kế thừa từ SAM 2

  • Bộ mã hóa gợi ý, bộ giải mã mặt nạ, bộ mã hóa bộ nhớ
  • Ngân hàng bộ nhớ để lưu trữ ngoại hình đối tượng qua các khung hình
  • Khử mập mờ thời gian được hỗ trợ bởi các kỹ thuật như bộ lọc Kalman trong các cài đặt nhiều đối tượng

• Presence Token: Một token toàn cầu đã học giúp dự đoán liệu khái niệm mục tiêu có xuất hiện trong hình ảnh/khung hình hay không, cải thiện khả năng phát hiện bằng cách tách biệt nhận dạng khỏi định vị.

Những cải tiến chính#

1. Nhận dạng và Định vị Tách biệt: Presence head dự đoán sự hiện diện của khái niệm trên toàn cầu, trong khi các truy vấn đề xuất chỉ tập trung vào định vị, tránh các mục tiêu xung đột.
2. Gợi ý Khái niệm và Hình ảnh Hợp nhất: Hỗ trợ cả PCS (gợi ý khái niệm) và PVS (gợi ý trực quan như các cú nhấp chuột/hộp của SAM 2) trong một mô hình duy nhất.
3. Tinh chỉnh Mẫu Tương tác: Người dùng có thể thêm các mẫu hình ảnh tích cực hoặc tiêu cực để tinh chỉnh kết quả một cách lặp đi lặp lại, với việc mô hình tổng quát hóa sang các đối tượng tương tự thay vì chỉ sửa từng thực thể riêng lẻ.
4. Khử Mập mờ Thời gian: Sử dụng điểm số phát hiện masklet và việc nhắc lại định kỳ để xử lý các hiện tượng che khuất, cảnh đông đúc và lỗi theo dõi trong video, phù hợp với các thực tiễn tốt nhất về phân đoạn và theo dõi cá thể.

Tập dữ liệu SA-Co#

SAM 3 được huấn luyện trên Segment Anything with Concepts (SA-Co), tập dữ liệu phân đoạn lớn nhất và đa dạng nhất của Meta cho đến nay, mở rộng vượt ra ngoài các điểm chuẩn phổ biến như COCO và LVIS.

Dữ liệu huấn luyện#

Dữ liệu điểm chuẩn#

Điểm chuẩn đánh giá SA-Co chứa 214 nghìn cụm từ duy nhất trên 126 nghìn hình ảnh và video, cung cấp hơn 50 lần số lượng khái niệm so với các điểm chuẩn hiện có. Nó bao gồm:

• SA-Co/Gold: 7 miền, được chú thích ba lần để đo lường giới hạn hiệu suất của con người
• SA-Co/Silver: 10 miền, một chú thích của con người
• SA-Co/Bronze và SA-Co/Bio: 9 tập dữ liệu hiện có được điều chỉnh cho phân đoạn khái niệm
• SA-Co/VEval: Điểm chuẩn video với 3 miền (SA-V, YT-Temporal-1B, SmartGlasses)

Những cải tiến của công cụ dữ liệu#

Công cụ dữ liệu có sự tham gia của con người và mô hình có khả năng mở rộng của SAM 3 đạt được thông lượng chú thích gấp 2 lần thông qua:

1. Trình chú thích AI: Các mô hình dựa trên Llama đề xuất các cụm danh từ đa dạng bao gồm các trường hợp âm tính khó
2. Trình xác minh AI: Các LLM đa phương thức được tinh chỉnh xác minh chất lượng mặt nạ và tính đầy đủ ở mức độ gần bằng con người
3. Khai thác chủ động (Active Mining): Tập trung nỗ lực của con người vào các trường hợp thất bại đầy thách thức nơi AI gặp khó khăn
4. Dựa trên hệ thống phân loại: Tận dụng một hệ thống phân loại lớn được neo giữ trong Wikidata để bao phủ khái niệm

Cài đặt#

SAM 3 khả dụng trong Ultralytics phiên bản 8.3.237 trở lên. Cài đặt hoặc nâng cấp bằng:

pip install -U ultralytics

pip uninstall clip -y
pip install git+https://github.com/ultralytics/CLIP.git

Cách sử dụng SAM 3: Sự linh hoạt trong phân đoạn khái niệm#

SAM 3 hỗ trợ cả tác vụ Phân đoạn Khái niệm có thể nhắc (PCS) và Phân đoạn Trực quan có thể nhắc (PVS) thông qua các giao diện dự đoán khác nhau:

Các tác vụ và mô hình được hỗ trợ#

Ví dụ về phân đoạn khái niệm#

Phân đoạn với gợi ý văn bản#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor with configuration
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "model": "sam3.pt",
    "quantize": 16,  # Use FP16 for faster inference
    "save": True,
}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image once for multiple queries
predictor.set_image("path/to/image.jpg")

# Query with multiple text prompts
results = predictor(text=["person", "bus", "glasses"])

# Works with descriptive phrases
results = predictor(text=["person with red cloth", "person with blue cloth"])

# Query with a single concept
results = predictor(text=["a person"])

Phân đoạn bằng ảnh mẫu#

from ultralytics.models.sam import SAM3SemanticPredictor

# Initialize predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16, "save": True}
predictor = SAM3SemanticPredictor(overrides=overrides)

# Set image
predictor.set_image("path/to/image.jpg")

# Provide bounding box examples to segment similar objects
results = predictor(bboxes=[[480.0, 290.0, 590.0, 650.0]])

# Multiple bounding boxes as exemplars of the same visual concept
results = predictor(bboxes=[[539, 599, 589, 639], [343, 267, 499, 662]])

Suy luận dựa trên đặc trưng để tối ưu hiệu suất#

import cv2

from ultralytics.models.sam import SAM3SemanticPredictor
from ultralytics.utils.plotting import Annotator, colors

# Initialize predictors
overrides = {"conf": 0.50, "task": "segment", "mode": "predict", "model": "sam3.pt", "verbose": False}
predictor = SAM3SemanticPredictor(overrides=overrides)
predictor2 = SAM3SemanticPredictor(overrides=overrides)

# Extract features from the first predictor
source = "path/to/image.jpg"
predictor.set_image(source)
src_shape = cv2.imread(source).shape[:2]

# Setup second predictor and reuse features
predictor2.setup_model()

# Perform inference using shared features with text prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, text=["person"])

# Perform inference using shared features with bounding box prompt
masks, boxes = predictor2.inference_features(predictor.features, src_shape=src_shape, bboxes=[[439, 437, 524, 709]])

# Visualize results
if masks is not None:
    masks, boxes = masks.cpu().numpy(), boxes.cpu().numpy()
    im = cv2.imread(source)
    annotator = Annotator(im, pil=False)
    annotator.masks(masks, [colors(x, True) for x in range(len(masks))])

    cv2.imshow("result", annotator.result())
    cv2.waitKey(0)

Phân đoạn khái niệm trong video#

Theo dõi các khái niệm xuyên suốt video bằng bounding box#

from ultralytics.models.sam import SAM3VideoPredictor

# Create video predictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "model": "sam3.pt", "quantize": 16}
predictor = SAM3VideoPredictor(overrides=overrides)

# Track objects using bounding box prompts
results = predictor(source="path/to/video.mp4", bboxes=[[706.5, 442.5, 905.25, 555], [598, 635, 725, 750]], stream=True)

# Process and display results
for r in results:
    r.show()  # Display frame with segmentation masks

Theo dõi các khái niệm với câu lệnh văn bản#

from ultralytics.models.sam import SAM3VideoSemanticPredictor

# Initialize semantic video predictor
overrides = {
    "conf": 0.25,
    "task": "segment",
    "mode": "predict",
    "imgsz": 640,
    "model": "sam3.pt",
    "quantize": 16,
    "save": True,
}
predictor = SAM3VideoSemanticPredictor(overrides=overrides)

# Track concepts using text prompts
results = predictor(source="path/to/video.mp4", text=["person", "bicycle"], stream=True)

# Process results
for r in results:
    r.show()  # Display frame with tracked objects

# Alternative: Track with bounding box prompts
results = predictor(
    source="path/to/video.mp4",
    bboxes=[[864, 383, 975, 620], [705, 229, 782, 402]],
    labels=[1, 1],  # Positive labels
    stream=True,
)

Các câu lệnh trực quan (Khả năng tương thích SAM 2)#

SAM 3 duy trì khả năng tương thích ngược hoàn toàn với các câu lệnh trực quan của SAM 2 cho việc phân đoạn đơn đối tượng:

from ultralytics import SAM

model = SAM("sam3.pt")

# Single point prompt - segments object at specific location
results = model.predict(source="path/to/image.jpg", points=[900, 370], labels=[1])
results[0].show()

# Multiple points - segments single object with multiple point hints
results = model.predict(source="path/to/image.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Box prompt - segments object within bounding box
results = model.predict(source="path/to/image.jpg", bboxes=[100, 150, 300, 400])
results[0].show()

Điểm chuẩn hiệu năng#

Phân đoạn ảnh#

SAM 3 đạt được kết quả tiên tiến trên nhiều điểm chuẩn, bao gồm các tập dữ liệu trong thế giới thực như LVIS và COCO cho phân đoạn:

Khám phá các tùy chọn tập dữ liệu để thử nghiệm nhanh trong tập dữ liệu Ultralytics.

Hiệu suất phân đoạn video#

SAM 3 cho thấy những cải tiến đáng kể so với SAM 2 và các tiêu chuẩn tiên tiến trước đây trên các điểm chuẩn video như DAVIS 2017 và YouTube-VOS:

Thích ứng Few-Shot#

SAM 3 xuất sắc trong việc thích ứng với các miền mới với các ví dụ tối thiểu, có liên quan cho các quy trình AI hướng dữ liệu:

Hiệu quả tinh chỉnh tương tác#

Việc sử dụng câu lệnh dựa trên khái niệm của SAM 3 với các mẫu hội tụ nhanh hơn nhiều so với câu lệnh trực quan:

Độ chính xác đếm đối tượng#

SAM 3 cung cấp khả năng đếm chính xác bằng cách phân đoạn tất cả các thể hiện, một yêu cầu phổ biến trong đếm đối tượng:

So sánh SAM 3, SAM 2 và YOLO#

Dưới đây chúng tôi so sánh các khả năng của SAM 3 với các mô hình SAM 2 và YOLO26. Để phát hiện và phân đoạn theo từ vựng mở thời gian thực từ các loại prompt tương tự, hãy xem YOLOE:

Tốc độ được đo điểm chuẩn trên NVIDIA RTX PRO 6000 với torch==2.9.1 và ultralytics==8.4.19.

Điểm chính:

• SAM 3: Tốt nhất cho phân đoạn khái niệm từ vựng mở, tìm tất cả các thực thể của một khái niệm bằng văn bản hoặc gợi ý mẫu
• SAM 2: Tốt nhất cho phân đoạn tương tác một đối tượng trong hình ảnh và video với gợi ý hình học
• YOLO26: Tốt nhất cho việc phân đoạn thời gian thực, tốc độ cao với suy luận đầu cuối không cần NMS, có thể xuất sang nhiều định dạng để triển khai trên GPU, CPU và thiết bị biên

So sánh SAM với YOLO#

So sánh SAM 3, SAM 2, SAM, MobileSAM và FastSAM với các model phân đoạn Ultralytics YOLO (YOLOv8, YOLO11, YOLO26) về kích thước, tham số và tốc độ suy luận GPU:

So sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ model giữa các biến thể SAM và các model phân đoạn YOLO. Trong khi SAM cung cấp các khả năng phân đoạn tự động độc đáo, các model YOLO, đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg, nhỏ hơn, nhanh hơn và hiệu quả tính toán hơn đáng kể.

Các bài kiểm tra chạy trên NVIDIA RTX PRO 6000 với 96GB VRAM sử dụng torch==2.9.1 và ultralytics==8.4.19. Để tái tạo bài kiểm tra này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM3, SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt", "sam3.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    model(ASSETS)

Số liệu đánh giá#

SAM 3 giới thiệu các số liệu mới được thiết kế cho tác vụ PCS, bổ sung cho các thước đo quen thuộc như điểm F1, độ chính xác và độ thu hồi.

Classification-Gated F1 (CGF1)#

Số liệu chính kết hợp giữa bản địa hóa và phân loại:

CGF1 = 100 × pmF1 × IL_MCC

Trong đó:

• pmF1 (Positive Macro F1): Đo lường chất lượng bản địa hóa trên các ví dụ dương tính
• IL_MCC (Image-Level Matthews Correlation Coefficient): Đo lường độ chính xác phân loại nhị phân ("khái niệm có hiện diện không?")

Tại sao lại là những số liệu này?#

Các số liệu AP truyền thống không tính đến việc hiệu chuẩn, khiến cho các mô hình khó sử dụng trong thực tế. Bằng cách chỉ đánh giá các dự đoán có độ tin cậy trên 0.5, các số liệu của SAM 3 thực thi việc hiệu chuẩn tốt và mô phỏng các mẫu sử dụng trong thế giới thực trong các vòng lặp dự đoán và theo dõi tương tác.

Các điểm loại bỏ và thông tin chi tiết chính#

Tác động của Presence Head#

Presence head tách biệt việc nhận diện khỏi bản địa hóa, mang lại những cải tiến đáng kể:

Presence head cung cấp tăng 5.7 CGF1 (+9.9%), cải thiện chính khả năng nhận diện (IL_MCC +6.5%).

Tác động của Hard Negatives#

Các ví dụ phủ định khó (hard negatives) rất quan trọng đối với khả năng nhận diện theo từ vựng mở, giúp cải thiện IL_MCC lên 54.5% (0.44 → 0.68).

Mở rộng quy mô dữ liệu huấn luyện#

Các chú thích của con người chất lượng cao mang lại lợi ích lớn so với dữ liệu tổng hợp hoặc dữ liệu bên ngoài đơn thuần. Để biết thông tin nền tảng về các thực tiễn chất lượng dữ liệu, hãy xem thu thập và chú thích dữ liệu.

Ứng dụng#

Khả năng phân đoạn theo khái niệm của SAM 3 cho phép áp dụng các trường hợp sử dụng mới:

• Kiểm duyệt nội dung: Tìm tất cả các trường hợp của loại nội dung cụ thể trên các thư viện phương tiện
• Thương mại điện tử: Phân đoạn tất cả các sản phẩm thuộc một loại nhất định trong hình ảnh danh mục, hỗ trợ tự động chú thích
• Hình ảnh y tế: Xác định tất cả các trường hợp xảy ra của các loại mô hoặc bất thường cụ thể
• Hệ thống tự hành: Theo dõi tất cả các trường hợp của biển báo giao thông, người đi bộ hoặc phương tiện theo danh mục
• Phân tích video: Đếm và theo dõi tất cả những người đang mặc quần áo cụ thể hoặc thực hiện hành động
• Chú thích tập dữ liệu: Nhanh chóng chú thích tất cả các thể hiện của các loại đối tượng hiếm
• Nghiên cứu khoa học: Định lượng và phân tích tất cả các mẫu phù hợp với các tiêu chí cụ thể

SAM 3 Agent: Khả năng suy luận ngôn ngữ mở rộng#

SAM 3 có thể được kết hợp với các Mô hình Ngôn ngữ Lớn Đa phương thức (MLLMs) để xử lý các truy vấn phức tạp đòi hỏi lý luận, có nét tương đồng về mặt tinh thần với các hệ thống từ vựng mở như OWLv2 và T-Rex.

Hiệu suất trên các tác vụ suy luận#

Ví dụ về các truy vấn phức tạp#

SAM 3 Agent có thể xử lý các truy vấn đòi hỏi suy luận:

• "Những người đang ngồi nhưng không cầm hộp quà trên tay"
• "Con chó gần máy ảnh nhất mà không đeo vòng cổ"
• "Các vật thể màu đỏ lớn hơn bàn tay của người đó"

MLLM đề xuất các truy vấn cụm danh từ đơn giản cho SAM 3, phân tích các mask được trả về và lặp lại cho đến khi hài lòng.

Hạn chế#

Mặc dù SAM 3 đại diện cho một bước tiến lớn, nhưng nó vẫn có những hạn chế nhất định:

• Độ phức tạp của cụm từ: Phù hợp nhất với các cụm danh từ đơn giản; các biểu thức tham chiếu dài hoặc suy luận phức tạp có thể yêu cầu tích hợp MLLM
• Xử lý sự mơ hồ: Một số khái niệm vẫn vốn dĩ mơ hồ (ví dụ: "cửa sổ nhỏ", "căn phòng ấm cúng")
• Yêu cầu tính toán: Lớn hơn và chậm hơn so với các mô hình phát hiện chuyên specialized như YOLO
• Phạm vi từ vựng: Tập trung vào các khái niệm hình ảnh nguyên tử; suy luận thành phần bị hạn chế nếu không có sự hỗ trợ của MLLM
• Khái niệm hiếm: Hiệu suất có thể giảm đối với các khái niệm cực kỳ hiếm hoặc có độ chi tiết cao không được thể hiện rõ trong dữ liệu huấn luyện

Trích dẫn#

@inproceedings{sam3_2025,
  title     = {SAM 3: Segment Anything with Concepts},
  author    = {Anonymous authors},
  booktitle = {Submitted to ICLR 2026},
  year      = {2025},
  url       = {https://openreview.net/forum?id=r35clVtGzw},
  note      = {Paper ID: 4183, under double-blind review}
}

Câu hỏi thường gặp#