Segment Anything Model (SAM)#

Chào mừng bạn đến với biên giới của phân đoạn ảnh với Segment Anything Model, hay SAM. Model mang tính cách mạng này đã thay đổi cuộc chơi bằng cách giới thiệu tính năng phân đoạn ảnh có thể nhắc với hiệu suất thời gian thực, thiết lập các tiêu chuẩn mới trong lĩnh vực này.

Giới thiệu về SAM: Segment Anything Model#

Segment Anything Model, hay SAM, là một model phân đoạn ảnh tiên tiến cho phép phân đoạn theo lời nhắc (promptable segmentation), mang lại sự linh hoạt chưa từng có trong các tác vụ phân tích ảnh. SAM tạo thành trái tim của sáng kiến Segment Anything, một dự án đột phá giới thiệu một model, tác vụ và tập dữ liệu mới cho phân đoạn ảnh.

Thiết kế tiên tiến của SAM cho phép model thích ứng với các phân phối ảnh và tác vụ mới mà không cần kiến thức trước đó, một tính năng được gọi là zero-shot transfer. Được huấn luyện trên tập dữ liệu SA-1B rộng lớn, chứa hơn 1 tỷ mặt nạ trải rộng trên 11 triệu ảnh được tuyển chọn kỹ lưỡng, SAM đã thể hiện hiệu suất zero-shot ấn tượng, vượt qua các kết quả có giám sát đầy đủ trước đó trong nhiều trường hợp.

Ảnh ví dụ SA-1B. Ảnh tập dữ liệu được chồng các mặt nạ từ tập dữ liệu SA-1B mới ra mắt. SA-1B chứa 11 triệu ảnh đa dạng, độ phân giải cao, được cấp phép và bảo vệ quyền riêng tư cùng 1,1 tỷ mặt nạ phân đoạn chất lượng cao. Các mặt nạ này được gán nhãn hoàn toàn tự động bởi SAM, và được xác minh qua đánh giá của con người cũng như nhiều thí nghiệm, mang lại chất lượng và tính đa dạng cao. Ảnh được nhóm theo số lượng mặt nạ trên mỗi ảnh để trực quan hóa (có trung bình ∼100 mặt nạ cho mỗi ảnh).

Các tính năng chính của Segment Anything Model (SAM)#

• Tác vụ phân đoạn có thể nhắc: SAM được thiết kế với tư duy về tác vụ phân đoạn có thể nhắc, cho phép nó tạo ra các mặt nạ phân đoạn hợp lệ từ bất kỳ lời nhắc nào được cung cấp, chẳng hạn như gợi ý không gian hoặc văn bản xác định một đối tượng.
• Kiến trúc tiên tiến: Segment Anything Model sử dụng một bộ mã hóa hình ảnh mạnh mẽ, một bộ mã hóa lời nhắc và một bộ giải mã mặt nạ gọn nhẹ. Kiến trúc độc đáo này cho phép nhắc linh hoạt, tính toán mặt nạ thời gian thực và nhận diện sự mơ hồ trong các tác vụ phân đoạn.
• Tập dữ liệu SA-1B: Được giới thiệu bởi dự án Segment Anything, tập dữ liệu SA-1B có hơn 1 tỷ mặt nạ trên 11 triệu hình ảnh. Là tập dữ liệu phân đoạn lớn nhất cho đến nay, nó cung cấp cho SAM một nguồn dữ liệu huấn luyện quy mô lớn và đa dạng.
• Hiệu suất Zero-Shot: SAM hiển thị hiệu suất zero-shot nổi bật trên các tác vụ phân đoạn khác nhau, biến đây thành một công cụ sẵn sàng sử dụng cho các ứng dụng đa dạng với nhu cầu tối thiểu về kỹ thuật prompt.

Để có cái nhìn chi tiết về Segment Anything Model và tập dữ liệu SA-1B, vui lòng truy cập GitHub Segment Anything và xem bài báo nghiên cứu Segment Anything.

Các model có sẵn, tác vụ được hỗ trợ và chế độ vận hành#

Bảng này trình bày các mô hình khả dụng cùng với trọng số huấn luyện sẵn cụ thể của chúng, các tác vụ mà chúng hỗ trợ và khả năng tương thích của chúng với các chế độ hoạt động khác nhau như Inference, Validation, Training và Export, được biểu thị bằng biểu tượng cảm xúc ✅ cho các chế độ được hỗ trợ và ❌ cho các chế độ không được hỗ trợ.

Cách sử dụng SAM: Sự linh hoạt và sức mạnh trong phân đoạn ảnh#

Segment Anything Model có thể được sử dụng cho vô số tác vụ hạ nguồn vượt ra ngoài dữ liệu huấn luyện của nó. Điều này bao gồm phát hiện biên, tạo đề xuất đối tượng, phân đoạn thể hiện, và dự đoán văn bản thành mặt nạ sơ bộ. Với kỹ thuật prompt, SAM có thể nhanh chóng thích ứng với các tác vụ mới và phân phối dữ liệu theo cách zero-shot, thiết lập model này như một công cụ đa năng và mạnh mẽ cho mọi nhu cầu phân đoạn ảnh của bạn.

Ví dụ về dự đoán SAM#

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference with bboxes prompt
results = model("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Run inference with single point
results = model(points=[900, 370], labels=[1])

# Run inference with multiple points
results = model(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with multiple points prompt per object
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Run inference with negative points prompt
results = model(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

from ultralytics import SAM

# Load a model
model = SAM("sam_b.pt")

# Display model information (optional)
model.info()

# Run inference
model("path/to/image.jpg")

• Logic ở đây là phân đoạn toàn bộ hình ảnh nếu bạn không truyền bất kỳ lời nhắc nào (bbox/điểm/mặt nạ).

import cv2

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Set image
predictor.set_image("ultralytics/assets/zidane.jpg")  # set with image file
predictor.set_image(cv2.imread("ultralytics/assets/zidane.jpg"))  # set with np.ndarray
results = predictor(bboxes=[439, 437, 524, 709])

# Run inference with single point prompt
results = predictor(points=[900, 370], labels=[1])

# Run inference with multiple points prompt
results = predictor(points=[[400, 370], [900, 370]], labels=[1, 1])

# Run inference with negative points prompt
results = predictor(points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

# Reset image
predictor.reset_image()

from ultralytics.models.sam import Predictor as SAMPredictor

# Create SAMPredictor
overrides = {"conf": 0.25, "task": "segment", "mode": "predict", "imgsz": 1024, "model": "mobile_sam.pt"}
predictor = SAMPredictor(overrides=overrides)

# Segment with additional args
results = predictor(source="ultralytics/assets/zidane.jpg", crop_n_layers=1, points_stride=64)

• Để biết thêm các đối số bổ sung cho Segment everything, hãy xem Predictor/generate Reference.

So sánh SAM với YOLO#

Ở đây chúng tôi so sánh model SAM-b của Meta với các model phân đoạn Ultralytics bao gồm YOLO26n-seg:

So sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ model giữa các biến thể SAM và các model phân đoạn YOLO. Trong khi SAM cung cấp các khả năng phân đoạn tự động độc đáo, các model YOLO, đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg, nhỏ hơn, nhanh hơn và hiệu quả tính toán hơn đáng kể.

Tốc độ của SAM được đo bằng PyTorch, tốc độ của YOLO được đo bằng ONNX Runtime. Các thử nghiệm chạy trên Apple M4 Air 2025 với 16GB RAM sử dụng torch==2.10.0, ultralytics==8.4.31 và onnxruntime==1.24.4. Để tái tạo thử nghiệm này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM-b, MobileSAM
for file in ["sam_b.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Tự động chú thích: Con đường nhanh chóng đến tập dữ liệu phân đoạn#

Tự động chú thích là một tính năng chính của SAM, cho phép người dùng tạo tập dữ liệu phân đoạn bằng cách sử dụng một model phát hiện đã được huấn luyện trước. Tính năng này cho phép chú thích nhanh chóng và chính xác một lượng lớn hình ảnh, bỏ qua nhu cầu gán nhãn thủ công tốn thời gian.

Tạo tập dữ liệu phân đoạn của bạn bằng model phát hiện#

Để tự động chú thích tập dữ liệu của bạn bằng framework Ultralytics, hãy sử dụng hàm auto_annotate như được hiển thị bên dưới:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="sam_b.pt")

Hàm auto_annotate nhận đường dẫn đến hình ảnh của bạn, với các đối số tùy chọn để chỉ định model phát hiện và phân đoạn SAM đã được huấn luyện trước, thiết bị để chạy các model và thư mục đầu ra để lưu kết quả đã chú thích.

Auto-annotation với các model đã được huấn luyện sẵn có thể giảm đáng kể thời gian và công sức cần thiết để tạo các tập dữ liệu segmentation chất lượng cao. Tính năng này đặc biệt hữu ích cho các nhà nghiên cứu và lập trình viên làm việc với các bộ sưu tập ảnh lớn, vì nó cho phép họ tập trung vào việc phát triển và đánh giá model thay vì gán nhãn thủ công.

Trích dẫn và Ghi nhận#

Nếu bạn thấy SAM hữu ích trong công việc nghiên cứu hoặc phát triển của mình, vui lòng cân nhắc trích dẫn bài báo của chúng tôi:

@misc{kirillov2023segment,
      title={Segment Anything},
      author={Alexander Kirillov and Eric Mintun and Nikhila Ravi and Hanzi Mao and Chloe Rolland and Laura Gustafson and Tete Xiao and Spencer Whitehead and Alexander C. Berg and Wan-Yen Lo and Piotr Dollár and Ross Girshick},
      year={2023},
      eprint={2304.02643},
      archivePrefix={arXiv},
      primaryClass={cs.CV}
}

Chúng tôi muốn bày tỏ lòng biết ơn tới Meta AI vì đã tạo và duy trì tài nguyên có giá trị này cho cộng đồng thị giác máy tính.

Câu hỏi thường gặp#