Phân đoạn mọi thứ trên thiết bị di động (MobileSAM)#

MobileSAM là một model phân đoạn ảnh nhỏ gọn, hiệu quả, được thiết kế chuyên biệt cho các thiết bị di động và edge. Được xây dựng để mang sức mạnh của Model Phân đoạn Mọi thứ của Meta (SAM) đến các môi trường có năng lực tính toán hạn chế, MobileSAM cung cấp khả năng phân đoạn gần như tức thời trong khi vẫn duy trì khả năng tương thích với pipeline SAM gốc. Dù bạn đang phát triển các ứng dụng thời gian thực hay triển khai nhẹ, MobileSAM vẫn mang lại kết quả phân đoạn ấn tượng với yêu cầu về kích thước và tốc độ chỉ bằng một phần so với các phiên bản tiền nhiệm.

MobileSAM đã được ứng dụng trong nhiều dự án, bao gồm Grounding-SAM, AnyLabeling và Segment Anything in 3D.

MobileSAM được huấn luyện trên một GPU duy nhất sử dụng tập dữ liệu 100k ảnh (1% số ảnh gốc) trong chưa đầy một ngày.

Các model hiện có, tác vụ được hỗ trợ và chế độ vận hành#

Bảng dưới đây trình bày model MobileSAM hiện có, pretrained weights của model, các tác vụ được hỗ trợ và khả năng tương thích với những mode vận hành khác nhau như Inference, Validation, Training và Export. Các mode được hỗ trợ được đánh dấu bằng ✅, còn các mode không được hỗ trợ được đánh dấu bằng ❌.

So sánh MobileSAM với YOLO#

Phần so sánh dưới đây nêu bật sự khác biệt giữa các biến thể SAM của Meta, MobileSAM và các model phân đoạn của Ultralytics, bao gồm YOLO26n-seg:

Phần so sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ giữa các biến thể SAM và các model phân đoạn YOLO. Mặc dù các model SAM cung cấp khả năng phân đoạn tự động độc đáo, các model YOLO—đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg—nhỏ hơn, nhanh hơn và hiệu quả hơn đáng kể về mặt tính toán.

Tốc độ SAM được đo bằng PyTorch, còn tốc độ YOLO được đo bằng ONNX Runtime. Các bài kiểm thử được thực hiện trên Apple M4 Air 2025 với RAM 16GB bằng torch==2.10.0, ultralytics==8.4.31 và onnxruntime==1.24.4. Để tái tạo các kết quả này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Chuyển đổi từ SAM sang MobileSAM#

MobileSAM duy trì pipeline giống với SAM gốc, bao gồm tiền xử lý, hậu xử lý và tất cả interface. Điều này có nghĩa là bạn có thể chuyển từ SAM sang MobileSAM với những thay đổi tối thiểu trong workflow.

Khác biệt chính nằm ở image encoder: MobileSAM thay thế encoder ViT-H gốc (637M tham số) bằng encoder Tiny-ViT nhỏ hơn nhiều (5M tham số). Trên một GPU duy nhất, MobileSAM xử lý một ảnh trong khoảng 12ms (8ms cho encoder, 4ms cho mask decoder).

So sánh image encoder dựa trên ViT#

Prompt-Guided Mask Decoder#

So sánh toàn bộ pipeline#

Hiệu năng của MobileSAM và SAM gốc được minh họa dưới đây bằng cả point prompt và box prompt.

MobileSAM nhỏ hơn khoảng 7 lần và nhanh hơn 5 lần so với FastSAM. Để biết thêm chi tiết, hãy truy cập trang dự án MobileSAM.

Kiểm thử MobileSAM trong Ultralytics#

Tương tự SAM gốc, Ultralytics cung cấp interface đơn giản để kiểm thử MobileSAM, hỗ trợ cả Point prompt và Box prompt.

Tải model#

Tải pretrained weights của MobileSAM từ Ultralytics assets.

Point Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Cả MobileSAM và SAM đều sử dụng cùng một API. Để biết thêm chi tiết về cách sử dụng, hãy xem tài liệu SAM.

Tự động xây dựng dataset phân đoạn bằng model detection#

Để tự động gán nhãn dataset bằng framework Ultralytics, hãy sử dụng hàm auto_annotate như minh họa dưới đây:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Trích dẫn và ghi nhận đóng góp#

Nếu MobileSAM hữu ích cho nghiên cứu hoặc phát triển của bạn, hãy cân nhắc trích dẫn bài báo sau:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Đọc toàn bộ bài báo MobileSAM trên arXiv.

FAQ#