Segment Anything cho thiết bị di động (MobileSAM)#

MobileSAM là model phân đoạn hình ảnh nhỏ gọn, hiệu quả, được thiết kế chuyên biệt cho thiết bị di động và thiết bị biên. Được phát triển để đưa sức mạnh của Mô hình Phân đoạn Mọi thứ của Meta (SAM) đến các môi trường có năng lực tính toán hạn chế, MobileSAM mang lại khả năng phân đoạn gần như tức thì mà vẫn tương thích với pipeline SAM gốc. Dù đang phát triển ứng dụng thời gian thực hay triển khai gọn nhẹ, MobileSAM đều cung cấp kết quả phân đoạn ấn tượng với yêu cầu về kích thước và tốc độ chỉ bằng một phần nhỏ so với các phiên bản tiền nhiệm.

MobileSAM đã được ứng dụng trong nhiều dự án, bao gồm Grounding-SAM, AnyLabeling và Segment Anything in 3D.

MobileSAM được huấn luyện trên một GPU duy nhất bằng bộ dữ liệu gồm 100k hình ảnh (1% số hình ảnh gốc) trong chưa đầy một ngày.

Các model hiện có, tác vụ được hỗ trợ và chế độ hoạt động#

Bảng dưới đây trình bày model MobileSAM hiện có, pretrained weights, các tác vụ được hỗ trợ và khả năng tương thích với những chế độ hoạt động khác nhau như Suy luận, Đánh giá, Huấn luyện và Xuất. ✅ biểu thị chế độ được hỗ trợ và ❌ biểu thị chế độ không được hỗ trợ.

So sánh MobileSAM với YOLO#

Phần so sánh sau đây nêu bật sự khác biệt giữa các biến thể SAM của Meta, MobileSAM và các model phân đoạn của Ultralytics, bao gồm YOLO26n-seg:

Phép so sánh này cho thấy sự khác biệt đáng kể về kích thước và tốc độ giữa các biến thể SAM và model phân đoạn YOLO. Các model SAM có khả năng phân đoạn tự động độc đáo, nhưng các model YOLO—đặc biệt là YOLOv8n-seg, YOLO11n-seg và YOLO26n-seg—nhỏ hơn, nhanh hơn và tiết kiệm tài nguyên tính toán hơn đáng kể.

Tốc độ SAM được đo bằng PyTorch, còn tốc độ YOLO được đo bằng ONNX Runtime. Các thử nghiệm được chạy trên Apple M4 Air 2025 với RAM 16 GB bằng torch==2.10.0, ultralytics==8.4.31 và onnxruntime==1.24.4. Để tái tạo các kết quả này:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Đo hiệu năng SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Lập hồ sơ FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Đo hiệu năng các model YOLO (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # Đầu NMS-free của YOLO26; không có tác dụng với YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Chuyển đổi từ SAM sang MobileSAM#

MobileSAM giữ nguyên pipeline của SAM ban đầu, bao gồm tiền xử lý, hậu xử lý và tất cả các interface. Điều này có nghĩa là bạn có thể chuyển từ SAM sang MobileSAM với ít thay đổi nhất cho quy trình làm việc.

Điểm khác biệt chính là image encoder: MobileSAM thay encoder ViT-H ban đầu (637M tham số) bằng encoder Tiny-ViT nhỏ hơn nhiều (5M tham số). Trên một GPU, MobileSAM xử lý một ảnh trong khoảng 12ms (8ms cho encoder, 4ms cho mask decoder).

So sánh Image Encoder dựa trên ViT#

Mask Decoder được điều khiển bằng prompt#

So sánh toàn bộ pipeline#

Hiệu năng của MobileSAM và SAM ban đầu được minh họa bên dưới bằng prompt điểm và prompt hộp.

MobileSAM nhỏ hơn khoảng 7 lần và nhanh hơn 5 lần so với FastSAM. Để biết thêm chi tiết, hãy truy cập trang dự án MobileSAM.

Kiểm thử MobileSAM trong Ultralytics#

Giống như SAM ban đầu, Ultralytics cung cấp interface đơn giản để kiểm thử MobileSAM, hỗ trợ cả prompt điểm và hộp.

Tải model#

Tải pretrained weights của MobileSAM từ tài nguyên Ultralytics.

Prompt điểm#

from ultralytics import SAM

# Tải model
model = SAM("mobile_sam.pt")

# Dự đoán một phân đoạn dựa trên một prompt điểm
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Dự đoán nhiều phân đoạn dựa trên nhiều prompt điểm
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Dự đoán một phân đoạn cho mỗi đối tượng dựa trên nhiều prompt điểm
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Dự đoán một phân đoạn bằng cả prompt dương và prompt âm.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Prompt hộp#

from ultralytics import SAM

# Tải model
model = SAM("mobile_sam.pt")

# Dự đoán một phân đoạn dựa trên một prompt hộp
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Dự đoán nhiều phân đoạn dựa trên nhiều prompt hộp
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Cả MobileSAM và SAM đều có cùng API. Để biết thêm chi tiết về cách sử dụng, hãy xem tài liệu SAM.

Tự động tạo dataset phân đoạn bằng model phát hiện#

Để tự động gắn nhãn cho dataset bằng framework Ultralytics, hãy dùng hàm auto_annotate như minh họa bên dưới:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Trích dẫn và lời cảm ơn#

Nếu MobileSAM hữu ích cho nghiên cứu hoặc phát triển của bạn, hãy cân nhắc trích dẫn bài báo sau:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Đọc toàn bộ bài báo MobileSAM trên arXiv.

Câu hỏi thường gặp#