모바일 Segment Anything (MobileSAM)#

MobileSAM은 모바일 및 엣지 디바이스를 위해 특별히 설계된 작고 효율적인 이미지 세그멘테이션 모델입니다. 제한된 연산 환경에 Meta의 Segment Anything 모델(SAM)의 강력한 기능을 제공하도록 설계된 MobileSAM은 원본 SAM 파이프라인과의 호환성을 유지하면서 거의 즉각적인 세그멘테이션을 제공합니다. 실시간 애플리케이션을 개발하거나 경량 배포를 진행하는 경우에도 MobileSAM은 이전 모델보다 훨씬 적은 크기와 속도 요구 사항으로 뛰어난 세그멘테이션 결과를 제공합니다.

MobileSAM은 Grounding-SAM, AnyLabeling, Segment Anything in 3D를 비롯한 다양한 프로젝트에 도입되었습니다.

MobileSAM은 단일 GPU를 사용하여 10만 장의 이미지 데이터셋(원본 이미지의 1%)으로 하루가 안 되는 시간 동안 학습되었습니다.

사용 가능한 모델, 지원 작업 및 운영 모드#

아래 표에는 사용 가능한 MobileSAM 모델, 사전 학습된 가중치, 지원되는 작업, 그리고 Inference, Validation, Training, Export와 같은 다양한 운영 모드와의 호환성이 정리되어 있습니다. 지원되는 모드는 ✅로, 지원되지 않는 모드는 ❌로 표시됩니다.

MobileSAM과 YOLO 비교#

다음 비교에서는 Meta의 SAM 변형 모델, MobileSAM, 그리고 YOLO26n-seg를 포함한 Ultralytics 세그멘테이션 모델 간의 차이를 보여줍니다.

이 비교는 SAM 변형 모델과 YOLO 세그멘테이션 모델 간의 모델 크기와 속도 차이가 상당함을 보여줍니다. SAM 모델은 고유한 자동 세그멘테이션 기능을 제공하지만, YOLO 모델, 특히 YOLOv8n-seg, YOLO11n-seg 및 YOLO26n-seg는 훨씬 더 작고 빠르며 연산 효율이 높습니다.

SAM 속도는 PyTorch로, YOLO 속도는 ONNX Runtime으로 측정했습니다. 테스트는 16GB RAM이 장착된 2025년형 Apple M4 Air에서 torch==2.10.0, ultralytics==8.4.31, onnxruntime==1.24.4를 사용하여 실행했습니다. 이 결과를 재현하려면 다음을 수행합니다.

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

SAM에서 MobileSAM으로 전환하기#

MobileSAM은 전처리, 후처리 및 모든 인터페이스를 포함하여 원본 SAM과 동일한 파이프라인을 유지합니다. 따라서 워크플로를 최소한으로 변경하여 SAM에서 MobileSAM으로 전환할 수 있습니다.

핵심적인 차이는 이미지 인코더입니다. MobileSAM은 원본 ViT-H 인코더(637M 파라미터)를 훨씬 작은 Tiny-ViT 인코더(5M 파라미터)로 대체합니다. 단일 GPU에서 MobileSAM은 이미지를 약 12ms 만에 처리합니다(인코더 8ms, 마스크 디코더 4ms).

ViT 기반 이미지 인코더 비교#

프롬프트 기반 마스크 디코더#

전체 파이프라인 비교#

아래에서는 포인트 프롬프트와 박스 프롬프트를 모두 사용하여 MobileSAM과 원본 SAM의 성능을 보여줍니다.

MobileSAM은 FastSAM보다 약 7배 작고 5배 빠릅니다. 자세한 내용은 MobileSAM 프로젝트 페이지를 참조하십시오.

Ultralytics에서 MobileSAM 테스트하기#

원본 SAM과 마찬가지로 Ultralytics는 포인트 및 박스 프롬프트를 모두 지원하는 MobileSAM 테스트용 간단한 인터페이스를 제공합니다.

모델 다운로드#

Ultralytics 에셋에서 MobileSAM 사전 학습 가중치를 다운로드하십시오.

포인트 프롬프트#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

박스 프롬프트#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM과 SAM은 동일한 API를 공유합니다. 자세한 사용 방법은 SAM 문서를 참조하십시오.

Detection 모델을 사용하여 세그멘테이션 데이터셋 자동 구축하기#

Ultralytics 프레임워크로 데이터셋에 자동으로 어노테이션을 지정하려면 아래와 같이 auto_annotate 함수를 사용하십시오.

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

인용 및 감사의 글#

MobileSAM이 연구 또는 개발에 도움이 되었다면 다음 논문을 인용해 주십시오.

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

전체 내용은 arXiv의 MobileSAM 논문에서 확인하십시오.

FAQ#