모바일 세그먼트 애니씽 (MobileSAM)

MobileSAM 논문은 현재 arXiv에서 확인할 수 있습니다.

이 데모 링크에서 CPU에서 실행되는 MobileSAM 데모에 액세스할 수 있습니다. Mac i5 CPU에서의 성능은 약 3초가 소요됩니다. Hugging Face 데모에서는 인터페이스와 저성능 CPU로 인해 응답 속도가 느려지지만 여전히 효과적으로 작동합니다.

MobileSAM 접지( SAM ) , 애니라벨링, 3D 세그먼트 애니씽 등 다양한 프로젝트에서 구현되고 있습니다.

MobileSAM 는 단일 GPU에서 100만 개의 데이터 세트(원본 이미지의 1%)로 하루도 채 걸리지 않고 학습됩니다. 이 훈련에 대한 코드는 향후 공개될 예정입니다.

사용 가능한 모델, 지원되는 작업 및 작동 모드

이 표에는 사용 가능한 모델과 함께 특정 사전 학습된 가중치, 지원되는 작업, 추론, 검증, 학습 및 내보내기와 같은 다양한 작동 모드와의 호환성이 표시되어 있으며, 지원되는 모드의 경우 ✅ 이모티콘, 지원되지 않는 모드의 경우 ❌ 이모티콘으로 표시되어 있습니다.

SAM 에서 MobileSAM

MobileSAM 은 원본 SAM 과 동일한 파이프라인을 유지하므로 원본의 전처리, 후처리 및 기타 모든 인터페이스를 통합했습니다. 따라서 현재 원본 SAM 을 사용 중인 사용자는 최소한의 노력으로 MobileSAM 으로 전환할 수 있습니다.

MobileSAM 는 이미지 인코더의 변경을 제외하고는 동일한 파이프라인을 유지하면서 기존 SAM 과 비슷한 성능을 발휘합니다. 특히, 기존의 무거운 ViT-H 인코더(632M)를 더 작은 Tiny-ViT(5M)로 대체했습니다. 단일 GPU에서 MobileSAM 는 이미지당 약 12ms로 작동합니다: 이미지 인코더에서 8ms, 마스크 디코더에서 4ms입니다.

다음 표는 ViT 기반 이미지 인코더를 비교한 것입니다:

원본 SAM 및 MobileSAM 모두 동일한 프롬프트 안내 마스크 디코더를 사용합니다:

다음은 전체 파이프라인을 비교한 것입니다:

MobileSAM 및 원본 SAM 의 성능은 점과 상자를 모두 프롬프트로 사용하여 시연합니다.

우수한 성능을 갖춘 MobileSAM 은 현재 FastSAM 보다 약 5배 작고 7배 빠릅니다. 자세한 내용은 MobileSAM 프로젝트 페이지에서 확인할 수 있습니다.

테스트 MobileSAM Ultralytics

기존 SAM 과 마찬가지로 Ultralytics 에서 포인트 및 박스 프롬프트 모드를 포함한 간단한 테스트 방법을 제공합니다.

모델 다운로드

여기에서 모델을 다운로드할 수 있습니다.

포인트 프롬프트

from ultralytics import SAM

# Load the model
model = SAM('mobile_sam.pt')

# Predict a segment based on a point prompt
model.predict('ultralytics/assets/zidane.jpg', points=[900, 370], labels=[1])

상자 프롬프트

from ultralytics import SAM

# Load the model
model = SAM('mobile_sam.pt')

# Predict a segment based on a box prompt
model.predict('ultralytics/assets/zidane.jpg', bboxes=[439, 437, 524, 709])

우리는 구현했습니다 MobileSAM 그리고 SAM 동일한 API를 사용합니다. 자세한 사용 정보는 SAM 페이지.

인용 및 감사

연구 또는 개발 작업에 MobileSAM 이 유용하다고 생각되면 저희 논문을 인용해 주세요:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

댓글