Mobile Segment Anything (MobileSAM)#

MobileSAM ist ein kompaktes, effizientes Bildsegmentierungsmodell, das speziell für Mobil- und Edge-Geräte entwickelt wurde. Es bringt die Leistungsfähigkeit von Metas Segment Anything Model (SAM) in Umgebungen mit begrenzten Rechenressourcen, bietet eine nahezu sofortige Segmentierung und behält dabei die Kompatibilität mit der ursprünglichen SAM-Pipeline bei. Ganz gleich, ob du Echtzeitanwendungen oder schlanke Deployments entwickelst, MobileSAM liefert beeindruckende Segmentierungsergebnisse mit einem Bruchteil der Größen- und Geschwindigkeitsanforderungen seiner Vorgänger.

MobileSAM wurde in einer Vielzahl von Projekten übernommen, darunter Grounding-SAM, AnyLabeling und Segment Anything in 3D.

MobileSAM wurde auf einer einzelnen GPU unter Verwendung eines 100k-Bilddatensatzes (1 % der ursprünglichen Bilder) in weniger als einem Tag trainiert. Der Trainingscode wird in der Zukunft veröffentlicht.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

Die folgende Tabelle zeigt das verfügbare MobileSAM-Modell, seine vortrainierten Gewichte, unterstützte Aufgaben und die Kompatibilität mit verschiedenen Betriebsmodi wie Inference, Validation, Training und Export. Unterstützte Modi werden durch ✅ und nicht unterstützte Modi durch ❌ gekennzeichnet.

MobileSAM-Vergleich vs. YOLO#

Der folgende Vergleich hebt die Unterschiede zwischen Metas SAM-Varianten, MobileSAM und Ultralytics-Segmentierungsmodellen einschließlich YOLO26n-seg hervor:

Dieser Vergleich demonstriert die erheblichen Unterschiede in Modellgröße und Geschwindigkeit zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. Während SAM-Modelle einzigartige automatische Segmentierungsfunktionen bieten, sind YOLO-Modelle—insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg—deutlich kleiner, schneller und recheneffizienter.

SAM-Geschwindigkeiten gemessen mit PyTorch, YOLO-Geschwindigkeiten gemessen mit ONNX Runtime. Tests wurden auf einem 2025er Apple M4 Air mit 16GB RAM unter Verwendung von torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. So reproduzierst du diese Ergebnisse:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Anpassung von SAM an MobileSAM#

MobileSAM behält dieselbe Pipeline wie das ursprüngliche SAM bei, einschließlich Vorverarbeitung, Nachverarbeitung und aller Schnittstellen. Das bedeutet, dass du mit minimalen Änderungen an deinem Workflow von SAM zu MobileSAM wechseln kannst.

Der wesentliche Unterschied ist der Image Encoder: MobileSAM ersetzt den ursprünglichen ViT-H Encoder (637M Parameter) durch einen wesentlich kleineren Tiny-ViT Encoder (5M Parameter). Auf einer einzelnen GPU verarbeitet MobileSAM ein Bild in etwa 12ms (8ms für den Encoder, 4ms für den Mask Decoder).

Vergleich des ViT-basierten Bild-Encoders#

Prompt-gesteuerter Masken-Decoder#

Gesamt-Pipeline-Vergleich#

Die Leistung von MobileSAM und dem ursprünglichen SAM wird unten unter Verwendung von Punkt- und Box-Prompts veranschaulicht.

MobileSAM ist etwa 7-mal kleiner und 5-mal schneller als FastSAM. Weitere Details findest du auf der MobileSAM project page.

Testen von MobileSAM in Ultralytics#

Genau wie das ursprüngliche SAM bietet Ultralytics eine einfache Schnittstelle zum Testen von MobileSAM, die sowohl Punkt- als auch Box-Prompts unterstützt.

Modell-Download#

Lade die vortrainierten MobileSAM-Gewichte von den Ultralytics assets herunter.

Punkt-Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box-Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Sowohl MobileSAM als auch SAM teilen sich dieselbe API. Weitere Details zur Verwendung findest du in der SAM documentation.

Automatische Erstellung von Segmentierungsdatensätzen unter Verwendung eines Erkennungsmodells#

Um deinen Datensatz mit dem Ultralytics-Framework automatisch zu annotate your dataset, verwende die Funktion auto_annotate wie unten gezeigt:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Zitate und Danksagungen#

Wenn MobileSAM in deiner Forschung oder Entwicklung hilfreich ist, ziehe bitte in Betracht, das folgende Paper zu zitieren:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lies das vollständige MobileSAM paper on arXiv.

FAQ#