Mobile Segment Anything (MobileSAM)#

MobileSAM ist ein kompaktes, effizientes Modell zur Bildsegmentierung, das speziell für mobile Geräte und Edge-Geräte entwickelt wurde. MobileSAM bringt die Leistungsfähigkeit von Metas Segment Anything Model (SAM) in Umgebungen mit begrenzten Rechenressourcen und ermöglicht eine nahezu sofortige Segmentierung bei gleichzeitiger Kompatibilität mit der ursprünglichen SAM-Pipeline. Egal, ob du Echtzeitanwendungen oder ressourcenschonende Bereitstellungen entwickelst: MobileSAM liefert beeindruckende Segmentierungsergebnisse bei deutlich geringeren Größen- und Geschwindigkeitsanforderungen als seine Vorgänger.

MobileSAM wird in verschiedenen Projekten eingesetzt, darunter Grounding-SAM, AnyLabeling und Segment Anything in 3D.

MobileSAM wurde an einer einzelnen GPU mit einem Datensatz von 100.000 Bildern (1 % der Originalbilder) in weniger als einem Tag trainiert.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

Die folgende Tabelle zeigt das verfügbare MobileSAM-Modell, seine vortrainierten Gewichte, die unterstützten Aufgaben und die Kompatibilität mit verschiedenen Betriebsmodi wie Inference, Validation, Training und Export. Unterstützte Modi sind mit ✅ und nicht unterstützte Modi mit ❌ gekennzeichnet.

Vergleich von MobileSAM mit YOLO#

Der folgende Vergleich zeigt die Unterschiede zwischen Metas SAM-Varianten, MobileSAM und den Segmentierungsmodellen von Ultralytics, einschließlich YOLO26n-seg:

Dieser Vergleich zeigt die deutlichen Unterschiede bei Modellgröße und Geschwindigkeit zwischen den SAM-Varianten und den YOLO-Segmentierungsmodellen. Während SAM-Modelle einzigartige Möglichkeiten zur automatischen Segmentierung bieten, sind YOLO-Modelle – insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg – deutlich kleiner, schneller und recheneffizienter.

Die Geschwindigkeiten von SAM wurden mit PyTorch gemessen, die Geschwindigkeiten von YOLO mit ONNX Runtime. Die Tests wurden auf einem Apple M4 Air aus dem Jahr 2025 mit 16 GB RAM unter Verwendung von torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. So kannst du diese Ergebnisse reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # YOLO26 NMS-free head; no-op for YOLOv8/YOLO11
    model = YOLO(onnx_path)
    model(ASSETS)

Von SAM zu MobileSAM wechseln#

MobileSAM verwendet dieselbe Pipeline wie das ursprüngliche SAM, einschließlich Vorverarbeitung, Nachverarbeitung und aller Schnittstellen. Dadurch kannst du mit minimalen Änderungen an deinem Workflow von SAM zu MobileSAM wechseln.

Der wichtigste Unterschied ist der Bildencoder: MobileSAM ersetzt den ursprünglichen ViT-H-Encoder (637 Millionen Parameter) durch einen deutlich kleineren Tiny-ViT-Encoder (5 Millionen Parameter). Auf einer einzelnen GPU verarbeitet MobileSAM ein Bild in etwa 12 ms (8 ms für den Encoder, 4 ms für den Maskendecoder).

Vergleich der ViT-basierten Bildencoder#

Prompt-gesteuerter Maskendecoder#

Vergleich der gesamten Pipeline#

Die Leistung von MobileSAM und dem ursprünglichen SAM wird im Folgenden anhand von Punkt- und Box-Prompts dargestellt.

MobileSAM ist etwa 7-mal kleiner und 5-mal schneller als FastSAM. Weitere Informationen findest du auf der MobileSAM-Projektseite.

MobileSAM in Ultralytics testen#

Wie beim ursprünglichen SAM bietet Ultralytics eine einfache Schnittstelle zum Testen von MobileSAM, die sowohl Punkt- als auch Box-Prompts unterstützt.

Model herunterladen#

Lade die vortrainierten MobileSAM-Gewichte aus den Ultralytics-Assets herunter.

Punkt-Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box-Prompt#

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single box prompt
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Predict multiple segments based on multiple box prompts
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

MobileSAM und SAM verwenden dieselbe API. Weitere Informationen zur Verwendung findest du in der SAM-Dokumentation.

Segmentierungsdatensätze automatisch mit einem Erkennungsmodell erstellen#

Um deinen Datensatz automatisch zu annotieren, verwende im Ultralytics-Framework die Funktion auto_annotate wie unten gezeigt:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Zitate und Danksagungen#

Wenn MobileSAM für deine Forschung oder Entwicklung hilfreich ist, ziehe bitte die Zitierung der folgenden Publikation in Betracht:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lies die vollständige MobileSAM-Publikation auf arXiv.

FAQ#