Mobile Segment Anything (MobileSAM)

MobileSAM ist ein kompaktes, effizientes Bildsegmentierungsmodell, das speziell für mobile Geräte und Edge-Umgebungen entwickelt wurde. Es wurde konzipiert, um die Leistung des Segment Anything Model (SAM) von Meta in Umgebungen mit begrenzter Rechenleistung verfügbar zu machen. MobileSAM bietet eine nahezu verzögerungsfreie Segmentierung und bleibt dabei mit der ursprünglichen SAM-Pipeline kompatibel. Egal, ob du Echtzeitanwendungen entwickelst oder leichtgewichtige Implementierungen planst, MobileSAM liefert beeindruckende Segmentierungsergebnisse bei einem Bruchteil der Größe und Geschwindigkeitsanforderungen seiner Vorgänger.

MobileSAM wurde in einer Vielzahl von Projekten eingesetzt, darunter Grounding-SAM, AnyLabeling und Segment Anything in 3D.

MobileSAM wurde auf einer einzelnen GPU mit einem Datensatz von 100.000 Bildern (1 % der Originalbilder) in weniger als einem Tag trainiert. Der Trainingscode wird in Zukunft veröffentlicht.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi

Die folgende Tabelle zeigt das verfügbare MobileSAM-Modell, seine vortrainierten Gewichte, die unterstützten Aufgaben sowie die Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export. Unterstützte Modi sind mit ✅ und nicht unterstützte mit ❌ gekennzeichnet.

MobileSAM Vergleich vs YOLO

Der folgende Vergleich hebt die Unterschiede zwischen den SAM-Varianten von Meta, MobileSAM und Ultralytics-Segmentierungsmodellen, einschließlich YOLO26n-seg, hervor:

Dieser Vergleich demonstriert die erheblichen Unterschiede in Modellgröße und Geschwindigkeit zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. Während SAM-Modelle einzigartige Funktionen zur automatischen Segmentierung bieten, sind YOLO-Modelle – insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg – deutlich kleiner, schneller und recheneffizienter.

SAM-Geschwindigkeiten wurden mit PyTorch gemessen, YOLO-Geschwindigkeiten mit ONNX Runtime. Die Tests wurden auf einem 2025 Apple M4 Air mit 16 GB RAM unter Verwendung von torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. Um diese Ergebnisse zu reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# Profile SAM2-t, SAM2-b, SAM-b, MobileSAM
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# Profile FastSAM-s
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# Profile YOLO models (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True)
    model = YOLO(onnx_path)
    model(ASSETS)

Anpassung von SAM an MobileSAM

MobileSAM behält dieselbe Pipeline wie das ursprüngliche SAM bei, einschließlich Vorverarbeitung, Nachverarbeitung und aller Schnittstellen. Das bedeutet, dass du mit minimalen Änderungen an deinem Workflow von SAM zu MobileSAM wechseln kannst.

Der Hauptunterschied ist der Bild-Encoder: MobileSAM ersetzt den ursprünglichen ViT-H-Encoder (632 Mio. Parameter) durch einen wesentlich kleineren Tiny-ViT-Encoder (5 Mio. Parameter). Auf einer einzelnen GPU verarbeitet MobileSAM ein Bild in etwa 12 ms (8 ms für den Encoder, 4 ms für den Masken-Decoder).

Vergleich des ViT-basierten Bild-Encoders

Prompt-gesteuerter Masken-Decoder

Vergleich der gesamten Pipeline

Die Leistung von MobileSAM und dem ursprünglichen SAM wird unten anhand von Punkt- und Box-Prompts veranschaulicht.

MobileSAM ist etwa 7-mal kleiner und 5-mal schneller als FastSAM. Weitere Einzelheiten findest du auf der MobileSAM-Projektseite.

Testen von MobileSAM in Ultralytics

Genau wie das ursprüngliche SAM bietet Ultralytics eine einfache Schnittstelle zum Testen von MobileSAM, die sowohl Punkt- als auch Box-Prompts unterstützt.

Modell-Download

Lade die vortrainierten MobileSAM-Gewichte von Ultralytics Assets herunter.

Punkt-Prompt

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box-Prompt

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a single point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Predict multiple segments based on multiple points prompt
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Predict a segment based on multiple points prompt per object
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Predict a segment using both positive and negative prompts.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Sowohl MobileSAM als auch SAM nutzen dieselbe API. Weitere Einzelheiten zur Verwendung findest du in der SAM-Dokumentation.

Automatische Erstellung von Segmentierungsdatensätzen mit einem Erkennungsmodell

Um deinen Datensatz automatisch zu annotieren, verwende die auto_annotate-Funktion mit dem Ultralytics-Framework wie unten gezeigt:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Zitate und Danksagungen

Wenn MobileSAM hilfreich für deine Forschung oder Entwicklung ist, ziehe bitte in Erwägung, das folgende Paper zu zitieren:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lies das vollständige MobileSAM-Paper auf arXiv.

FAQ

Was ist MobileSAM und wie unterscheidet es sich vom ursprünglichen SAM-Modell?

MobileSAM ist ein leichtgewichtiges, schnelles Bildsegmentierungsmodell, das für mobile und Edge-Anwendungen optimiert ist. Es behält dieselbe Pipeline wie das ursprüngliche SAM bei, ersetzt jedoch den großen ViT-H-Encoder (632 Mio. Parameter) durch einen kompakten Tiny-ViT-Encoder (5 Mio. Parameter). Dies führt dazu, dass MobileSAM etwa 5-mal kleiner und 7-mal schneller als das ursprüngliche SAM ist und mit etwa 12 ms pro Bild im Vergleich zu den 456 ms von SAM arbeitet. Erfahre mehr über die Implementierung von MobileSAM im MobileSAM GitHub-Repository.

Wie kann ich MobileSAM mit Ultralytics testen?

Das Testen von MobileSAM in Ultralytics ist unkompliziert. Du kannst Punkt- und Box-Prompts verwenden, um Segmente vorherzusagen. Zum Beispiel mit einem Punkt-Prompt:

from ultralytics import SAM

# Load the model
model = SAM("mobile_sam.pt")

# Predict a segment based on a point prompt
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

Weitere Einzelheiten findest du im Abschnitt Testen von MobileSAM in Ultralytics.

Warum sollte ich MobileSAM für meine mobile Anwendung verwenden?

MobileSAM ist aufgrund seines leichtgewichtigen Designs und seiner schnellen Inferenzgeschwindigkeit ideal für mobile und Edge-Anwendungen geeignet. Im Vergleich zum ursprünglichen SAM ist MobileSAM etwa 5-mal kleiner und 7-mal schneller, was es für Echtzeit-Segmentierung auf Geräten mit begrenzten Rechenressourcen geeignet macht. Seine Effizienz ermöglicht es mobilen Geräten, Echtzeit-Bildsegmentierung ohne signifikante Latenz durchzuführen. Zusätzlich unterstützt MobileSAM den Inferenzmodus, der für mobile Leistung optimiert ist.

Wie wurde MobileSAM trainiert und ist der Trainingscode verfügbar?

MobileSAM wurde auf einer einzelnen GPU mit einem Datensatz von 100.000 Bildern (1 % der Originalbilder) in weniger als einem Tag trainiert. Obwohl der Trainingscode in Zukunft veröffentlicht wird, kannst du derzeit auf vortrainierte Gewichte und Implementierungsdetails im MobileSAM GitHub-Repository zugreifen.

Was sind die primären Anwendungsfälle für MobileSAM?

MobileSAM ist für eine schnelle, effiziente Bildsegmentierung in mobilen und Edge-Umgebungen konzipiert. Zu den primären Anwendungsfällen gehören:

• Echtzeit-Objekterkennung und -segmentierung für mobile Apps
• Bildverarbeitung mit geringer Latenz auf Geräten mit begrenzter Rechenleistung
• Integration in KI-gestützte mobile Anwendungen für Augmented Reality (AR), Analytik und mehr

Weitere Einzelheiten zu Anwendungsfällen und Leistung findest du unter Anpassung von SAM an MobileSAM sowie im Ultralytics-Blog zu MobileSAM-Anwendungen.