Mobile-Modell zur Segmentierung beliebiger Objekte (MobileSAM)#

MobileSAM ist ein kompaktes, effizientes Bildsegmentierungsmodell, das speziell für Mobil- und Edge-Geräte entwickelt wurde. Es überträgt die Leistungsfähigkeit von Metas Modell zur Segmentierung beliebiger Objekte (SAM) auf Umgebungen mit begrenzter Rechenleistung und ermöglicht eine nahezu sofortige Segmentierung bei gleichzeitiger Kompatibilität mit der ursprünglichen SAM-Pipeline. Ob du Echtzeitanwendungen entwickelst oder leichtgewichtige Bereitstellungen umsetzt: MobileSAM liefert beeindruckende Segmentierungsergebnisse und benötigt dafür nur einen Bruchteil des Speicherplatzes und der Rechenleistung seiner Vorgänger.

MobileSAM kommt in verschiedenen Projekten zum Einsatz, darunter Grounding-SAM, AnyLabeling und Segment Anything in 3D.

MobileSAM wurde auf einer einzelnen GPU mit einem Datensatz aus 100.000 Bildern (1 % der ursprünglichen Bilder) in weniger als einem Tag trainiert.

Verfügbare Modelle, unterstützte Aufgaben und Betriebsmodi#

Die folgende Tabelle gibt einen Überblick über das verfügbare MobileSAM-Modell, seine vortrainierten Gewichte, unterstützten Aufgaben und die Kompatibilität mit verschiedenen Betriebsmodi wie Inferenz, Validierung, Training und Export. ✅ kennzeichnet unterstützte Modi, ❌ nicht unterstützte Modi.

Vergleich von MobileSAM und YOLO#

Der folgende Vergleich zeigt die Unterschiede zwischen Metas SAM-Varianten, MobileSAM und den Segmentierungsmodellen von Ultralytics, darunter YOLO26n-seg:

Dieser Vergleich zeigt die erheblichen Unterschiede bei Modellgröße und Geschwindigkeit zwischen SAM-Varianten und YOLO-Segmentierungsmodellen. SAM-Modelle bieten zwar einzigartige Funktionen zur automatischen Segmentierung, doch YOLO-Modelle – insbesondere YOLOv8n-seg, YOLO11n-seg und YOLO26n-seg – sind deutlich kleiner, schneller und recheneffizienter.

Die Geschwindigkeiten von SAM wurden mit PyTorch gemessen, die von YOLO mit ONNX Runtime. Die Tests wurden auf einem Apple M4 Air von 2025 mit 16 GB RAM und torch==2.10.0, ultralytics==8.4.31 und onnxruntime==1.24.4 durchgeführt. So kannst du diese Ergebnisse reproduzieren:

from ultralytics import ASSETS, SAM, YOLO, FastSAM

# SAM2-t, SAM2-b, SAM-b, MobileSAM profilieren
for file in ["sam_b.pt", "sam2_b.pt", "sam2_t.pt", "mobile_sam.pt"]:
    model = SAM(file)
    model.info()
    model(ASSETS)

# FastSAM-s profilieren
model = FastSAM("FastSAM-s.pt")
model.info()
model(ASSETS)

# YOLO-Modelle profilieren (ONNX)
for file_name in ["yolov8n-seg.pt", "yolo11n-seg.pt", "yolo26n-seg.pt"]:
    model = YOLO(file_name)
    model.info()
    onnx_path = model.export(format="onnx", dynamic=True, nms=False)  # NMS-freier YOLO26-Head; für YOLOv8/YOLO11 ohne Funktion
    model = YOLO(onnx_path)
    model(ASSETS)

Der Wechsel von SAM zu MobileSAM#

MobileSAM behält dieselbe Pipeline wie das ursprüngliche SAM bei, einschließlich Vorverarbeitung, Nachverarbeitung und sämtlicher Schnittstellen. Das bedeutet, dass du mit minimalen Änderungen an deinem Arbeitsablauf von SAM zu MobileSAM wechseln kannst.

Der entscheidende Unterschied ist der Bildencoder: MobileSAM ersetzt den ursprünglichen ViT-H-Encoder (637 Millionen Parameter) durch einen deutlich kleineren Tiny-ViT-Encoder (5 Millionen Parameter). Auf einer einzelnen GPU verarbeitet MobileSAM ein Bild in etwa 12 ms (8 ms für den Encoder, 4 ms für den Maskendecoder).

Vergleich der ViT-basierten Bildencoder#

Promptgesteuerter Maskendecoder#

Vergleich der gesamten Pipeline#

Die Leistung von MobileSAM und dem ursprünglichen SAM wird unten anhand von Punkt- und Box-Vorgaben veranschaulicht.

MobileSAM ist etwa siebenmal kleiner und fünfmal schneller als FastSAM. Weitere Informationen findest du auf der MobileSAM-Projektseite.

MobileSAM mit Ultralytics testen#

Wie beim ursprünglichen SAM bietet Ultralytics eine einfache Schnittstelle zum Testen von MobileSAM, die sowohl Punkt- als auch Box-Vorgaben unterstützt.

Modell herunterladen#

Lade die vortrainierten MobileSAM-Gewichte von den Ultralytics-Assets herunter.

Punktvorgabe#

from ultralytics import SAM

# Das Modell laden
model = SAM("mobile_sam.pt")

# Eine Segmentierung anhand einer einzelnen Punktvorgabe vorhersagen
model.predict("ultralytics/assets/zidane.jpg", points=[900, 370], labels=[1])

# Mehrere Segmentierungen anhand mehrerer Punktvorgaben vorhersagen
model.predict("ultralytics/assets/zidane.jpg", points=[[400, 370], [900, 370]], labels=[1, 1])

# Für jedes Objekt eine Segmentierung anhand mehrerer Punktvorgaben vorhersagen
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 1]])

# Eine Segmentierung anhand positiver und negativer Vorgaben vorhersagen.
model.predict("ultralytics/assets/zidane.jpg", points=[[[400, 370], [900, 370]]], labels=[[1, 0]])

Box-Vorgabe#

from ultralytics import SAM

# Das Modell laden
model = SAM("mobile_sam.pt")

# Eine Segmentierung anhand einer einzelnen Box-Vorgabe vorhersagen
model.predict("ultralytics/assets/zidane.jpg", bboxes=[439, 437, 524, 709])

# Mehrere Segmentierungen anhand mehrerer Box-Vorgaben vorhersagen
model.predict("ultralytics/assets/zidane.jpg", bboxes=[[439, 437, 524, 709], [114, 196, 313, 708]])

Sowohl MobileSAM als auch SAM bieten dieselbe API. Weitere Informationen zur Verwendung findest du in der SAM-Dokumentation.

Segmentierungsdatensätze mithilfe eines Erkennungsmodells automatisch erstellen#

Um deinen Datensatz mit dem Ultralytics-Framework automatisch zu annotieren, verwende die Funktion auto_annotate wie unten gezeigt:

from ultralytics.data.annotator import auto_annotate

auto_annotate(data="path/to/images", det_model="yolo26x.pt", sam_model="mobile_sam.pt")

Zitate und Danksagungen#

Wenn MobileSAM für deine Forschung oder Entwicklung hilfreich ist, solltest du die folgende Veröffentlichung zitieren:

@article{mobile_sam,
  title={Faster Segment Anything: Towards Lightweight SAM for Mobile Applications},
  author={Zhang, Chaoning and Han, Dongshen and Qiao, Yu and Kim, Jung Uk and Bae, Sung Ho and Lee, Seungkyu and Hong, Choong Seon},
  journal={arXiv preprint arXiv:2306.14289},
  year={2023}
}

Lies die vollständige MobileSAM-Veröffentlichung auf arXiv.

Häufig gestellte Fragen#