コンテンツへスキップ

参考 ultralytics/models/sam/model.py

備考

このファイルはhttps://github.com/ultralytics/ultralytics/blob/main/ ultralytics/models/ sam/model .py にあります。もし問題を発見したら、Pull Request🛠️ を投稿して修正にご協力ください。ありがとうございました!



ultralytics.models.sam.model.SAM

ベース: Model

SAM (Segment Anything Model) インターフェースクラス。

SAM は、プロンプトを表示可能なリアルタイム画像セグメンテーション用に設計されています。次のようなさまざまなプロンプトと一緒に使用できる。 バウンディングボックス、点、またはラベル。このモデルは、ゼロショットの性能を持ち、SA-1B データセットで学習される。

ソースコード ultralytics/models/sam/model.py
class SAM(Model):
    """
    SAM (Segment Anything Model) interface class.

    SAM is designed for promptable real-time image segmentation. It can be used with a variety of prompts such as
    bounding boxes, points, or labels. The model has capabilities for zero-shot performance and is trained on the SA-1B
    dataset.
    """

    def __init__(self, model="sam_b.pt") -> None:
        """
        Initializes the SAM model with a pre-trained model file.

        Args:
            model (str): Path to the pre-trained SAM model file. File should have a .pt or .pth extension.

        Raises:
            NotImplementedError: If the model file extension is not .pt or .pth.
        """
        if model and Path(model).suffix not in (".pt", ".pth"):
            raise NotImplementedError("SAM prediction requires pre-trained *.pt or *.pth model.")
        super().__init__(model=model, task="segment")

    def _load(self, weights: str, task=None):
        """
        Loads the specified weights into the SAM model.

        Args:
            weights (str): Path to the weights file.
            task (str, optional): Task name. Defaults to None.
        """
        self.model = build_sam(weights)

    def predict(self, source, stream=False, bboxes=None, points=None, labels=None, **kwargs):
        """
        Performs segmentation prediction on the given image or video source.

        Args:
            source (str): Path to the image or video file, or a PIL.Image object, or a numpy.ndarray object.
            stream (bool, optional): If True, enables real-time streaming. Defaults to False.
            bboxes (list, optional): List of bounding box coordinates for prompted segmentation. Defaults to None.
            points (list, optional): List of points for prompted segmentation. Defaults to None.
            labels (list, optional): List of labels for prompted segmentation. Defaults to None.

        Returns:
            (list): The model predictions.
        """
        overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024)
        kwargs.update(overrides)
        prompts = dict(bboxes=bboxes, points=points, labels=labels)
        return super().predict(source, stream, prompts=prompts, **kwargs)

    def __call__(self, source=None, stream=False, bboxes=None, points=None, labels=None, **kwargs):
        """
        Alias for the 'predict' method.

        Args:
            source (str): Path to the image or video file, or a PIL.Image object, or a numpy.ndarray object.
            stream (bool, optional): If True, enables real-time streaming. Defaults to False.
            bboxes (list, optional): List of bounding box coordinates for prompted segmentation. Defaults to None.
            points (list, optional): List of points for prompted segmentation. Defaults to None.
            labels (list, optional): List of labels for prompted segmentation. Defaults to None.

        Returns:
            (list): The model predictions.
        """
        return self.predict(source, stream, bboxes, points, labels, **kwargs)

    def info(self, detailed=False, verbose=True):
        """
        Logs information about the SAM model.

        Args:
            detailed (bool, optional): If True, displays detailed information about the model. Defaults to False.
            verbose (bool, optional): If True, displays information on the console. Defaults to True.

        Returns:
            (tuple): A tuple containing the model's information.
        """
        return model_info(self.model, detailed=detailed, verbose=verbose)

    @property
    def task_map(self):
        """
        Provides a mapping from the 'segment' task to its corresponding 'Predictor'.

        Returns:
            (dict): A dictionary mapping the 'segment' task to its corresponding 'Predictor'.
        """
        return {"segment": {"predictor": Predictor}}

task_map property

segment'タスクから対応する'Predictor'へのマッピングを提供します。

リターンズ

タイプ 説明
dict

セグメント」タスクと、それに対応する「プレディクタ」をマッピングする辞書。

__call__(source=None, stream=False, bboxes=None, points=None, labels=None, **kwargs)

predict'メソッドの別名。

パラメーター

名称 タイプ 説明 デフォルト
source str

画像またはビデオファイルへのパス、またはPIL.Imageオブジェクト、またはnumpy.ndarrayオブジェクト。

None
stream bool

Trueの場合、リアルタイム・ストリーミングを有効にする。デフォルトはFalse。

False
bboxes list

プロンプトセグメンテーションのバウンディングボックス座標のリスト。デフォルトは None。

None
points list

プロンプトセグメンテーションのポイントのリスト。デフォルトは None。

None
labels list

プロンプトのセグメンテーションのためのラベルのリスト。デフォルトは None。

None

リターンズ

タイプ 説明
list

モデルの予測

ソースコード ultralytics/models/sam/model.py
def __call__(self, source=None, stream=False, bboxes=None, points=None, labels=None, **kwargs):
    """
    Alias for the 'predict' method.

    Args:
        source (str): Path to the image or video file, or a PIL.Image object, or a numpy.ndarray object.
        stream (bool, optional): If True, enables real-time streaming. Defaults to False.
        bboxes (list, optional): List of bounding box coordinates for prompted segmentation. Defaults to None.
        points (list, optional): List of points for prompted segmentation. Defaults to None.
        labels (list, optional): List of labels for prompted segmentation. Defaults to None.

    Returns:
        (list): The model predictions.
    """
    return self.predict(source, stream, bboxes, points, labels, **kwargs)

__init__(model='sam_b.pt')

事前に訓練されたモデルファイルを使ってSAM モデルを初期化する。

パラメーター

名称 タイプ 説明 デフォルト
model str

事前に訓練されたSAM モデルファイルへのパス。ファイルの拡張子は .pt または .pth でなければならない。

'sam_b.pt'

レイズ

タイプ 説明
NotImplementedError

モデルファイルの拡張子が .pt または .pth でない場合。

ソースコード ultralytics/models/sam/model.py
def __init__(self, model="sam_b.pt") -> None:
    """
    Initializes the SAM model with a pre-trained model file.

    Args:
        model (str): Path to the pre-trained SAM model file. File should have a .pt or .pth extension.

    Raises:
        NotImplementedError: If the model file extension is not .pt or .pth.
    """
    if model and Path(model).suffix not in (".pt", ".pth"):
        raise NotImplementedError("SAM prediction requires pre-trained *.pt or *.pth model.")
    super().__init__(model=model, task="segment")

info(detailed=False, verbose=True)

SAM モデルに関する情報を記録する。

パラメーター

名称 タイプ 説明 デフォルト
detailed bool

Trueの場合、モデルの詳細情報を表示します。デフォルトはFalseです。

False
verbose bool

Trueの場合、コンソールに情報を表示する。デフォルトはTrue。

True

リターンズ

タイプ 説明
tuple

モデルの情報を含むタプル。

ソースコード ultralytics/models/sam/model.py
def info(self, detailed=False, verbose=True):
    """
    Logs information about the SAM model.

    Args:
        detailed (bool, optional): If True, displays detailed information about the model. Defaults to False.
        verbose (bool, optional): If True, displays information on the console. Defaults to True.

    Returns:
        (tuple): A tuple containing the model's information.
    """
    return model_info(self.model, detailed=detailed, verbose=verbose)

predict(source, stream=False, bboxes=None, points=None, labels=None, **kwargs)

与えられた画像またはビデオソースに対してセグメンテーション予測を実行します。

パラメーター

名称 タイプ 説明 デフォルト
source str

画像またはビデオファイルへのパス、またはPIL.Imageオブジェクト、またはnumpy.ndarrayオブジェクト。

必須
stream bool

Trueの場合、リアルタイム・ストリーミングを有効にする。デフォルトはFalse。

False
bboxes list

プロンプトセグメンテーションのバウンディングボックス座標のリスト。デフォルトは None。

None
points list

プロンプトセグメンテーションのポイントのリスト。デフォルトは None。

None
labels list

プロンプトのセグメンテーションのためのラベルのリスト。デフォルトは None。

None

リターンズ

タイプ 説明
list

モデルの予測

ソースコード ultralytics/models/sam/model.py
def predict(self, source, stream=False, bboxes=None, points=None, labels=None, **kwargs):
    """
    Performs segmentation prediction on the given image or video source.

    Args:
        source (str): Path to the image or video file, or a PIL.Image object, or a numpy.ndarray object.
        stream (bool, optional): If True, enables real-time streaming. Defaults to False.
        bboxes (list, optional): List of bounding box coordinates for prompted segmentation. Defaults to None.
        points (list, optional): List of points for prompted segmentation. Defaults to None.
        labels (list, optional): List of labels for prompted segmentation. Defaults to None.

    Returns:
        (list): The model predictions.
    """
    overrides = dict(conf=0.25, task="segment", mode="predict", imgsz=1024)
    kwargs.update(overrides)
    prompts = dict(bboxes=bboxes, points=points, labels=labels)
    return super().predict(source, stream, prompts=prompts, **kwargs)





作成日:2023-11-12 更新日:2023-11-25
作成者:glenn-jocher(3)