Salta para o conteúdo

Referência para hub_sdk/modules/datasets.py

Nota

Este ficheiro está disponível em https://github.com/ultralytics/hub-sdk/blob/main/hub_sdk/modules/datasets .py. Se detectares um problema, por favor ajuda a corrigi-lo contribuindo com um Pull Request 🛠️. Obrigado 🙏!



hub_sdk.modules.datasets.Datasets

Bases: CRUDClient

Uma classe que representa um cliente para interagir com conjuntos de dados através de operações CRUD. Esta classe estende a classe CRUDClient e fornece métodos específicos para trabalhar com Datasets.

Atributos:

Nome Tipo Descrição
hub_client DatasetUpload

Uma instância de DatasetUpload utilizada para interagir com carregamentos de modelos.

id (str, None)

O identificador único do conjunto de dados, se disponível.

data dict

Um dicionário para armazenar os dados do conjunto de dados.

Nota

O atributo "id" é definido durante a inicialização e pode ser utilizado para identificar de forma exclusiva um conjunto de dados. O atributo "data" é utilizado para armazenar os dados do conjunto de dados obtidos a partir da API.

Código fonte em hub_sdk/modules/datasets.py
class Datasets(CRUDClient):
    """
    A class representing a client for interacting with Datasets through CRUD operations. This class extends the
    CRUDClient class and provides specific methods for working with Datasets.

    Attributes:
        hub_client (DatasetUpload): An instance of DatasetUpload used for interacting with model uploads.
        id (str, None): The unique identifier of the dataset, if available.
        data (dict): A dictionary to store dataset data.

    Note:
        The 'id' attribute is set during initialization and can be used to uniquely identify a dataset.
        The 'data' attribute is used to store dataset data fetched from the API.
    """

    def __init__(self, dataset_id: Optional[str] = None, headers: Optional[Dict[str, Any]] = None):
        """
        Initialize a Datasets client.

        Args:
            dataset_id (str): Unique id of the dataset.
            headers (dict, optional): Headers to include in HTTP requests.
        """
        super().__init__("datasets", "dataset", headers)
        self.hub_client = DatasetUpload(headers)
        self.id = dataset_id
        self.data = {}
        if dataset_id:
            self.get_data()

    def get_data(self) -> None:
        """
        Retrieves data for the current dataset instance.

        If a valid dataset ID has been set, it sends a request to fetch the dataset data and stores it in the instance.
        If no dataset ID has been set, it logs an error message.

        Returns:
            (None): The method does not return a value.
        """
        if not self.id:
            self.logger.error("No dataset id has been set. Update the dataset id or create a dataset.")
            return

        try:
            response = super().read(self.id)

            if response is None:
                self.logger.error(f"Received no response from the server for dataset ID: {self.id}")
                return

            # Check if the response has a .json() method (it should if it's a response object)
            if not hasattr(response, "json"):
                self.logger.error(f"Invalid response object received for dataset ID: {self.id}")
                return

            resp_data = response.json()
            if resp_data is None:
                self.logger.error(f"No data received in the response for dataset ID: {self.id}")
                return

            self.data = resp_data.get("data", {})
            self.logger.debug(f"Dataset data retrieved for ID: {self.id}")

        except Exception as e:
            self.logger.error(f"An error occurred while retrieving data for dataset ID: {self.id}, {e}")

    def create_dataset(self, dataset_data: dict) -> None:
        """
        Creates a new dataset with the provided data and sets the dataset ID for the current instance.

        Args:
            dataset_data (dict): A dictionary containing the data for creating the dataset.

        Returns:
            (None): The method does not return a value.
        """
        resp = super().create(dataset_data).json()
        self.id = resp.get("data", {}).get("id")
        self.get_data()

    def delete(self, hard: bool = False) -> Optional[Response]:
        """
        Delete the dataset resource represented by this instance.

        Args:
            hard (bool, optional): If True, perform a hard delete.

        Note:
            The 'hard' parameter determines whether to perform a soft delete (default) or a hard delete.
            In a soft delete, the dataset might be marked as deleted but retained in the system.
            In a hard delete, the dataset is permanently removed from the system.

        Returns:
            (Optional[Response]): Response object from the delete request, or None if delete fails.
        """
        return super().delete(self.id, hard)

    def update(self, data: dict) -> Optional[Response]:
        """
        Update the dataset resource represented by this instance.

        Args:
            data (dict): The updated data for the dataset resource.

        Returns:
            (Optional[Response]): Response object from the update request, or None if update fails.
        """
        return super().update(self.id, data)

    def upload_dataset(self, file: str = None) -> Optional[Response]:
        """
        Uploads a dataset file to the hub.

        Args:
            file (str, optional): The path to the dataset file to upload.

        Returns:
            (Optional[Response]): Response object from the upload request, or None if upload fails.
        """
        return self.hub_client.upload_dataset(self.id, file)

    def get_download_link(self) -> Optional[str]:
        """
        Get dataset download link.

        Returns:
            (Optional[str]): Return download link or None if the link is not available.
        """
        return self.data.get("url")

__init__(dataset_id=None, headers=None)

Inicializa um cliente Datasets.

Parâmetros:

Nome Tipo Descrição Predefinição
dataset_id str

Identifica o conjunto de dados.

None
headers dict

Cabeçalhos a incluir nos pedidos HTTP.

None
Código fonte em hub_sdk/modules/datasets.py
def __init__(self, dataset_id: Optional[str] = None, headers: Optional[Dict[str, Any]] = None):
    """
    Initialize a Datasets client.

    Args:
        dataset_id (str): Unique id of the dataset.
        headers (dict, optional): Headers to include in HTTP requests.
    """
    super().__init__("datasets", "dataset", headers)
    self.hub_client = DatasetUpload(headers)
    self.id = dataset_id
    self.data = {}
    if dataset_id:
        self.get_data()

create_dataset(dataset_data)

Cria um novo conjunto de dados com os dados fornecidos e define o ID do conjunto de dados para a instância atual.

Parâmetros:

Nome Tipo Descrição Predefinição
dataset_data dict

Um dicionário que contém os dados para criar o conjunto de dados.

necessário

Devolve:

Tipo Descrição
None

O método não devolve um valor.

Código fonte em hub_sdk/modules/datasets.py
def create_dataset(self, dataset_data: dict) -> None:
    """
    Creates a new dataset with the provided data and sets the dataset ID for the current instance.

    Args:
        dataset_data (dict): A dictionary containing the data for creating the dataset.

    Returns:
        (None): The method does not return a value.
    """
    resp = super().create(dataset_data).json()
    self.id = resp.get("data", {}).get("id")
    self.get_data()

delete(hard=False)

Elimina o recurso do conjunto de dados representado por esta instância.

Parâmetros:

Nome Tipo Descrição Predefinição
hard bool

Se for Verdadeiro, executa uma eliminação definitiva.

False
Nota

O parâmetro 'hard' determina se deve ser efectuada uma eliminação suave (predefinição) ou uma eliminação forte. Numa eliminação suave, o conjunto de dados pode ser marcado como eliminado mas mantido no sistema. Num hard delete, o conjunto de dados é permanentemente removido do sistema.

Devolve:

Tipo Descrição
Optional[Response]

Objeto de resposta do pedido de eliminação, ou None se a eliminação falhar.

Código fonte em hub_sdk/modules/datasets.py
def delete(self, hard: bool = False) -> Optional[Response]:
    """
    Delete the dataset resource represented by this instance.

    Args:
        hard (bool, optional): If True, perform a hard delete.

    Note:
        The 'hard' parameter determines whether to perform a soft delete (default) or a hard delete.
        In a soft delete, the dataset might be marked as deleted but retained in the system.
        In a hard delete, the dataset is permanently removed from the system.

    Returns:
        (Optional[Response]): Response object from the delete request, or None if delete fails.
    """
    return super().delete(self.id, hard)

get_data()

Recupera dados para a instância atual do conjunto de dados.

Se um ID de conjunto de dados válido tiver sido definido, envia um pedido para obter os dados do conjunto de dados e armazena-os na instância. Se nenhum ID de conjunto de dados tiver sido definido, regista uma mensagem de erro.

Devolve:

Tipo Descrição
None

O método não devolve um valor.

Código fonte em hub_sdk/modules/datasets.py
def get_data(self) -> None:
    """
    Retrieves data for the current dataset instance.

    If a valid dataset ID has been set, it sends a request to fetch the dataset data and stores it in the instance.
    If no dataset ID has been set, it logs an error message.

    Returns:
        (None): The method does not return a value.
    """
    if not self.id:
        self.logger.error("No dataset id has been set. Update the dataset id or create a dataset.")
        return

    try:
        response = super().read(self.id)

        if response is None:
            self.logger.error(f"Received no response from the server for dataset ID: {self.id}")
            return

        # Check if the response has a .json() method (it should if it's a response object)
        if not hasattr(response, "json"):
            self.logger.error(f"Invalid response object received for dataset ID: {self.id}")
            return

        resp_data = response.json()
        if resp_data is None:
            self.logger.error(f"No data received in the response for dataset ID: {self.id}")
            return

        self.data = resp_data.get("data", {})
        self.logger.debug(f"Dataset data retrieved for ID: {self.id}")

    except Exception as e:
        self.logger.error(f"An error occurred while retrieving data for dataset ID: {self.id}, {e}")

Obtém a ligação de transferência do conjunto de dados.

Devolve:

Tipo Descrição
Optional[str]

Devolve a ligação de transferência ou Nenhum se a ligação não estiver disponível.

Código fonte em hub_sdk/modules/datasets.py
def get_download_link(self) -> Optional[str]:
    """
    Get dataset download link.

    Returns:
        (Optional[str]): Return download link or None if the link is not available.
    """
    return self.data.get("url")

update(data)

Actualiza o recurso do conjunto de dados representado por esta instância.

Parâmetros:

Nome Tipo Descrição Predefinição
data dict

Os dados actualizados para o recurso do conjunto de dados.

necessário

Devolve:

Tipo Descrição
Optional[Response]

Objeto de resposta do pedido de atualização, ou None se a atualização falhar.

Código fonte em hub_sdk/modules/datasets.py
def update(self, data: dict) -> Optional[Response]:
    """
    Update the dataset resource represented by this instance.

    Args:
        data (dict): The updated data for the dataset resource.

    Returns:
        (Optional[Response]): Response object from the update request, or None if update fails.
    """
    return super().update(self.id, data)

upload_dataset(file=None)

Carrega um ficheiro de conjunto de dados para o hub.

Parâmetros:

Nome Tipo Descrição Predefinição
file str

O caminho para o ficheiro do conjunto de dados a carregar.

None

Devolve:

Tipo Descrição
Optional[Response]

Objeto de resposta do pedido de carregamento, ou None se o carregamento falhar.

Código fonte em hub_sdk/modules/datasets.py
def upload_dataset(self, file: str = None) -> Optional[Response]:
    """
    Uploads a dataset file to the hub.

    Args:
        file (str, optional): The path to the dataset file to upload.

    Returns:
        (Optional[Response]): Response object from the upload request, or None if upload fails.
    """
    return self.hub_client.upload_dataset(self.id, file)



hub_sdk.modules.datasets.DatasetList

Bases: PaginatedList

Código fonte em hub_sdk/modules/datasets.py
class DatasetList(PaginatedList):
    def __init__(self, page_size=None, public=None, headers=None):
        """
        Initialize a Dataset instance.

        Args:
            page_size (int, optional): The number of items to request per page.
            public (bool, optional): Whether the items should be publicly accessible.
            headers (dict, optional): Headers to be included in API requests.
        """
        base_endpoint = "datasets"
        super().__init__(base_endpoint, "dataset", page_size, public, headers)

__init__(page_size=None, public=None, headers=None)

Inicializa uma instância de Dataset.

Parâmetros:

Nome Tipo Descrição Predefinição
page_size int

O número de itens a pedir por página.

None
public bool

Se os elementos devem ser acessíveis ao público.

None
headers dict

Cabeçalhos a incluir nos pedidos de API.

None
Código fonte em hub_sdk/modules/datasets.py
def __init__(self, page_size=None, public=None, headers=None):
    """
    Initialize a Dataset instance.

    Args:
        page_size (int, optional): The number of items to request per page.
        public (bool, optional): Whether the items should be publicly accessible.
        headers (dict, optional): Headers to be included in API requests.
    """
    base_endpoint = "datasets"
    super().__init__(base_endpoint, "dataset", page_size, public, headers)