Overslaan naar inhoud

Referentie voor ultralytics/utils/callbacks/mlflow.py

Opmerking

Dit bestand is beschikbaar op https://github.com/ultralytics/ ultralytics/blob/main/ ultralytics/utils/callbacks/mlflow .py. Als je een probleem ziet, help het dan oplossen door een Pull Request 🛠️ bij te dragen. Bedankt 🙏!



ultralytics.utils.callbacks.mlflow.sanitize_dict(x)

Reinig woordenboeksleutels door haakjes te verwijderen en waarden om te zetten in zwevende woorden.

Broncode in ultralytics/utils/callbacks/mlflow.py
def sanitize_dict(x):
    """Sanitize dictionary keys by removing parentheses and converting values to floats."""
    return {k.replace("(", "").replace(")", ""): float(v) for k, v in x.items()}



ultralytics.utils.callbacks.mlflow.on_pretrain_routine_end(trainer)

Log trainingsparameters naar MLflow aan het einde van de pretrainingsroutine.

Deze functie stelt MLflow logging in op basis van omgevingsvariabelen en trainer argumenten. Het stelt de tracking URI, experimentnaam en runnaam in en start dan de MLflow run als die nog niet actief is. Tot slot worden de parameters van de trainer.

Parameters:

Naam Type Beschrijving Standaard
trainer BaseTrainer

Het trainingsobject met argumenten en parameters om te loggen.

vereist
Wereldwijd

mlflow: De geïmporteerde mlflow module om te gebruiken voor loggen.

Omgevingsvariabelen

MLFLOW_TRACKING_URI: De URI voor MLflow tracking. Als deze niet is ingesteld, wordt deze standaard ingesteld op 'runs/mlflow'. MLFLOW_EXPERIMENT_NAAM: De naam van het MLflow experiment. Als deze niet is ingesteld, wordt deze standaard ingesteld op trainer.args.project. MLFLOW_RUN: De naam van de MLflow run. Als deze niet is ingesteld, wordt deze standaard ingesteld op trainer.args.name. MLFLOW_KEEP_RUN_ACTIVE: Booleaans die aangeeft of de MLflow run actief moet blijven na het einde van de training.

Broncode in ultralytics/utils/callbacks/mlflow.py
def on_pretrain_routine_end(trainer):
    """
    Log training parameters to MLflow at the end of the pretraining routine.

    This function sets up MLflow logging based on environment variables and trainer arguments. It sets the tracking URI,
    experiment name, and run name, then starts the MLflow run if not already active. It finally logs the parameters
    from the trainer.

    Args:
        trainer (ultralytics.engine.trainer.BaseTrainer): The training object with arguments and parameters to log.

    Global:
        mlflow: The imported mlflow module to use for logging.

    Environment Variables:
        MLFLOW_TRACKING_URI: The URI for MLflow tracking. If not set, defaults to 'runs/mlflow'.
        MLFLOW_EXPERIMENT_NAME: The name of the MLflow experiment. If not set, defaults to trainer.args.project.
        MLFLOW_RUN: The name of the MLflow run. If not set, defaults to trainer.args.name.
        MLFLOW_KEEP_RUN_ACTIVE: Boolean indicating whether to keep the MLflow run active after the end of training.
    """
    global mlflow

    uri = os.environ.get("MLFLOW_TRACKING_URI") or str(RUNS_DIR / "mlflow")
    LOGGER.debug(f"{PREFIX} tracking uri: {uri}")
    mlflow.set_tracking_uri(uri)

    # Set experiment and run names
    experiment_name = os.environ.get("MLFLOW_EXPERIMENT_NAME") or trainer.args.project or "/Shared/YOLOv8"
    run_name = os.environ.get("MLFLOW_RUN") or trainer.args.name
    mlflow.set_experiment(experiment_name)

    mlflow.autolog()
    try:
        active_run = mlflow.active_run() or mlflow.start_run(run_name=run_name)
        LOGGER.info(f"{PREFIX}logging run_id({active_run.info.run_id}) to {uri}")
        if Path(uri).is_dir():
            LOGGER.info(f"{PREFIX}view at http://127.0.0.1:5000 with 'mlflow server --backend-store-uri {uri}'")
        LOGGER.info(f"{PREFIX}disable with 'yolo settings mlflow=False'")
        mlflow.log_params(dict(trainer.args))
    except Exception as e:
        LOGGER.warning(f"{PREFIX}WARNING ⚠️ Failed to initialize: {e}\n" f"{PREFIX}WARNING ⚠️ Not tracking this run")



ultralytics.utils.callbacks.mlflow.on_train_epoch_end(trainer)

Log de trainingsmetriek aan het eind van elke treinechoch naar MLflow.

Broncode in ultralytics/utils/callbacks/mlflow.py
def on_train_epoch_end(trainer):
    """Log training metrics at the end of each train epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(
            metrics={
                **sanitize_dict(trainer.lr),
                **sanitize_dict(trainer.label_loss_items(trainer.tloss, prefix="train")),
            },
            step=trainer.epoch,
        )



ultralytics.utils.callbacks.mlflow.on_fit_epoch_end(trainer)

Log de trainingsgegevens aan het einde van elke fit-epoch naar MLflow.

Broncode in ultralytics/utils/callbacks/mlflow.py
def on_fit_epoch_end(trainer):
    """Log training metrics at the end of each fit epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(metrics=sanitize_dict(trainer.metrics), step=trainer.epoch)



ultralytics.utils.callbacks.mlflow.on_train_end(trainer)

Log modelartefacten aan het einde van de training.

Broncode in ultralytics/utils/callbacks/mlflow.py
def on_train_end(trainer):
    """Log model artifacts at the end of the training."""
    if not mlflow:
        return
    mlflow.log_artifact(str(trainer.best.parent))  # log save_dir/weights directory with best.pt and last.pt
    for f in trainer.save_dir.glob("*"):  # log all other files in save_dir
        if f.suffix in {".png", ".jpg", ".csv", ".pt", ".yaml"}:
            mlflow.log_artifact(str(f))
    keep_run_active = os.environ.get("MLFLOW_KEEP_RUN_ACTIVE", "False").lower() == "true"
    if keep_run_active:
        LOGGER.info(f"{PREFIX}mlflow run still alive, remember to close it using mlflow.end_run()")
    else:
        mlflow.end_run()
        LOGGER.debug(f"{PREFIX}mlflow run ended")

    LOGGER.info(
        f"{PREFIX}results logged to {mlflow.get_tracking_uri()}\n{PREFIX}disable with 'yolo settings mlflow=False'"
    )





Aangemaakt 2023-11-12, Bijgewerkt 2024-06-17
Auteurs: glenn-jocher (7), Burhan-Q (1), Laughing-q (1)