Bỏ để qua phần nội dung

Tài liệu tham khảo cho ultralytics/utils/callbacks/mlflow.py

Ghi

Tệp này có sẵn tại https://github.com/ultralytics/ultralytics/blob/main/ultralytics/utils/callbacks/mlflow.py. Nếu bạn phát hiện ra một vấn đề, vui lòng giúp khắc phục nó bằng cách đóng góp Yêu cầu 🛠️ kéo. Cảm ơn bạn 🙏 !



ultralytics.utils.callbacks.mlflow.sanitize_dict(x)

Sanitize dictionary keys by removing parentheses and converting values to floats.

Mã nguồn trong ultralytics/utils/callbacks/mlflow.py
def sanitize_dict(x):
    """Sanitize dictionary keys by removing parentheses and converting values to floats."""
    return {k.replace("(", "").replace(")", ""): float(v) for k, v in x.items()}



ultralytics.utils.callbacks.mlflow.on_pretrain_routine_end(trainer)

Ghi lại các thông số đào tạo vào MLflow vào cuối quy trình tiền đào tạo.

Hàm này thiết lập ghi nhật ký MLflow dựa trên các biến môi trường và đối số của huấn luyện viên. Nó đặt URI theo dõi, tên thử nghiệm và tên chạy, sau đó bắt đầu chạy MLflow nếu chưa hoạt động. Cuối cùng nó ghi lại các tham số từ huấn luyện viên.

Thông số:

Tên Kiểu Sự miêu tả Mặc định
trainer BaseTrainer

Đối tượng huấn luyện với các đối số và tham số cần ghi lại.

bắt buộc
Toàn cầu

mlflow: Mô-đun mlflow đã nhập để sử dụng để ghi nhật ký.

Biến môi trường

MLFLOW_TRACKING_URI: URI để theo dõi MLflow. Nếu không được đặt, mặc định là 'runs/mlflow'. MLFLOW_EXPERIMENT_NAME: Tên của thí nghiệm MLflow. Nếu không được đặt, mặc định là trainer.args.project. MLFLOW_RUN: Tên của MLflow run. Nếu không được đặt, mặc định là trainer.args.name. MLFLOW_KEEP_RUN_ACTIVE: Boolean cho biết có nên giữ cho MLflow hoạt động sau khi kết thúc đào tạo hay không.

Mã nguồn trong ultralytics/utils/callbacks/mlflow.py
def on_pretrain_routine_end(trainer):
    """
    Log training parameters to MLflow at the end of the pretraining routine.

    This function sets up MLflow logging based on environment variables and trainer arguments. It sets the tracking URI,
    experiment name, and run name, then starts the MLflow run if not already active. It finally logs the parameters
    from the trainer.

    Args:
        trainer (ultralytics.engine.trainer.BaseTrainer): The training object with arguments and parameters to log.

    Global:
        mlflow: The imported mlflow module to use for logging.

    Environment Variables:
        MLFLOW_TRACKING_URI: The URI for MLflow tracking. If not set, defaults to 'runs/mlflow'.
        MLFLOW_EXPERIMENT_NAME: The name of the MLflow experiment. If not set, defaults to trainer.args.project.
        MLFLOW_RUN: The name of the MLflow run. If not set, defaults to trainer.args.name.
        MLFLOW_KEEP_RUN_ACTIVE: Boolean indicating whether to keep the MLflow run active after the end of training.
    """
    global mlflow

    uri = os.environ.get("MLFLOW_TRACKING_URI") or str(RUNS_DIR / "mlflow")
    LOGGER.debug(f"{PREFIX} tracking uri: {uri}")
    mlflow.set_tracking_uri(uri)

    # Set experiment and run names
    experiment_name = os.environ.get("MLFLOW_EXPERIMENT_NAME") or trainer.args.project or "/Shared/YOLOv8"
    run_name = os.environ.get("MLFLOW_RUN") or trainer.args.name
    mlflow.set_experiment(experiment_name)

    mlflow.autolog()
    try:
        active_run = mlflow.active_run() or mlflow.start_run(run_name=run_name)
        LOGGER.info(f"{PREFIX}logging run_id({active_run.info.run_id}) to {uri}")
        if Path(uri).is_dir():
            LOGGER.info(f"{PREFIX}view at http://127.0.0.1:5000 with 'mlflow server --backend-store-uri {uri}'")
        LOGGER.info(f"{PREFIX}disable with 'yolo settings mlflow=False'")
        mlflow.log_params(dict(trainer.args))
    except Exception as e:
        LOGGER.warning(f"{PREFIX}WARNING ⚠️ Failed to initialize: {e}\n" f"{PREFIX}WARNING ⚠️ Not tracking this run")



ultralytics.utils.callbacks.mlflow.on_train_epoch_end(trainer)

Ghi lại số liệu đào tạo vào cuối mỗi kỷ nguyên tàu vào MLflow.

Mã nguồn trong ultralytics/utils/callbacks/mlflow.py
def on_train_epoch_end(trainer):
    """Log training metrics at the end of each train epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(
            metrics={
                **sanitize_dict(trainer.lr),
                **sanitize_dict(trainer.label_loss_items(trainer.tloss, prefix="train")),
            },
            step=trainer.epoch,
        )



ultralytics.utils.callbacks.mlflow.on_fit_epoch_end(trainer)

Ghi lại các chỉ số đào tạo vào cuối mỗi kỷ nguyên phù hợp với MLflow.

Mã nguồn trong ultralytics/utils/callbacks/mlflow.py
def on_fit_epoch_end(trainer):
    """Log training metrics at the end of each fit epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(metrics=sanitize_dict(trainer.metrics), step=trainer.epoch)



ultralytics.utils.callbacks.mlflow.on_train_end(trainer)

Ghi nhật ký hiện vật mô hình khi kết thúc khóa đào tạo.

Mã nguồn trong ultralytics/utils/callbacks/mlflow.py
def on_train_end(trainer):
    """Log model artifacts at the end of the training."""
    if not mlflow:
        return
    mlflow.log_artifact(str(trainer.best.parent))  # log save_dir/weights directory with best.pt and last.pt
    for f in trainer.save_dir.glob("*"):  # log all other files in save_dir
        if f.suffix in {".png", ".jpg", ".csv", ".pt", ".yaml"}:
            mlflow.log_artifact(str(f))
    keep_run_active = os.environ.get("MLFLOW_KEEP_RUN_ACTIVE", "False").lower() == "true"
    if keep_run_active:
        LOGGER.info(f"{PREFIX}mlflow run still alive, remember to close it using mlflow.end_run()")
    else:
        mlflow.end_run()
        LOGGER.debug(f"{PREFIX}mlflow run ended")

    LOGGER.info(
        f"{PREFIX}results logged to {mlflow.get_tracking_uri()}\n{PREFIX}disable with 'yolo settings mlflow=False'"
    )





Created 2023-11-12, Updated 2024-06-17
Authors: glenn-jocher (7), Burhan-Q (1), Laughing-q (1)