انتقل إلى المحتوى

مرجع ل ultralytics/utils/callbacks/mlflow.py

ملاحظه

هذا الملف متاح في https://github.com/ultralytics/ultralytics/ نقطة / الرئيسية /ultralytics/ utils / عمليات الاسترجاعات / mlflow .py. إذا اكتشفت مشكلة ، فيرجى المساعدة في إصلاحها من خلال المساهمة في طلب 🛠️ سحب. شكرا لك 🙏!



ultralytics.utils.callbacks.mlflow.on_pretrain_routine_end(trainer)

سجل معلمات التدريب إلى MLflow في نهاية روتين ما قبل التدريب.

تقوم هذه الدالة بإعداد تسجيل MLflow استنادا إلى متغيرات البيئة ووسيطات المدرب. يقوم بتعيين URI للتتبع ، اسم التجربة، واسم التشغيل، ثم يبدأ تشغيل MLflow إذا لم يكن نشطا بالفعل. يقوم أخيرا بتسجيل المعلمات من المدرب.

البارامترات:

اسم نوع وصف افتراضي
trainer BaseTrainer

كائن التدريب مع الوسيطات والمعلمات المراد تسجيلها.

مطلوب
عالمي

mlflow: وحدة mlflow المستوردة لاستخدامها في التسجيل.

متغيرات البيئة

MLFLOW_TRACKING_URI: URI لتتبع MLflow. إذا لم يتم تعيينه ، تعيينه افتراضيا على "runs / mlflow". MLFLOW_EXPERIMENT_NAME: اسم تجربة MLflow. إذا لم يتم تعيينها ، يتم تعيينها افتراضيا إلى trainer.args.project. MLFLOW_RUN: اسم تشغيل MLflow. إذا لم يتم تعيينها ، يتم تعيينها افتراضيا إلى trainer.args.name.

شفرة المصدر في ultralytics/utils/callbacks/mlflow.py
43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 6162 63 64 65 66 676869 7071 72 73747576 7778 798081 82
def on_pretrain_routine_end(trainer):
    """
    Log training parameters to MLflow at the end of the pretraining routine.

    This function sets up MLflow logging based on environment variables and trainer arguments. It sets the tracking URI,
    experiment name, and run name, then starts the MLflow run if not already active. It finally logs the parameters
    from the trainer.

    Args:
        trainer (ultralytics.engine.trainer.BaseTrainer): The training object with arguments and parameters to log.

    Global:
        mlflow: The imported mlflow module to use for logging.

    Environment Variables:
        MLFLOW_TRACKING_URI: The URI for MLflow tracking. If not set, defaults to 'runs/mlflow'.
        MLFLOW_EXPERIMENT_NAME: The name of the MLflow experiment. If not set, defaults to trainer.args.project.
        MLFLOW_RUN: The name of the MLflow run. If not set, defaults to trainer.args.name.
    """
    global mlflow

    uri = os.environ.get("MLFLOW_TRACKING_URI") or str(RUNS_DIR / "mlflow")
    LOGGER.debug(f"{PREFIX} tracking uri: {uri}")
    mlflow.set_tracking_uri(uri)

    # Set experiment and run names
    experiment_name = os.environ.get("MLFLOW_EXPERIMENT_NAME") or trainer.args.project or "/Shared/YOLOv8"
    run_name = os.environ.get("MLFLOW_RUN") or trainer.args.name
    mlflow.set_experiment(experiment_name)

    mlflow.autolog()
    try:
        active_run = mlflow.active_run() or mlflow.start_run(run_name=run_name)
        LOGGER.info(f"{PREFIX}logging run_id({active_run.info.run_id}) to {uri}")
        if Path(uri).is_dir():
            LOGGER.info(f"{PREFIX}view at http://127.0.0.1:5000 with 'mlflow server --backend-store-uri {uri}'")
        LOGGER.info(f"{PREFIX}disable with 'yolo settings mlflow=False'")
        mlflow.log_params(dict(trainer.args))
    except Exception as e:
        LOGGER.warning(f"{PREFIX}WARNING ⚠️ Failed to initialize: {e}\n" f"{PREFIX}WARNING ⚠️ Not tracking this run")



ultralytics.utils.callbacks.mlflow.on_train_epoch_end(trainer)

سجل مقاييس التدريب في نهاية كل حقبة قطار إلى MLflow.

شفرة المصدر في ultralytics/utils/callbacks/mlflow.py
def on_train_epoch_end(trainer):
    """Log training metrics at the end of each train epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(
            metrics={
                **SANITIZE(trainer.lr),
                **SANITIZE(trainer.label_loss_items(trainer.tloss, prefix="train")),
            },
            step=trainer.epoch,
        )



ultralytics.utils.callbacks.mlflow.on_fit_epoch_end(trainer)

سجل مقاييس التدريب في نهاية كل حقبة ملائمة ل MLflow.

شفرة المصدر في ultralytics/utils/callbacks/mlflow.py
def on_fit_epoch_end(trainer):
    """Log training metrics at the end of each fit epoch to MLflow."""
    if mlflow:
        mlflow.log_metrics(metrics=SANITIZE(trainer.metrics), step=trainer.epoch)



ultralytics.utils.callbacks.mlflow.on_train_end(trainer)

سجل القطع الأثرية النموذجية في نهاية التدريب.

شفرة المصدر في ultralytics/utils/callbacks/mlflow.py
103 104 105 106 107 108109 110 111 112 113114115
def on_train_end(trainer):
    """Log model artifacts at the end of the training."""
    if mlflow:
        mlflow.log_artifact(str(trainer.best.parent))  # log save_dir/weights directory with best.pt and last.pt
        for f in trainer.save_dir.glob("*"):  # log all other files in save_dir
            if f.suffix in {".png", ".jpg", ".csv", ".pt", ".yaml"}:
                mlflow.log_artifact(str(f))

        mlflow.end_run()
        LOGGER.info(
            f"{PREFIX}results logged to {mlflow.get_tracking_uri()}\n"
            f"{PREFIX}disable with 'yolo settings mlflow=False'"
        )





تم النشر في 2023-11-12, اخر تحديث 2023-12-01
المؤلفون: جلين جوشر (4) ، يضحك س (1)