рд╕рд╛рдордЧреНрд░реА рдкрд░ рдЬрд╛рдПрдВ

рдХреЗ рд▓рд┐рдП рд╕рдВрджрд░реНрдн ultralytics/utils/callbacks/dvc.py

рдиреЛрдЯ

рдпрд╣ рдлрд╝рд╛рдЗрд▓ рдпрд╣рд╛рдБ рдЙрдкрд▓рдмреНрдз рд╣реИ https://github.com/ultralytics/ultralytics/рдмреВрдБрдж/рдореБрдЦреНрдп/ultralytics/utils/callbacks/dvc.py рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░реЗрдВред рдпрджрд┐ рдЖрдк рдХреЛрдИ рд╕рдорд╕реНрдпрд╛ рджреЗрдЦрддреЗ рд╣реИрдВ рддреЛ рдХреГрдкрдпрд╛ рдкреБрд▓ рдЕрдиреБрд░реЛрдз рдХрд╛ рдпреЛрдЧрджрд╛рди рдХрд░рдХреЗ рдЗрд╕реЗ рдареАрдХ рдХрд░рдиреЗ рдореЗрдВ рдорджрдж рдХрд░реЗрдВ ЁЯЫая╕Пред ЁЯЩП рдзрдиреНрдпрд╡рд╛рдж !



ultralytics.utils.callbacks.dvc._log_images(path, prefix='')

DVCLive рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░ рдПрдХ рд╡реИрдХрд▓реНрдкрд┐рдХ рдЙрдкрд╕рд░реНрдЧ рдХреЗ рд╕рд╛рде рдирд┐рд░реНрджрд┐рд╖реНрдЯ рдкрде рдкрд░ рдЫрд╡рд┐рдпреЛрдВ рд▓реЙрдЧ.

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def _log_images(path, prefix=""):
    """Logs images at specified path with an optional prefix using DVCLive."""
    if live:
        name = path.name

        # Group images by batch to enable sliders in UI
        if m := re.search(r"_batch(\d+)", name):
            ni = m[1]
            new_stem = re.sub(r"_batch(\d+)", "_batch", path.stem)
            name = (Path(new_stem) / ni).with_suffix(path.suffix)

        live.log_image(os.path.join(prefix, name), path)



ultralytics.utils.callbacks.dvc._log_plots(plots, prefix='')

рд▓реЙрдЧ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреНрд░рдЧрддрд┐ рдХреЗ рд▓рд┐рдП рдЫрд╡рд┐рдпреЛрдВ рдХреЛ рдкреНрд▓реЙрдЯ рдХрд░рддрд╛ рд╣реИ рдпрджрд┐ рдЙрдиреНрд╣реЗрдВ рдкрд╣рд▓реЗ рд╕рдВрд╕рд╛рдзрд┐рдд рдирд╣реАрдВ рдХрд┐рдпрд╛ рдЧрдпрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def _log_plots(plots, prefix=""):
    """Logs plot images for training progress if they have not been previously processed."""
    for name, params in plots.items():
        timestamp = params["timestamp"]
        if _processed_plots.get(name) != timestamp:
            _log_images(name, prefix)
            _processed_plots[name] = timestamp



ultralytics.utils.callbacks.dvc._log_confusion_matrix(validator)

DVCLive рдХрд╛ рдЙрдкрдпреЛрдЧ рдХрд░рдХреЗ рджрд┐рдП рдЧрдП рд╕рддреНрдпрд╛рдкрдирдХрд░реНрддрд╛ рдХреЗ рд▓рд┐рдП рднреНрд░рдо рдореИрдЯреНрд░рд┐рдХреНрд╕ рд▓реЙрдЧ рдХрд░рддрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def _log_confusion_matrix(validator):
    """Logs the confusion matrix for the given validator using DVCLive."""
    targets = []
    preds = []
    matrix = validator.confusion_matrix.matrix
    names = list(validator.names.values())
    if validator.confusion_matrix.task == "detect":
        names += ["background"]

    for ti, pred in enumerate(matrix.T.astype(int)):
        for pi, num in enumerate(pred):
            targets.extend([names[ti]] * num)
            preds.extend([names[pi]] * num)

    live.log_sklearn_plot("confusion_matrix", targets, preds, name="cf.json", normalized=True)



ultralytics.utils.callbacks.dvc.on_pretrain_routine_start(trainer)

рдкреВрд░реНрд╡-рдкреНрд░рд╢рд┐рдХреНрд╖рдг рджрд┐рдирдЪрд░реНрдпрд╛ рдХреЗ рджреМрд░рд╛рди рдореЗрдЯрд╛рдбреЗрдЯрд╛ рдХреЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рд▓рд┐рдП DVCLive рд▓рдХрдбрд╝рд╣рд╛рд░рд╛ рдкреНрд░рд╛рд░рдВрдн рдХрд░рддрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_pretrain_routine_start(trainer):
    """Initializes DVCLive logger for training metadata during pre-training routine."""
    try:
        global live
        live = dvclive.Live(save_dvc_exp=True, cache_images=True)
        LOGGER.info("DVCLive is detected and auto logging is enabled (run 'yolo settings dvc=False' to disable).")
    except Exception as e:
        LOGGER.warning(f"WARNING тЪая╕П DVCLive installed but not initialized correctly, not logging this run. {e}")



ultralytics.utils.callbacks.dvc.on_pretrain_routine_end(trainer)

рдкреНрд░реАрдЯреНрд░реЗрдирд┐рдВрдЧ рд░реВрдЯреАрди рдХреЗ рдЕрдВрдд рдореЗрдВ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреНрд░рдХреНрд░рд┐рдпрд╛ рд╕реЗ рд╕рдВрдмрдВрдзрд┐рдд рд▓реЙрдЧ рдкреНрд▓реЙрдЯред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_pretrain_routine_end(trainer):
    """Logs plots related to the training process at the end of the pretraining routine."""
    _log_plots(trainer.plots, "train")



ultralytics.utils.callbacks.dvc.on_train_start(trainer)

DVCLive рд▓реЙрдЧрд┐рдВрдЧ рд╕рдХреНрд░рд┐рдп рд╣реИ, рддреЛ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдкреИрд░рд╛рдореАрдЯрд░ рд▓реЙрдЧ рдХрд░рддрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_train_start(trainer):
    """Logs the training parameters if DVCLive logging is active."""
    if live:
        live.log_params(trainer.args)



ultralytics.utils.callbacks.dvc.on_train_epoch_start(trainer)

рдкреНрд░рддреНрдпреЗрдХ рдпреБрдЧ рдХреЗ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреА рд╢реБрд░реБрдЖрдд рдореЗрдВ рд╡реИрд╢реНрд╡рд┐рдХ рдЪрд░ _training_epoch рдорд╛рди рдХреЛ True рдкрд░ рд╕реЗрдЯ рдХрд░рддрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_train_epoch_start(trainer):
    """Sets the global variable _training_epoch value to True at the start of training each epoch."""
    global _training_epoch
    _training_epoch = True



ultralytics.utils.callbacks.dvc.on_fit_epoch_end(trainer)

рд▓реЙрдЧ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдореЗрдЯреНрд░рд┐рдХреНрд╕ рдФрд░ рдореЙрдбрд▓ рдЬрд╛рдирдХрд╛рд░реА, рдФрд░ рдкреНрд░рддреНрдпреЗрдХ рдлрд┐рдЯ рдпреБрдЧ рдХреЗ рдЕрдВрдд рдореЗрдВ рдЕрдЧрд▓реЗ рдЪрд░рдг рдХреЗ рд▓рд┐рдП рдЕрдЧреНрд░рд┐рдоред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_fit_epoch_end(trainer):
    """Logs training metrics and model info, and advances to next step on the end of each fit epoch."""
    global _training_epoch
    if live and _training_epoch:
        all_metrics = {**trainer.label_loss_items(trainer.tloss, prefix="train"), **trainer.metrics, **trainer.lr}
        for metric, value in all_metrics.items():
            live.log_metric(metric, value)

        if trainer.epoch == 0:
            from ultralytics.utils.torch_utils import model_info_for_loggers

            for metric, value in model_info_for_loggers(trainer).items():
                live.log_metric(metric, value, plot=False)

        _log_plots(trainer.plots, "train")
        _log_plots(trainer.validator.plots, "val")

        live.next_step()
        _training_epoch = False



ultralytics.utils.callbacks.dvc.on_train_end(trainer)

DVCLive рд╕рдХреНрд░рд┐рдп рд╣реЛрдиреЗ рдкрд░ рдкреНрд░рд╢рд┐рдХреНрд╖рдг рдХреЗ рдЕрдВрдд рдореЗрдВ рд╕рд░реНрд╡реЛрддреНрддрдо рдореИрдЯреНрд░рд┐рдХреНрд╕, рдкреНрд▓реЙрдЯ рдФрд░ рднреНрд░рдо рдореИрдЯреНрд░рд┐рдХреНрд╕ рдХреЛ рд▓реЙрдЧ рдХрд░рддрд╛ рд╣реИред

рдореЗрдВ рд╕реНрд░реЛрдд рдХреЛрдб ultralytics/utils/callbacks/dvc.py
def on_train_end(trainer):
    """Logs the best metrics, plots, and confusion matrix at the end of training if DVCLive is active."""
    if live:
        # At the end log the best metrics. It runs validator on the best model internally.
        all_metrics = {**trainer.label_loss_items(trainer.tloss, prefix="train"), **trainer.metrics, **trainer.lr}
        for metric, value in all_metrics.items():
            live.log_metric(metric, value, plot=False)

        _log_plots(trainer.plots, "val")
        _log_plots(trainer.validator.plots, "val")
        _log_confusion_matrix(trainer.validator)

        if trainer.best.exists():
            live.log_artifact(trainer.best, copy=True, type="model")

        live.end()





рдмрдирд╛рдпрд╛ рдЧрдпрд╛ 2023-11-12, рдЕрдкрдбреЗрдЯ рдХрд┐рдпрд╛ рдЧрдпрд╛ 2024-05-18
рд▓реЗрдЦрдХ: рдЧреНрд▓реЗрди-рдЬреЛрдЪрд░ (4), рдмреБрд░рд╣рд╛рди-рдХреНрдпреВ (1), рд▓рд╛рдлрд┐рдВрдЧ-рдХреНрдпреВ (1)