Интеграция MLflow с Ultralytics YOLO#

Введение#

Логирование экспериментов — важная составляющая рабочих процессов машинного обучения, позволяющая отслеживать различные метрики, параметры и артефакты. Это помогает повысить воспроизводимость моделей, отлаживать проблемы и улучшать производительность моделей. Ultralytics YOLO, известный своими возможностями обнаружения объектов в реальном времени, теперь предлагает интеграцию с MLflow — платформой с открытым исходным кодом для комплексного управления жизненным циклом машинного обучения.

Эта страница документации — подробное руководство по настройке и использованию возможностей логирования MLflow в проекте Ultralytics YOLO.

Что такое MLflow?#

MLflow — платформа с открытым исходным кодом, разработанная компанией Databricks для управления полным жизненным циклом машинного обучения. Она включает инструменты для отслеживания экспериментов, упаковки кода в воспроизводимые запуски, а также публикации и развёртывания моделей. MLflow рассчитан на работу с любой библиотекой машинного обучения и языком программирования.

Возможности#

• Логирование метрик: в конце каждой эпохи записывает скорости обучения, потери при обучении и метрики валидации.
• Логирование параметров: записывает все параметры, использованные при обучении.
• Логирование артефактов: в конце обучения записывает артефакты модели, включая веса и файлы конфигурации.

Настройка и предварительные требования#

Убедись, что MLflow установлен. Если нет, установи его с помощью pip:

pip install mlflow

Убедись, что логирование MLflow включено в настройках Ultralytics. Обычно это задаётся ключом настроек mlflow. Подробнее смотри на странице настроек.

from ultralytics import settings

# Обновить параметр
settings.update({"mlflow": True})

# Сбросить настройки до значений по умолчанию
settings.reset()

Как пользоваться#

Команды#

1. Задать имя проекта: имя проекта можно задать с помощью переменной окружения:

   export MLFLOW_EXPERIMENT_NAME=YOUR_EXPERIMENT_NAME

   Или используй аргумент project=<project> при обучении модели YOLO, например yolo train project=my_project.

2. Задать имя запуска: как и имя проекта, имя запуска можно задать с помощью переменной окружения:

   export MLFLOW_RUN=YOUR_RUN_NAME

   Или используй аргумент name=<name> при обучении модели YOLO, например yolo train project=my_project name=my_name.

3. Запустить локальный сервер MLflow: чтобы начать отслеживание, используй команду:

   mlflow server --backend-store-uri runs/mlflow

   По умолчанию запустится локальный сервер по адресу http://127.0.0.1:5000, а все журналы mlflow сохранятся в каталоге 'runs/mlflow'. Чтобы направить обучающие запуски на другой сервер отслеживания, перед обучением экспортируй MLFLOW_TRACKING_URI:

   export MLFLOW_TRACKING_URI=http://127.0.0.1:5000

4. Оставить запуск MLflow активным после обучения: по умолчанию Ultralytics автоматически завершает запуск MLflow после окончания обучения. Чтобы оставить запуск открытым (например, для логирования дополнительных метрик или артефактов из той же записной книжки), перед обучением задай для MLFLOW_KEEP_RUN_ACTIVE значение True:

   export MLFLOW_KEEP_RUN_ACTIVE=True

   Значения 1, true, yes, on, y и t включают это поведение (без учёта регистра). Любое другое значение, в том числе отсутствие переменной, сохраняет поведение по умолчанию — закрытие запуска. Не забудь закрыть его вручную позже с помощью mlflow.end_run().

Журналирование#

За ведение журналов отвечают on_pretrain_routine_end, on_train_epoch_end, on_fit_epoch_end и on_train_end функции обратного вызова. Эти функции автоматически вызываются на соответствующих этапах обучения и отвечают за регистрацию параметров, метрик и артефактов.

Примеры#

1. Регистрация пользовательских метрик: ты можешь добавить пользовательские метрики для регистрации, изменив словарь trainer.metrics до вызова on_fit_epoch_end.

2. Просмотр эксперимента: чтобы просмотреть журналы, перейди на свой сервер MLflow (обычно http://127.0.0.1:5000) и выбери эксперимент и запуск.

3. Просмотр запуска: запуски — это отдельные модели в рамках эксперимента. Нажми на запуск, чтобы посмотреть сведения о нём, включая загруженные артефакты и веса модели.

Отключение MLflow#

Чтобы отключить ведение журналов MLflow:

yolo settings mlflow=False

Заключение#

Интеграция ведения журналов MLflow с Ultralytics YOLO позволяет упростить отслеживание экспериментов машинного обучения. Она помогает эффективно отслеживать метрики производительности и управлять артефактами, способствуя надёжной разработке и развёртыванию моделей. Подробности смотри в официальной документации MLflow.

Часто задаваемые вопросы#