Начать

Расширенное отслеживание экспериментов YOLO26 с DVCLive

Отслеживание экспериментов в машинном обучении критически важно для разработки и оценки моделей. Оно включает запись и анализ различных параметров, метрик и результатов многочисленных запусков обучения. Этот процесс необходим для понимания производительности модели и принятия решений на основе данных, чтобы улучшать и оптимизировать модели.

Интеграция DVCLive с Ultralytics YOLO26 автоматически записывает ключевые сведения об экспериментах, сравнивает результаты разных запусков и визуализирует данные для углубленного анализа. В этом руководстве показано, как настроить интеграцию и пользоваться ею.

DVCLive#

DVCLive experiment tracking integration

DVCLive, разработанный командой DVC, — это инструмент с открытым исходным кодом для отслеживания экспериментов в машинном обучении. Он работает с Git и DVC, чтобы автоматизировать запись данных экспериментов, например параметров модели и метрик обучения, и упрощает сравнение и анализ нескольких запусков с помощью инструментов визуализации данных и анализа.

Обучение YOLO26 с DVCLive#

За ходом обучения YOLO26 можно следить с помощью DVCLive. DVC также предоставляет инструменты визуализации экспериментов, в том числе отчет со сравнением графиков метрик для всех отслеживаемых экспериментов.

Установка#

Чтобы установить необходимые пакеты, выполни команду:

Установка
# Install the required packages for YOLO26 and DVCLive
pip install ultralytics dvclive

Подробные инструкции и рекомендации по установке смотри в нашем руководстве по установке YOLO26. Если при установке необходимых пакетов для YOLO26 возникнут трудности, решения и советы найдёшь в нашем руководстве по распространённым проблемам.

Настройка DVCLive#

После установки необходимых пакетов настрой среду проекта, чтобы DVCLive мог записывать эксперименты вместе с кодом.

Сначала создай репозиторий Git, поскольку Git играет важную роль в управлении версиями как кода, так и конфигураций DVCLive.

Первоначальная настройка окружения
# Initialize a Git repository
git init -q

# Configure Git with your details
git config --local user.email "your-email"
git config --local user.name "Your Name"

# Initialize DVC in your project
dvc init -q

# Commit the DVC setup to your Git repository
git commit -m "DVC init"

В этих командах замени your-email на адрес электронной почты, связанный с твоей учетной записью Git, а "Your Name" — на имя пользователя твоей учетной записи Git.

Использование#

Обучение моделей YOLO26 с DVCLive#

Для начала запусти обучение YOLO26. Ты можешь выбрать конфигурации моделей и параметры обучения в соответствии с требованиями проекта. Например:

# Example training commands for YOLO26 with varying configurations
yolo train model=yolo26n.pt data=coco8.yaml epochs=5 imgsz=512
yolo train model=yolo26n.pt data=coco8.yaml epochs=5 imgsz=640

Настрой параметры модели, набора данных, числа эпох и imgsz в соответствии со своими требованиями. Подробное описание процесса обучения модели и рекомендаций см. в нашем руководстве по обучению моделей YOLO26.

Отслеживание экспериментов с DVCLive#

DVCLive улучшает процесс обучения, позволяя отслеживать и визуализировать ключевые метрики. После установки DVCLive его callback включается по умолчанию. Он регистрирует аргументы обучения, потери для каждой эпохи, метрики валидации и скорости обучения, графики обучения и валидации, матрицу ошибок и best.pt в качестве артефакта модели. Запусти yolo settings dvc=False, чтобы отключить интеграцию. Чтобы подробно разобраться в конкретных метриках производительности, используемых во время обучения, изучи наше подробное руководство по метрикам производительности.

Анализ результатов#

После завершения обучения YOLO26 можно проанализировать результаты с помощью инструментов визуализации DVCLive. Поскольку интеграция записывает все метрики обучения, ты можешь оценить производительность модели в разных запусках.

Для начала анализа извлеки данные экспериментов с помощью API DVC и обработай их в Pandas, чтобы упростить работу с ними и визуализацию:

import dvc.api
import pandas as pd

# Определи интересующие столбцы
columns = ["Experiment", "epochs", "imgsz", "model", "metrics.mAP50-95(B)"]

# Получи данные экспериментов
df = pd.DataFrame(dvc.api.exp_show(), columns=columns)

# Очисти данные
df.dropna(inplace=True)
df.reset_index(drop=True, inplace=True)

# Выведи DataFrame
print(df)

Результат приведённого выше фрагмента кода показывает наглядную таблицу проведённых экспериментов с моделями YOLO26. Каждая строка соответствует отдельному запуску обучения и содержит название эксперимента, число эпох, размер изображения (imgsz), использованную модель и метрику mAP50-95(B). Эта метрика важна для оценки точности модели: чем выше значение, тем лучше результат.

Визуализация результатов с помощью Plotly#

Для более наглядного интерактивного анализа результатов экспериментов можно использовать график параллельных координат в Plotly. Такой график особенно полезен для понимания взаимосвязей и компромиссов между различными параметрами и метриками.

from plotly.express import parallel_coordinates

# Построй график параллельных координат
fig = parallel_coordinates(df, columns, color="metrics.mAP50-95(B)")

# Отобрази график
fig.show()

Результат приведённого выше фрагмента кода строит график, на котором наглядно показаны взаимосвязи между эпохами, размером изображения, типом модели и соответствующими оценками mAP50-95(B). Это позволяет выявлять тенденции и закономерности в данных экспериментов.

Создание сравнительных визуализаций с помощью DVC#

В DVC есть удобная команда для создания сравнительных графиков экспериментов. Она особенно полезна для сравнения производительности разных моделей в различных запусках обучения.

# Generate DVC comparative plots
dvc plots diff $(dvc exp list --names-only)

После выполнения этой команды DVC создаёт графики для сравнения метрик между разными экспериментами и сохраняет их в виде HTML-файлов. Ниже приведён пример изображения с типичными графиками, созданными таким способом. На изображении представлены различные графики, в том числе графики mAP, полноты, точности, значений функции потерь и других показателей. Они наглядно демонстрируют ключевые метрики производительности:

DVCLive training metrics comparison plots

Отображение графиков DVC#

Если ты работаешь в Jupyter Notebook и хочешь отобразить построенные графики DVC, воспользуйся функцией отображения IPython.

from IPython.display import HTML

# Отобрази графики DVC в формате HTML
HTML(filename="./dvc_plots/index.html")

Этот код выведет HTML-файл с графиками DVC прямо в Jupyter Notebook, чтобы тебе было удобнее анализировать визуализированные данные экспериментов.

Принятие решений на основе данных#

Используй выводы, полученные благодаря этим визуализациям, чтобы принимать обоснованные решения по оптимизации модели, настройке гиперпараметров и другим изменениям, повышающим производительность модели.

Повторение экспериментов#

На основе результатов анализа повторяй эксперименты. Меняй конфигурации модели, параметры обучения или даже входные данные, а затем заново выполняй обучение и анализ. Такой итеративный подход необходим, чтобы улучшить модель и добиться наилучшей производительности.

Итоги#

В этом руководстве описана интеграция DVCLive с Ultralytics YOLO26: от настройки до мониторинга экспериментов, визуализации и анализа.

Подробнее о работе с DVCLive читай в официальной документации DVCLive.

Часто задаваемые вопросы#

  • Интегрировать DVCLive с Ultralytics YOLO26 просто. Сначала установи необходимые пакеты:

    Установка
    pip install ultralytics dvclive

    Затем создай репозиторий Git и настрой DVCLive в проекте:

    Первоначальная настройка окружения
    git init -q
    git config --local user.email "your-email"
    git config --local user.name "Your Name"
    dvc init -q
    git commit -m "DVC init"

    Подробные инструкции по настройке смотри в нашем руководстве по установке YOLO26.

  • Использование DVCLive с YOLO26 даёт несколько преимуществ, например:

    • Автоматическое журналирование: DVCLive автоматически записывает ключевые сведения об эксперименте, например параметры модели и метрики.
    • Удобное сравнение: упрощает сравнение результатов разных запусков.
    • Инструменты визуализации: Используют возможности DVCLive для визуализации данных и углубленного анализа.

    Подробнее смотри в наших руководствах по обучению модели YOLO26 и метрикам производительности YOLO, чтобы эффективнее отслеживать эксперименты.

  • После завершения обучения YOLO26 DVCLive поможет эффективно визуализировать и анализировать результаты. Пример кода для загрузки и отображения данных экспериментов:

    import dvc.api
    import pandas as pd
    
    # Определи нужные столбцы
    columns = ["Experiment", "epochs", "imgsz", "model", "metrics.mAP50-95(B)"]
    
    # Получи данные экспериментов
    df = pd.DataFrame(dvc.api.exp_show(), columns=columns)
    
    # Очисти данные
    df.dropna(inplace=True)
    df.reset_index(drop=True, inplace=True)
    
    # Выведи DataFrame
    print(df)

    Для интерактивной визуализации результатов используй график параллельных координат в Plotly:

    from plotly.express import parallel_coordinates
    
    fig = parallel_coordinates(df, columns, color="metrics.mAP50-95(B)")
    fig.show()

    Больше примеров и рекомендаций смотри в нашем руководстве по обучению YOLO26 с DVCLive.

  • Чтобы правильно настроить среду для интеграции DVCLive и YOLO26, выполни следующие действия:

    1. Установи необходимые пакеты: выполни pip install ultralytics dvclive.
    2. Создай репозиторий Git: выполни git init -q.
    3. Инициализируй DVC: выполни dvc init -q.
    4. Создай коммит в Git: выполни git commit -m "DVC init".

    Эти шаги обеспечивают правильную настройку и контроль версий для отслеживания экспериментов.

  • DVCLive предлагает инструменты для визуализации результатов экспериментов YOLO26. Вот как построить сравнительные графики:

    Построение сравнительных графиков
    dvc plots diff $(dvc exp list --names-only)

    Чтобы отобразить эти графики в Jupyter Notebook, выполни:

    from IPython.display import HTML
    
    # Отобрази графики в формате HTML
    HTML(filename="./dvc_plots/index.html")

    Эти визуализации помогают выявлять тенденции и оптимизировать производительность модели.

Комментарии5

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. UltralyticsAssistantGitHubUltralytics

    👋 Hello, thank you for bringing this up and for your interest in Ultralytics 🚀!

    We recommend starting with the Ultralytics Documentation, where you can explore various features, including helpful integrations like DVC, to improve your ML workflows. The linked Chinese documentation will also be very helpful: 多功能集成:DVCLive!

    If this is a 🐛 Bug Report, please provide a minimum reproducible example to help us further investigate the issue.

    If this is a custom training ❓ Question, include as much detail as possible, such as your use case, dataset details, any training logs, and ensure you're leveraging the relevant model training tips to get the best results.

    Here are a few recommendations to ensure you're up to date and ready to experiment with integrations like DVCLive:

    Upgrade

    Make sure you're using the latest version of the ultralytics package by upgrading in your setup:

    pip install -U ultralytics

    The latest version ensures compatibility with integrations like DVCLive and other features.

    Supported Environments

    You can work seamlessly with YOLO and its integrations in the following environments:

    For real-time assistance, join the Ultralytics Discord 🎧, or for longer discussions, participate in our Discourse. You can also connect with others in our Subreddit for knowledge sharing.

    An Ultralytics engineer will review your post soon and assist further. Thanks again for contributing to the Ultralytics community! ✨

    1. liggrGitHub

      Command line input command ”dvc plots diff $(dvc exp list --names-only)“,prompt ”No plots were loaded, visualization file will not be created.“, do I need to do any configuration?

    2. Glenn JocherUltralytics

      @liggr to resolve the "No plots were loaded" message, ensure you've completed at least two YOLO training experiments with DVCLive logging enabled. The DVC integration requires tracked experiments to compare. Verify your experiments exist with dvc exp list --names-only after training. For setup details, refer to the DVCLive integration guide.