Эффективная настройка гиперпараметров с помощью Ray Tune и YOLOv8

Настройка гиперпараметров жизненно важна для достижения пиковой производительности модели путем выявления оптимального набора гиперпараметров. Для этого нужно провести испытания с разными гиперпараметрами и оценить эффективность каждого испытания.

Ускорьте тюнинг с помощью Ultralytics YOLOv8 и Ray Tune.

Ultralytics YOLOv8 включает в себя Ray Tune для настройки гиперпараметров, что упрощает оптимизацию гиперпараметров модели YOLOv8 . С помощью Ray Tune ты можешь использовать продвинутые стратегии поиска, параллелизм и раннюю остановку, чтобы ускорить процесс настройки.

Рэй Тьюн

Ray Tune - это библиотека для настройки гиперпараметров, созданная для эффективности и гибкости. Она поддерживает различные стратегии поиска, параллелизм и стратегии ранней остановки, а также легко интегрируется с популярными фреймворками машинного обучения, включая Ultralytics YOLOv8 .

Интеграция с Weights & Biases

YOLOv8 также позволяет опционально интегрироваться с Weights & Biases для мониторинга процесса настройки.

Установка

Чтобы установить необходимые пакеты, выполни:

# Install and update Ultralytics and Ray Tune packages
pip install -U ultralytics "ray[tune]"

# Optionally install W&B for logging
pip install wandb

Использование

from ultralytics import YOLO

# Load a YOLOv8n model
model = YOLO('yolov8n.pt')

# Start tuning hyperparameters for YOLOv8n training on the COCO8 dataset
result_grid = model.tune(data='coco8.yaml', use_ray=True)

tune() Параметры метода

The tune() Метод в YOLOv8 предоставляет простой в использовании интерфейс для настройки гиперпараметров с помощью Ray Tune. Он принимает несколько аргументов, которые позволяют тебе настроить процесс настройки. Ниже приведено подробное объяснение каждого параметра:

Настроив эти параметры, ты сможешь точно настроить процесс оптимизации гиперпараметров под свои конкретные нужды и имеющиеся вычислительные ресурсы.

Описание пространства поиска по умолчанию

В следующей таблице перечислены параметры пространства поиска по умолчанию для настройки гиперпараметров в YOLOv8 с помощью Ray Tune. Каждый параметр имеет свой диапазон значений, определяемый tune.uniform().

Пример пользовательского пространства поиска

В этом примере мы продемонстрируем, как использовать пользовательское пространство поиска для настройки гиперпараметров с помощью Ray Tune и YOLOv8. Задав пользовательское пространство поиска, ты сможешь сфокусировать процесс настройки на определенных гиперпараметрах, представляющих интерес.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolov8n.pt")

# Run Ray Tune on the model
result_grid = model.tune(data="coco8.yaml",
                         space={"lr0": tune.uniform(1e-5, 1e-1)},
                         epochs=50,
                         use_ray=True)

В приведенном выше фрагменте кода мы создаем модель YOLO с предварительно обученными весами "yolov8n.pt". Затем мы вызываем программу tune() метод, указав конфигурацию набора данных с помощью "coco8.yaml". Мы предоставляем пользовательское пространство поиска для начальной скорости обучения lr0 используя словарь с ключом "lr0" и значением tune.uniform(1e-5, 1e-1). Наконец, мы передаем дополнительные аргументы тренировки, такие как количество эпох, непосредственно методу tune в виде epochs=50.

Обработка результатов настройки лучей

После проведения эксперимента по настройке гиперпараметров с помощью Ray Tune тебе может понадобиться провести различные анализы полученных результатов. Это руководство проведет тебя через общие рабочие процессы для обработки и анализа этих результатов.

Загрузка результатов экспериментов с мелодиями из каталога

После проведения эксперимента по настройке с tuner.fit()Ты можешь загрузить результаты из каталога. Это полезно, особенно если ты проводишь анализ после выхода из начального обучающего скрипта.

experiment_path = f"{storage_path}/{exp_name}"
print(f"Loading results from {experiment_path}...")

restored_tuner = tune.Tuner.restore(experiment_path, trainable=train_mnist)
result_grid = restored_tuner.get_results()

Базовый анализ на уровне экспериментов

Получи обзор того, как проходили испытания. Ты можешь быстро проверить, не было ли ошибок во время испытаний.

if result_grid.errors:
    print("One or more trials failed!")
else:
    print("No errors!")

Базовый анализ на уровне испытаний

Получи доступ к конфигурациям гиперпараметров отдельных испытаний и последним отчетным метрикам.

for i, result in enumerate(result_grid):
    print(f"Trial #{i}: Configuration: {result.config}, Last Reported Metrics: {result.metrics}")

Построение графика всей истории отчетных показателей для испытания

Ты можешь построить историю отчетных показателей для каждого испытания, чтобы увидеть, как они менялись с течением времени.

import matplotlib.pyplot as plt

for result in result_grid:
    plt.plot(result.metrics_dataframe["training_iteration"], result.metrics_dataframe["mean_accuracy"], label=f"Trial {i}")

plt.xlabel('Training Iterations')
plt.ylabel('Mean Accuracy')
plt.legend()
plt.show()

Резюме

В этой документации мы рассмотрели общие рабочие процессы для анализа результатов экспериментов, проведенных с Ray Tune с помощью Ultralytics. Основные этапы включают загрузку результатов эксперимента из директории, проведение базового анализа на уровне эксперимента и испытания, а также построение графиков метрик.

Чтобы получить максимальную отдачу от экспериментов по настройке гиперпараметров, загляни в документацию Ray Tune на странице Analyze Results.

Комментарии