Эффективная настройка гиперпараметров с помощью Ray Tune и YOLOv8

Настройка гиперпараметров жизненно важна для достижения максимальной производительности модели путем обнаружения оптимального набора гиперпараметров. Это включает в себя запуск испытаний с различными гиперпараметрами и оценку производительности каждого испытания.

Ускорьте тюнинг с помощью Ultralytics YOLOv8 и Ray Tune.

Ultralytics YOLOv8 включает в себя Ray Tune для настройки гиперпараметров, что упрощает оптимизацию гиперпараметров модели YOLOv8 . С помощью Ray Tune ты можешь использовать продвинутые стратегии поиска, параллелизм и раннюю остановку, чтобы ускорить процесс настройки.

Рэй Тьюн

Ray Tune - это библиотека для настройки гиперпараметров, созданная для эффективности и гибкости. Она поддерживает различные стратегии поиска, параллелизм и стратегии ранней остановки, а также легко интегрируется с популярными фреймворками машинного обучения, включая Ultralytics YOLOv8 .

Интеграция с Weights & Biases

YOLOv8 также позволяет опционально интегрироваться с Weights & Biases для мониторинга процесса настройки.

Установка

Чтобы установить необходимые пакеты, выполни:

# Install and update Ultralytics and Ray Tune packages
pip install -U ultralytics "ray[tune]"

# Optionally install W&B for logging
pip install wandb

Использование

from ultralytics import YOLO

# Load a YOLOv8n model
model = YOLO("yolov8n.pt")

# Start tuning hyperparameters for YOLOv8n training on the COCO8 dataset
result_grid = model.tune(data="coco8.yaml", use_ray=True)

tune() Параметры метода

The tune() Метод в YOLOv8 предоставляет простой в использовании интерфейс для настройки гиперпараметров с помощью Ray Tune. Он принимает несколько аргументов, которые позволяют тебе настроить процесс настройки. Ниже приведено подробное объяснение каждого параметра:

Настроив эти параметры, ты сможешь точно настроить процесс оптимизации гиперпараметров под свои конкретные нужды и имеющиеся вычислительные ресурсы.

Описание пространства поиска по умолчанию

В следующей таблице перечислены параметры пространства поиска по умолчанию для настройки гиперпараметров в YOLOv8 с помощью Ray Tune. Каждый параметр имеет свой диапазон значений, определяемый tune.uniform().

Пример пользовательского пространства поиска

В этом примере мы продемонстрируем, как использовать пользовательское пространство поиска для настройки гиперпараметров с помощью Ray Tune и YOLOv8. Задав пользовательское пространство поиска, ты сможешь сфокусировать процесс настройки на определенных гиперпараметрах, представляющих интерес.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolov8n.pt")

# Run Ray Tune on the model
result_grid = model.tune(
    data="coco8.yaml",
    space={"lr0": tune.uniform(1e-5, 1e-1)},
    epochs=50,
    use_ray=True,
)

В приведенном выше фрагменте кода мы создаем модель YOLO с предварительно обученными весами "yolov8n.pt". Затем мы вызываем программу tune() метод, указав конфигурацию набора данных с помощью "coco8.yaml". Мы предоставляем пользовательское пространство поиска для начальной скорости обучения lr0 используя словарь с ключом "lr0" и значением tune.uniform(1e-5, 1e-1). Наконец, мы передаем дополнительные аргументы тренировки, такие как количество эпох, непосредственно методу tune в виде epochs=50.

Обработка результатов настройки лучей

После проведения эксперимента по настройке гиперпараметров с помощью Ray Tune тебе может понадобиться провести различные анализы полученных результатов. Это руководство проведет тебя через общие рабочие процессы для обработки и анализа этих результатов.

Загрузка результатов экспериментов с мелодиями из каталога

После проведения эксперимента по настройке с tuner.fit()Ты можешь загрузить результаты из каталога. Это полезно, особенно если ты проводишь анализ после выхода из начального обучающего скрипта.

experiment_path = f"{storage_path}/{exp_name}"
print(f"Loading results from {experiment_path}...")

restored_tuner = tune.Tuner.restore(experiment_path, trainable=train_mnist)
result_grid = restored_tuner.get_results()

Базовый анализ на уровне экспериментов

Получи обзор того, как проходили испытания. Ты можешь быстро проверить, не было ли ошибок во время испытаний.

if result_grid.errors:
    print("One or more trials failed!")
else:
    print("No errors!")

Базовый анализ на уровне испытаний

Получи доступ к конфигурациям гиперпараметров отдельных испытаний и последним отчетным метрикам.

for i, result in enumerate(result_grid):
    print(f"Trial #{i}: Configuration: {result.config}, Last Reported Metrics: {result.metrics}")

Построение графика всей истории отчетных показателей для испытания

Ты можешь построить историю отчетных показателей для каждого испытания, чтобы увидеть, как они менялись с течением времени.

import matplotlib.pyplot as plt

for result in result_grid:
    plt.plot(
        result.metrics_dataframe["training_iteration"],
        result.metrics_dataframe["mean_accuracy"],
        label=f"Trial {i}",
    )

plt.xlabel("Training Iterations")
plt.ylabel("Mean Accuracy")
plt.legend()
plt.show()

Резюме

В этой документации мы рассмотрели общие рабочие процессы для анализа результатов экспериментов, проведенных с Ray Tune с помощью Ultralytics. Основные этапы включают загрузку результатов эксперимента из директории, проведение базового анализа на уровне эксперимента и испытания, а также построение графиков метрик.

Узнайте больше, заглянув на страницу документации Ray Tune по анализу результатов , чтобы получить максимальную отдачу от экспериментов по настройке гиперпараметров.

ВОПРОСЫ И ОТВЕТЫ

Как настроить гиперпараметры модели YOLOv8 с помощью Ray Tune?

Чтобы настроить гиперпараметры твоей модели Ultralytics YOLOv8 с помощью Ray Tune, выполни следующие шаги:

1. Установи необходимые пакеты:

   pip install -U ultralytics "ray[tune]"
   pip install wandb  # optional for logging
   

2. Загрузи свою модель YOLOv8 и приступай к настройке:

   from ultralytics import YOLO
   
   # Load a YOLOv8 model
   model = YOLO("yolov8n.pt")
   
   # Start tuning with the COCO8 dataset
   result_grid = model.tune(data="coco8.yaml", use_ray=True)
   

При этом используются продвинутые стратегии поиска и параллелизм Ray Tune, чтобы эффективно оптимизировать гиперпараметры твоей модели. За дополнительной информацией обращайся к документации по Ray Tune.

Какие гиперпараметры по умолчанию используются для настройки YOLOv8 с помощью Ray Tune?

Ultralytics YOLOv8 использует следующие гиперпараметры по умолчанию для настройки с помощью Ray Tune:

Эти гиперпараметры можно настроить под твои конкретные нужды. Полный список и более подробную информацию ты найдешь в руководстве по настройке гиперпараметров.

Как я могу интегрировать Weights & Biases с моим тюнингом модели YOLOv8 ?

Чтобы интегрировать Weights & Biases (W&B) в твой процесс тюнинга Ultralytics YOLOv8 :

1. Установи W&B:

   pip install wandb
   

2. Измени свой скрипт тюнинга:

   import wandb
   
   from ultralytics import YOLO
   
   wandb.init(project="YOLO-Tuning", entity="your-entity")
   
   # Load YOLO model
   model = YOLO("yolov8n.pt")
   
   # Tune hyperparameters
   result_grid = model.tune(data="coco8.yaml", use_ray=True)
   

Эта настройка позволит тебе контролировать процесс настройки, отслеживать конфигурации гиперпараметров и визуализировать результаты в W&B.

Почему стоит использовать Ray Tune для оптимизации гиперпараметров с помощью YOLOv8?

Ray Tune предлагает множество преимуществ для оптимизации гиперпараметров:

• Продвинутые стратегии поиска: Используй такие алгоритмы, как байесовская оптимизация и HyperOpt, для эффективного поиска параметров.
• Параллелизм: Поддерживает параллельное выполнение нескольких испытаний, что значительно ускоряет процесс настройки.
• Ранняя остановка: Используй стратегии вроде ASHA для раннего прекращения малоэффективных испытаний, экономя вычислительные ресурсы.

Ray Tune легко интегрируется с Ultralytics YOLOv8 , предоставляя простой в использовании интерфейс для эффективной настройки гиперпараметров. Чтобы начать, ознакомься с руководством Efficient Hyperparameter Tuning with Ray Tune and YOLOv8.

Как определить пользовательское пространство поиска для настройки гиперпараметров YOLOv8 ?

Чтобы определить пользовательское пространство поиска для твоей настройки гиперпараметров YOLOv8 с помощью Ray Tune:

from ray import tune

from ultralytics import YOLO

model = YOLO("yolov8n.pt")
search_space = {"lr0": tune.uniform(1e-5, 1e-1), "momentum": tune.uniform(0.6, 0.98)}
result_grid = model.tune(data="coco8.yaml", space=search_space, use_ray=True)

Это позволяет настроить диапазон гиперпараметров, таких как начальная скорость обучения и импульс, которые будут исследоваться в процессе настройки. О расширенных настройках читай в разделе " Пример пользовательского пространства поиска ".

Комментарии