Эволюция гиперпараметров

📚 В этом руководстве рассказывается об эволюции гиперпараметров для YOLOv5 🚀. Эволюция гиперпараметров - это метод оптимизации гиперпараметров, использующий для оптимизации генетический алгоритм (ГА).

Гиперпараметры в ML управляют различными аспектами обучения, и поиск оптимальных значений для них может оказаться непростой задачей. Традиционные методы, такие как поиск по сетке, могут быстро стать неразрешимыми из-за 1) высокой размерности пространства поиска, 2) неизвестных корреляций между измерениями и 3) дороговизны оценки пригодности в каждой точке, что делает GA подходящим кандидатом для поиска гиперпараметров.

Прежде чем начать

Клонируй репо и установи requirements.txt в Python>=3.8.0 в окружении, включая PyTorch>=1.8. Модели и наборы данных загружаются автоматически из последнегорелиза YOLOv5 .

git clone https://github.com/ultralytics/yolov5  # clone
cd yolov5
pip install -r requirements.txt  # install

1. Инициализируй гиперпараметры

YOLOv5 имеет около 30 гиперпараметров, используемых для различных настроек обучения. Они определены в *.yaml файлы в /data/hyps каталог. Лучшие начальные предположения дадут лучшие конечные результаты, поэтому важно правильно инициализировать эти значения перед развитием. Если сомневаешься, просто используй значения по умолчанию, которые оптимизированы для тренировок YOLOv5 COCO с нуля.

# YOLOv5 🚀 by Ultralytics, AGPL-3.0 license
# Hyperparameters for low-augmentation COCO training from scratch
# python train.py --batch 64 --cfg yolov5n6.yaml --weights '' --data coco.yaml --img 640 --epochs 300 --linear
# See tutorials for hyperparameter evolution https://github.com/ultralytics/yolov5#tutorials

lr0: 0.01  # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.01  # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937  # SGD momentum/Adam beta1
weight_decay: 0.0005  # optimizer weight decay 5e-4
warmup_epochs: 3.0  # warmup epochs (fractions ok)
warmup_momentum: 0.8  # warmup initial momentum
warmup_bias_lr: 0.1  # warmup initial bias lr
box: 0.05  # box loss gain
cls: 0.5  # cls loss gain
cls_pw: 1.0  # cls BCELoss positive_weight
obj: 1.0  # obj loss gain (scale with pixels)
obj_pw: 1.0  # obj BCELoss positive_weight
iou_t: 0.20  # IoU training threshold
anchor_t: 4.0  # anchor-multiple threshold
# anchors: 3  # anchors per output layer (0 to ignore)
fl_gamma: 0.0  # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015  # image HSV-Hue augmentation (fraction)
hsv_s: 0.7  # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4  # image HSV-Value augmentation (fraction)
degrees: 0.0  # image rotation (+/- deg)
translate: 0.1  # image translation (+/- fraction)
scale: 0.5  # image scale (+/- gain)
shear: 0.0  # image shear (+/- deg)
perspective: 0.0  # image perspective (+/- fraction), range 0-0.001
flipud: 0.0  # image flip up-down (probability)
fliplr: 0.5  # image flip left-right (probability)
mosaic: 1.0  # image mosaic (probability)
mixup: 0.0  # image mixup (probability)
copy_paste: 0.0  # segment copy-paste (probability)

2. Определите, что такое фитнес

Фитнес - это значение, которое мы стремимся максимизировать. В YOLOv5 мы определяем фитнес-функцию по умолчанию как взвешенную комбинацию метрик: mAP@0.5 составляет 10% от веса и mAP@0.5:0.95 На остальные 90% приходится Точность P и вспомни R отсутствует. Ты можешь настроить их по своему усмотрению или использовать определение фитнеса по умолчанию в utils/metrics.py (рекомендуется).

def fitness(x):
    # Model fitness as a weighted combination of metrics
    w = [0.0, 0.0, 0.1, 0.9]  # weights for [P, R, mAP@0.5, mAP@0.5:0.95]
    return (x[:, :4] * w).sum(1)

3. Эволюционируй

Эволюция происходит по базовому сценарию, который мы стремимся улучшить. В нашем примере базовым сценарием является тонкая настройка COCO128 в течение 10 эпох с использованием предварительно обученных YOLOv5s. Команда обучения базового сценария следующая:

python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache

Для эволюции гиперпараметров специфично для этого сценарияначиная с наших начальных значений, определенных в Раздел 1.и максимизируя фитнес, определенный в Раздел 2., append --evolve:

# Single-GPU
python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --evolve

# Multi-GPU
for i in 0 1 2 3 4 5 6 7; do
  sleep $(expr 30 \* $i) &&  # 30-second delay (optional)
  echo 'Starting GPU '$i'...' &&
  nohup python train.py --epochs 10 --data coco128.yaml --weights yolov5s.pt --cache --device $i --evolve > evolve_gpu_$i.log &
done

# Multi-GPU bash-while (not recommended)
for i in 0 1 2 3 4 5 6 7; do
  sleep $(expr 30 \* $i) &&  # 30-second delay (optional)
  echo 'Starting GPU '$i'...' &&
  "$(while true; do nohup python train.py... --device $i --evolve 1 > evolve_gpu_$i.log; done)" &
done

При настройках эволюции по умолчанию базовый сценарий будет запущен 300 раз, то есть в течение 300 поколений. Ты можешь изменять количество поколений с помощью опции --evolve аргумент, то есть python train.py --evolve 1000.

Основными генетическими операторами являются Кроссовер и Мутация. В этой работе используется мутация с вероятностью 80 % и дисперсией 0,04 для создания нового потомства на основе комбинации лучших родителей из всех предыдущих поколений. Результаты записываются в журнал runs/evolve/exp/evolve.csvА потомство с наивысшей физической формой сохраняется каждое поколение как runs/evolve/hyp_evolved.yaml:

# YOLOv5 Hyperparameter Evolution Results
# Best generation: 287
# Last generation: 300
#    metrics/precision,       metrics/recall,      metrics/mAP_0.5, metrics/mAP_0.5:0.95,         val/box_loss,         val/obj_loss,         val/cls_loss
#              0.54634,              0.55625,              0.58201,              0.33665,             0.056451,             0.042892,             0.013441

lr0: 0.01  # initial learning rate (SGD=1E-2, Adam=1E-3)
lrf: 0.2  # final OneCycleLR learning rate (lr0 * lrf)
momentum: 0.937  # SGD momentum/Adam beta1
weight_decay: 0.0005  # optimizer weight decay 5e-4
warmup_epochs: 3.0  # warmup epochs (fractions ok)
warmup_momentum: 0.8  # warmup initial momentum
warmup_bias_lr: 0.1  # warmup initial bias lr
box: 0.05  # box loss gain
cls: 0.5  # cls loss gain
cls_pw: 1.0  # cls BCELoss positive_weight
obj: 1.0  # obj loss gain (scale with pixels)
obj_pw: 1.0  # obj BCELoss positive_weight
iou_t: 0.20  # IoU training threshold
anchor_t: 4.0  # anchor-multiple threshold
# anchors: 3  # anchors per output layer (0 to ignore)
fl_gamma: 0.0  # focal loss gamma (efficientDet default gamma=1.5)
hsv_h: 0.015  # image HSV-Hue augmentation (fraction)
hsv_s: 0.7  # image HSV-Saturation augmentation (fraction)
hsv_v: 0.4  # image HSV-Value augmentation (fraction)
degrees: 0.0  # image rotation (+/- deg)
translate: 0.1  # image translation (+/- fraction)
scale: 0.5  # image scale (+/- gain)
shear: 0.0  # image shear (+/- deg)
perspective: 0.0  # image perspective (+/- fraction), range 0-0.001
flipud: 0.0  # image flip up-down (probability)
fliplr: 0.5  # image flip left-right (probability)
mosaic: 1.0  # image mosaic (probability)
mixup: 0.0  # image mixup (probability)
copy_paste: 0.0  # segment copy-paste (probability)

Мы рекомендуем минимум 300 поколений эволюции для достижения наилучших результатов. Учти, что эволюция - это, как правило, дорогостоящее и трудоемкое занятие, так как базовый сценарий обучается сотни раз, что может потребовать сотни или тысячи часов работы GPU.

4. Визуализируй

evolve.csv изображается как evolve.png на utils.plots.plot_evolve() после завершения эволюции с одним подплотом на гиперпараметр, показывающим соотношение фитнеса (ось y) и значений гиперпараметров (ось x). Желтый цвет указывает на более высокую концентрацию. Вертикальные распределения указывают на то, что параметр был отключен и не мутирует. Это можно выбрать в настройках meta словарь в train.py, и он полезен для фиксации параметров и предотвращения их эволюции.

Развивайся

Поддерживаемые среды

Ultralytics Он предоставляет ряд готовых к использованию окружений, в каждом из которых предустановлены такие необходимые зависимости, как CUDA, CUDNN, Python, и PyTorch, чтобы запустить твои проекты.

Бесплатные ноутбуки с графическим процессором:
Google Cloud: Руководство по быстрому запуску GCP
Amazon: Руководство по быстрому запуску AWS
Azure: Руководство по быстрому запуску AzureML
Docker: Руководство по быстрому запуску Docker

Статус проекта

Этот значок означает, что все тесты непрерывной интеграции (CI) YOLOv5 GitHub Actions успешно пройдены. Эти CI-тесты тщательно проверяют функциональность и производительность YOLOv5 по различным ключевым аспектам: обучение, валидация, вывод, экспорт и бенчмарки. Они обеспечивают стабильную и надежную работу на macOS, Windows и Ubuntu, причем тесты проводятся каждые 24 часа и при каждом новом коммите.

Создано 2023-11-12, Обновлено 2023-12-03
Авторы: glenn-jocher (2)