Efficiënt afstemmen van hyperparameters met Ray Tune en YOLOv8

Het afstemmen van hyperparameters is van vitaal belang voor het bereiken van topprestaties van het model door de optimale set hyperparameters te ontdekken. Hiervoor worden proeven uitgevoerd met verschillende hyperparameters en wordt de prestatie van elke proef geëvalueerd.

Versnel Tuning met Ultralytics YOLOv8 en Ray Tune

Ultralytics YOLOv8 bevat Ray Tune voor hyperparameter tuning, waardoor de optimalisatie van YOLOv8 model hyperparameters wordt gestroomlijnd. Met Ray Tune kun je gebruik maken van geavanceerde zoekstrategieën, parallellisme en vroegtijdig stoppen om het afstemmingsproces te versnellen.

Ray Tune

Ray Tune is een hyperparameter tuning bibliotheek ontworpen voor efficiëntie en flexibiliteit. Het ondersteunt verschillende zoekstrategieën, parallellisme en vroege stopstrategieën, en integreert naadloos met populaire machine learning frameworks, waaronder Ultralytics YOLOv8 .

Integratie met Weights & Biases

YOLOv8 maakt ook optionele integratie met Weights & Biases voor het bewaken van het tuningsproces.

Installatie

Voer het volgende uit om de vereiste pakketten te installeren:

# Install and update Ultralytics and Ray Tune packages
pip install -U ultralytics "ray[tune]"

# Optionally install W&B for logging
pip install wandb

Gebruik

from ultralytics import YOLO

# Load a YOLOv8n model
model = YOLO('yolov8n.pt')

# Start tuning hyperparameters for YOLOv8n training on the COCO8 dataset
result_grid = model.tune(data='coco8.yaml', use_ray=True)

tune() Methode Parameters

De tune() methode in YOLOv8 biedt een eenvoudig te gebruiken interface voor het afstemmen van hyperparameters met Ray Tune. Het accepteert verschillende argumenten waarmee je het tuningsproces kunt aanpassen. Hieronder volgt een gedetailleerde uitleg van elke parameter:

Door deze parameters aan te passen, kun je het hyperparameter optimalisatieproces afstemmen op je specifieke behoeften en beschikbare rekenkracht.

Standaard zoekruimte Beschrijving

De volgende tabel toont de standaard zoekruimteparameters voor hyperparameter tuning in YOLOv8 met Ray Tune. Elke parameter heeft een specifiek waardebereik gedefinieerd door tune.uniform().

Voorbeeld aangepaste zoekruimte

In dit voorbeeld laten we zien hoe je een aangepaste zoekruimte kunt gebruiken voor het afstemmen van hyperparameters met Ray Tune en YOLOv8. Door een aangepaste zoekruimte op te geven, kun je het afstemmingsproces richten op specifieke hyperparameters die van belang zijn.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolov8n.pt")

# Run Ray Tune on the model
result_grid = model.tune(data="coco8.yaml",
                         space={"lr0": tune.uniform(1e-5, 1e-1)},
                         epochs=50,
                         use_ray=True)

In het bovenstaande codefragment maken we een YOLO model met de "yolov8n.pt" voorgetrainde gewichten. Vervolgens roepen we de tune() methode, waarbij we de configuratie van de dataset specificeren met "coco8.yaml". We bieden een aangepaste zoekruimte voor de initiële leersnelheid lr0 met behulp van een woordenboek met de sleutel "lr0" en de waarde tune.uniform(1e-5, 1e-1). Tot slot geven we extra trainingsargumenten, zoals het aantal epochs, direct door aan de afstemmethode als epochs=50.

Resultaten van Ray Tune verwerken

Na het uitvoeren van een hyperparameter tuning experiment met Ray Tune, wil je misschien verschillende analyses uitvoeren op de verkregen resultaten. Deze handleiding neemt je mee door veelgebruikte workflows voor het verwerken en analyseren van deze resultaten.

Resultaten van afstemexperimenten laden vanuit een directory

Na het afstemexperiment met tuner.fit()kun je de resultaten uit een map laden. Dit is handig, vooral als je de analyse uitvoert nadat het initiële trainingsscript is afgesloten.

experiment_path = f"{storage_path}/{exp_name}"
print(f"Loading results from {experiment_path}...")

restored_tuner = tune.Tuner.restore(experiment_path, trainable=train_mnist)
result_grid = restored_tuner.get_results()

Basale analyse op experimentniveau

Een overzicht krijgen van hoe de proeven hebben gepresteerd. Je kunt snel controleren of er fouten zijn gemaakt tijdens de proeven.

if result_grid.errors:
    print("One or more trials failed!")
else:
    print("No errors!")

Basisanalyse op proefniveau

Toegang tot individuele trial hyperparameter configuraties en de laatst gerapporteerde metriek.

for i, result in enumerate(result_grid):
    print(f"Trial #{i}: Configuration: {result.config}, Last Reported Metrics: {result.metrics}")

De hele geschiedenis van gerapporteerde statistieken voor een proef plotten

Je kunt de geschiedenis van de gerapporteerde statistieken voor elk onderzoek uitzetten om te zien hoe de statistieken zich in de loop van de tijd ontwikkelden.

import matplotlib.pyplot as plt

for result in result_grid:
    plt.plot(result.metrics_dataframe["training_iteration"], result.metrics_dataframe["mean_accuracy"], label=f"Trial {i}")

plt.xlabel('Training Iterations')
plt.ylabel('Mean Accuracy')
plt.legend()
plt.show()

Samenvatting

In deze documentatie hebben we veelvoorkomende workflows behandeld om de resultaten van experimenten uitgevoerd met Ray Tune te analyseren met Ultralytics. De belangrijkste stappen zijn het laden van de experimentresultaten uit een map, het uitvoeren van basisanalyses op experiment- en proefniveau en het plotten van metrieken.

Kijk verder op de pagina Resultaten analyseren van Ray Tune om het meeste uit je hyperparameter tuning experimenten te halen.

Reacties