Effizientes Hyperparameter-Tuning mit Ray Tune und YOLOv8

Die Abstimmung der Hyperparameter ist wichtig, um die beste Leistung des Modells zu erreichen, indem der optimale Satz von Hyperparametern ermittelt wird. Dazu werden Versuche mit verschiedenen Hyperparametern durchgeführt und die Leistung der einzelnen Versuche bewertet.

Beschleunige das Tuning mit Ultralytics YOLOv8 und Ray Tune

Ultralytics YOLOv8 enthält Ray Tune für die Abstimmung der Hyperparameter, wodurch die Optimierung der Hyperparameter des YOLOv8 Modells vereinfacht wird. Mit Ray Tune kannst du fortschrittliche Suchstrategien, Parallelität und frühzeitiges Anhalten nutzen, um den Abstimmungsprozess zu beschleunigen.

Ray Tune

Ray Tune ist eine Bibliothek zum Abstimmen von Hyperparametern, die auf Effizienz und Flexibilität ausgelegt ist. Sie unterstützt verschiedene Suchstrategien, Parallelität und Frühstoppstrategien und lässt sich nahtlos in gängige Machine-Learning-Frameworks integrieren, darunter Ultralytics YOLOv8 .

Integration mit Weights & Biases

YOLOv8 ermöglicht auch die optionale Integration mit Weights & Biases zur Überwachung des Tuning-Prozesses.

Installation

Um die benötigten Pakete zu installieren, führe sie aus:

# Install and update Ultralytics and Ray Tune packages
pip install -U ultralytics "ray[tune]"

# Optionally install W&B for logging
pip install wandb

Verwendung

from ultralytics import YOLO

# Load a YOLOv8n model
model = YOLO('yolov8n.pt')

# Start tuning hyperparameters for YOLOv8n training on the COCO8 dataset
result_grid = model.tune(data='coco8.yaml', use_ray=True)

tune() Parameter der Methode

Die tune() Methode in YOLOv8 bietet eine einfach zu bedienende Schnittstelle für die Abstimmung der Hyperparameter mit Ray Tune. Sie akzeptiert mehrere Argumente, mit denen du den Abstimmungsprozess anpassen kannst. Nachfolgend findest du eine ausführliche Erklärung der einzelnen Parameter:

Indem du diese Parameter anpasst, kannst du den Hyperparameter-Optimierungsprozess genau auf deine Bedürfnisse und die verfügbaren Rechenressourcen abstimmen.

Standard-Suchraum Beschreibung

In der folgenden Tabelle sind die Standard-Suchraumparameter für das Hyperparameter-Tuning in YOLOv8 mit Ray Tune aufgeführt. Jeder Parameter hat einen bestimmten Wertebereich, der durch tune.uniform().

Beispiel für einen benutzerdefinierten Suchraum

In diesem Beispiel zeigen wir dir, wie du einen benutzerdefinierten Suchraum für die Abstimmung der Hyperparameter mit Ray Tune und YOLOv8 verwenden kannst. Indem du einen benutzerdefinierten Suchraum angibst, kannst du den Abstimmungsprozess auf bestimmte Hyperparameter von Interesse konzentrieren.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolov8n.pt")

# Run Ray Tune on the model
result_grid = model.tune(data="coco8.yaml",
                         space={"lr0": tune.uniform(1e-5, 1e-1)},
                         epochs=50,
                         use_ray=True)

Im obigen Codeschnipsel erstellen wir ein YOLO Modell mit den vortrainierten Gewichten "yolov8n.pt". Dann rufen wir die tune() Methode, wobei die Datensatzkonfiguration mit "coco8.yaml" angegeben wird. Wir stellen einen eigenen Suchraum für die anfängliche Lernrate zur Verfügung lr0 unter Verwendung eines Wörterbuchs mit dem Schlüssel "lr0" und dem Wert tune.uniform(1e-5, 1e-1). Schließlich übergeben wir zusätzliche Trainingsargumente, wie die Anzahl der Epochen, direkt an die Tune-Methode als epochs=50.

Verarbeitung der Ray Tune Ergebnisse

Nachdem du ein Hyperparameter-Tuning-Experiment mit Ray Tune durchgeführt hast, möchtest du vielleicht verschiedene Analysen der erhaltenen Ergebnisse durchführen. Dieser Leitfaden führt dich durch gängige Arbeitsabläufe zur Verarbeitung und Analyse dieser Ergebnisse.

Tune Experiment Ergebnisse aus einem Verzeichnis laden

Nach der Durchführung des Tuning-Experiments mit tuner.fit()kannst du die Ergebnisse aus einem Verzeichnis laden. Das ist besonders nützlich, wenn du die Analyse durchführst, nachdem das ursprüngliche Trainingsskript beendet wurde.

experiment_path = f"{storage_path}/{exp_name}"
print(f"Loading results from {experiment_path}...")

restored_tuner = tune.Tuner.restore(experiment_path, trainable=train_mnist)
result_grid = restored_tuner.get_results()

Grundlegende Analyse auf Experiment-Ebene

Verschaffe dir einen Überblick darüber, wie die Versuche gelaufen sind. Du kannst schnell überprüfen, ob es bei den Versuchen Fehler gab.

if result_grid.errors:
    print("One or more trials failed!")
else:
    print("No errors!")

Grundlegende Analyse auf Trial-Ebene

Zugriff auf die Konfigurationen der einzelnen Versuchshyperparameter und die zuletzt gemeldeten Metriken.

for i, result in enumerate(result_grid):
    print(f"Trial #{i}: Configuration: {result.config}, Last Reported Metrics: {result.metrics}")

Darstellung der gesamten Historie der gemeldeten Metriken für eine Prüfung

Du kannst den Verlauf der gemeldeten Kennzahlen für jeden Versuch darstellen, um zu sehen, wie sich die Kennzahlen im Laufe der Zeit entwickelt haben.

import matplotlib.pyplot as plt

for result in result_grid:
    plt.plot(result.metrics_dataframe["training_iteration"], result.metrics_dataframe["mean_accuracy"], label=f"Trial {i}")

plt.xlabel('Training Iterations')
plt.ylabel('Mean Accuracy')
plt.legend()
plt.show()

Zusammenfassung

In dieser Dokumentation haben wir gängige Arbeitsabläufe zur Analyse der Ergebnisse von Ray Tune-Experimenten mit Ultralytics behandelt. Zu den wichtigsten Schritten gehören das Laden der Versuchsergebnisse aus einem Verzeichnis, die Durchführung grundlegender Analysen auf Versuchs- und Experimentsebene und das Erstellen von Diagrammen für die Metriken.

Um das Beste aus deinen Hyperparameter-Tuning-Experimenten herauszuholen, kannst du die Dokumentseite von Ray Tune zum Thema " Ergebnisse analysieren " lesen.

Kommentare