Ultralytics YOLO Hyperparameter-Optimierungs-Anleitung

Einführung

Die Hyperparameter-Optimierung ist nicht nur eine einmalige Konfiguration, sondern ein iterativer Prozess, der darauf abzielt, die Leistungskennzahlen des Machine-Learning-Modells wie Genauigkeit, Präzision und Recall zu optimieren. Im Zusammenhang mit Ultralytics YOLO können diese Hyperparameter von der Lernrate bis hin zu architektonischen Details wie der Anzahl der Schichten oder den verwendeten Aktivierungsfunktionen reichen. Ultralytics unterstützt zudem das Training in der Cloud mit konfigurierbaren Hyperparametern und der Verfolgung von Kennzahlen in Echtzeit.

Ansehen: So optimieren Sie Hyperparameter für eine bessere Modellleistung 🚀

Was sind Hyperparameter?

Hyperparameter sind übergeordnete, strukturelle Einstellungen für den Algorithmus. Sie werden vor der Trainingsphase festgelegt und bleiben während dieser konstant. Hier sind einige häufig optimierte Hyperparameter in Ultralytics YOLO:

• Lernrate lr0: Bestimmt die Schrittweite bei jeder Iteration, während man sich einem Minimum in der Verlustfunktion nähert.
• Batch-Größe batch: Anzahl der Bilder, die gleichzeitig in einem Forward Pass verarbeitet werden.
• Anzahl der Epochen epochs: Eine Epoche ist ein vollständiger Forward- und Backward-Pass aller Trainingsbeispiele.
• Architekturspezifika: Wie z. B. Kanalanzahl, Anzahl der Schichten, Arten von Aktivierungsfunktionen usw.

Eine vollständige Liste der in YOLO26 verwendeten Augmentations-Hyperparameter finden Sie auf der Konfigurationsseite.

Genetische Evolution und Mutation

Ultralytics YOLO verwendet genetische Algorithmen, um Hyperparameter zu optimieren. Genetische Algorithmen sind von den Mechanismen der natürlichen Selektion und Genetik inspiriert.

• Crossover: Bei jeder Iteration werden Gene aus bis zu neun der bisher beobachteten Konfigurationen mit der höchsten Fitness kombiniert, wobei ein BLX-α-Crossover mit fitnessgewichteter Elternselektion zum Einsatz kommt.
• Mutation: Der neu kombinierte Kandidat wird anschließend durch einen logarithmisch-normalen Multiplikationsfaktor verzerrt, der auf jeden Hyperparameter angewendet wird (mit einer Wahrscheinlichkeit von 0,5 pro Parameter). Die Mutationsstärke Sigma nimmt in den ersten 300 Iterationen linear von 0,2 auf 0,1 ab, sodass der Algorithmus zu Beginn einen breiten Suchraum abdeckt und diesen im Zuge der Konvergenz verfeinert. Iteration 1 hat keine Eltern, von denen eine Kreuzung erfolgen könnte, und verwendet die Standard-Trainingshyperparameter als Ausgangsbasis.

Vorbereitung der Hyperparameter-Optimierung

Bevor Sie mit der Optimierung beginnen, ist es wichtig:

1. Metriken identifizieren: Bestimmen Sie die Metriken, die Sie zur Bewertung der Modellleistung verwenden werden. Dies könnten AP50, F1-Score oder andere sein.
2. Das Optimierungsbudget festlegen: Definieren Sie, wie viele Rechenressourcen Sie bereit sind zuzuweisen. Die Hyperparameter-Optimierung kann rechenintensiv sein.

Beteiligte Schritte

Hyperparameter initialisieren

Beginnen Sie mit einem vernünftigen Satz anfänglicher Hyperparameter. Dies könnten entweder die von Ultralytics YOLO festgelegten Standard-Hyperparameter sein oder etwas, das auf Ihrem Fachwissen oder früheren Experimenten basiert.

Hyperparameter mutieren

Verwenden Sie den _mutate Methode, um einen neuen Satz von Hyperparametern basierend auf dem vorhandenen Satz zu erstellen. Die Tuner-Klasse handhabt diesen Prozess automatisch.

Modell trainieren

Das Training wird mit dem mutierten Satz von Hyperparametern durchgeführt. Die Trainingsleistung wird dann anhand der von Ihnen gewählten Metriken bewertet.

Modell bewerten

Verwenden Sie Metriken wie AP50, F1-Score oder benutzerdefinierte Metriken, um die Leistung des Modells zu bewerten. Der Evaluierungsprozess hilft festzustellen, ob die aktuellen Hyperparameter besser sind als die vorherigen.

Ergebnisse protokollieren

Es ist äußerst wichtig, sowohl die Leistungskennzahlen als auch die entsprechenden Hyperparameter für spätere Referenzzwecke zu protokollieren. Ultralytics YOLO speichert diese ErgebnisseYOLO im NDJSON-Format.

Wiederholen

Der Prozess wird wiederholt, bis entweder die festgelegte Anzahl von Iterationen erreicht ist oder die Leistungsmetrik zufriedenstellend ist. Jede Iteration baut auf den Erkenntnissen aus vorherigen Durchläufen auf.

Beschreibung des Standard-Suchraums

Die folgende Tabelle listet die Standard-Suchraumparameter für die Hyperparameter-Abstimmung in YOLO26 auf. Jeder Parameter hat einen spezifischen Wertebereich, der durch ein Tupel definiert ist (min, max).

Beispiel für einen benutzerdefinierten Suchraum

Hier erfahren Sie, wie Sie einen Suchraum definieren und die model.tune() Methode zur Nutzung der Tuner Klasse für die Hyperparameter-Abstimmung von YOLO26n auf COCO8 über 30 Epochen mit einem AdamW-Optimierer und Überspringen von Plotting, Checkpointing und Validierung außer in der letzten Epoche für schnelleres Tuning.

from ultralytics import YOLO

# Initialize the YOLO model
model = YOLO("yolo26n.pt")

# Define search space
search_space = {
    "lr0": (1e-5, 1e-2),
    "degrees": (0.0, 45.0),
}

# Tune hyperparameters on COCO8 for 30 epochs
model.tune(
    data="coco8.yaml",
    epochs=30,
    iterations=300,
    optimizer="AdamW",
    space=search_space,
    plots=False,
    save=False,
    val=False,
)

Fortsetzen einer unterbrochenen Hyperparameter-Optimierungssitzung

Sie können eine unterbrochene Hyperparameter-Tuning-Sitzung fortsetzen, indem Sie übergeben resume=TrueOptional können Sie das Verzeichnis übergeben name verwendet unter runs/{task} um fortzufahren. Andernfalls würde die letzte unterbrochene Sitzung fortgesetzt. Sie müssen auch alle vorherigen Trainingsargumente angeben, einschließlich data, epochs, iterations und space.

from ultralytics import YOLO

# Define a YOLO model
model = YOLO("yolo26n.pt")

# Define search space
search_space = {
    "lr0": (1e-5, 1e-2),
    "degrees": (0.0, 45.0),
}

# Resume previous run
results = model.tune(data="coco8.yaml", epochs=50, iterations=300, space=search_space, resume=True)

# Resume tuning run with name 'tune_exp'
results = model.tune(data="coco8.yaml", epochs=50, iterations=300, space=search_space, name="tune_exp", resume=True)

Ergebnisse

Nachdem Sie den Hyperparameter-Optimierungsprozess erfolgreich abgeschlossen haben, erhalten Sie mehrere Dateien und Verzeichnisse, die die Ergebnisse der Optimierung zusammenfassen. Im Folgenden werden diese beschrieben:

Dateistruktur

So sieht die Verzeichnisstruktur der Ergebnisse aus. Trainingsverzeichnisse wie train1/ enthalten individuelle Tuning-Iterationen, d.h. ein Modell, das mit einem Satz von Hyperparametern trainiert wurde. Die tune/ Verzeichnis enthält Optimierungsergebnisse aus allen einzelnen Modelltrainings:

runs/
└── detect/
    ├── train1/
    ├── train2/
    ├── ...
    └── tune/
        ├── best_hyperparameters.yaml
        ├── tune_fitness.png
        ├── tune_results.ndjson
        ├── tune_scatter_plots.png
        └── weights/
            ├── last.pt
            └── best.pt

Dateibeschreibungen

best_hyperparameters.yaml

Diese YAML-Datei enthält die leistungsstärksten Hyperparameter, die während des Optimierungsprozesses gefunden wurden. Sie können diese Datei verwenden, um zukünftige Trainings mit diesen optimierten Einstellungen zu initialisieren.

• Format: YAML
• Verwendung: Hyperparameter-Ergebnisse

• Beispiel:

  # 558/900 iterations complete ✅ (45536.81s)
  # Results saved to /usr/src/ultralytics/runs/detect/tune
  # Best fitness=0.64297 observed at iteration 498
  # Best fitness metrics are {'metrics/precision(B)': 0.87247, 'metrics/recall(B)': 0.71387, 'metrics/mAP50(B)': 0.79106, 'metrics/mAP50-95(B)': 0.62651, 'val/box_loss': 2.79884, 'val/cls_loss': 2.72386, 'val/dfl_loss': 0.68503, 'fitness': 0.64297}
  # Best fitness model is /usr/src/ultralytics/runs/detect/train498
  # Best fitness hyperparameters are printed below.
  
  lr0: 0.00269
  lrf: 0.00288
  momentum: 0.73375
  weight_decay: 0.00015
  warmup_epochs: 1.22935
  warmup_momentum: 0.1525
  box: 18.27875
  cls: 1.32899
  dfl: 0.56016
  hsv_h: 0.01148
  hsv_s: 0.53554
  hsv_v: 0.13636
  degrees: 0.0
  translate: 0.12431
  scale: 0.07643
  shear: 0.0
  perspective: 0.0
  flipud: 0.0
  fliplr: 0.08631
  mosaic: 0.42551
  mixup: 0.0
  copy_paste: 0.0
  

tune_fitness.png

Dies ist ein Diagramm, das die Fitness in Abhängigkeit von der Anzahl der Iterationen darstellt. Es veranschaulicht, wie sich der genetische Algorithmus im Laufe der Zeit entwickelt hat.

• Format: PNG
• Verwendung: Visualisierung der Leistung

Die Handlung umfasst:

• Ein Marker pro Iteration und Datensatz; bei einem Lauf mit einem einzigen Datensatz wird also ein Punkt pro Iteration angezeigt, bei einem Lauf mit mehreren Datensätzen ein Punkt pro Datensatz und Iteration.
• Eine gepunktete Linie, die den „geglätteten Mittelwert“ darstellt berechnet als Gaußsche Glättung (sigma=3) über die Fitnesswerte der obersten Ebene pro Iteration.

tune_results.ndjson

Eine NDJSON-Datei, die detaillierte Ergebnisse jeder Optimierungsiteration enthält. Jede Zeile entspricht einem JSON-Objekt mit der aggregierten Fitness, den optimierten Hyperparametern und den Metriken pro Datensatz. Sowohl die Optimierung für einen einzelnen Datensatz als auch die für mehrere Datensätze verwenden dasselbe Dateiformat.

• Format: NDJSON
• Verwendung: Nachverfolgung der Ergebnisse pro Iteration.
• Beispiel:

Zur besseren Lesbarkeit ist unten ein übersichtliches Beispiel aufgeführt. Im eigentlichen .ndjson In dieser Datei wird jedes Objekt in einer eigenen Zeile gespeichert.

{
    "iteration": 1,
    "fitness": 0.48628,
    "hyperparameters": {
        "lr0": 0.01,
        "lrf": 0.01,
        "momentum": 0.937,
        "weight_decay": 0.0005
    },
    "datasets": {
        "coco8": {
            "metrics/precision(B)": 0.65666,
            "metrics/recall(B)": 0.85,
            "metrics/mAP50(B)": 0.85086,
            "metrics/mAP50-95(B)": 0.64104,
            "val/box_loss": 1.57958,
            "val/cls_loss": 1.04986,
            "val/dfl_loss": 1.32641,
            "fitness": 0.64104
        },
        "coco8-grayscale": {
            "metrics/precision(B)": 0.6582,
            "metrics/recall(B)": 0.51667,
            "metrics/mAP50(B)": 0.59106,
            "metrics/mAP50-95(B)": 0.33152,
            "val/box_loss": 1.95424,
            "val/cls_loss": 1.64059,
            "val/dfl_loss": 1.70226,
            "fitness": 0.33152
        }
    },
    "save_dirs": {
        "coco8": "runs/detect/coco8",
        "coco8-grayscale": "runs/detect/coco8-grayscale"
    }
}

Die oberste Ebene fitness ist der arithmetische Mittelwert pro Datensatz fitness Werte. Für die Optimierung anhand eines einzelnen Datensatzes gilt die datasets Das Wörterbuch enthält einen Eintrag, dessen fitness entspricht der obersten Ebene fitness. Pro abgeschlossener Iteration wird ein JSON-Objekt aufgezeichnet. Die tatsächliche save_dirs Die Pfade sind absolut; sie wurden oben aus Gründen der Lesbarkeit abgekürzt.

tune_scatter_plots.png

Diese Datei enthält Streudiagramme, die generiert wurden aus tune_results.ndjson, wodurch Sie die Zusammenhänge zwischen verschiedenen Hyperparametern und Leistungskennzahlen besser visualisieren können. Hyperparameter, deren Standardwert 0 ist (zum Beispiel, degrees und shear (unten) entwickeln sich möglicherweise nur langsam aus ihrem Ausgangswert, da der multiplikative Mutationsfaktor nur sehr wenig Spielraum hat, um von einem Wert nahe Null auszugehen.

• Format: PNG
• Verwendung: Explorative Datenanalyse

weights/

Dieses Verzeichnis enthält die gespeicherten PyTorch-Modelle für die letzte und die beste Iteration während des Hyperparameter-Optimierungsprozesses.

• last.pt: Die last.pt-Datei enthält die Gewichte der letzten Trainingsepoche.
• best.pt: Die best.pt-Datei enthält die Gewichte der Iteration, die den besten Fitness-Score erzielt hat.

Mithilfe dieser Ergebnisse können Sie fundiertere Entscheidungen für Ihre zukünftigen Modelltrainings und -analysen treffen. Nutzen Sie diese Artefakte, um zu verstehen, wie gut Ihr Modell funktioniert hat und wie Sie es weiter verbessern können.

Fazit

Der Prozess der Hyperparameter-Optimierung in Ultralytics YOLO dank seines auf genetischen Algorithmen basierenden Ansatzes, der BLX-α-Crossover mit log-normaler Mutation kombiniert, sowohl einfach als auch leistungsstark. Wenn Sie die in diesem Leitfaden beschriebenen Schritte befolgen, können Sie Ihr Modell systematisch optimieren, um eine bessere Leistung zu erzielen.

Weiterführende Informationen

1. Hyperparameter-Optimierung in Wikipedia
2. YOLOv5 Hyperparameter-Evolutions-Leitfaden
3. Effiziente Hyperparameter-Abstimmung mit Ray Tune und YOLO26

Für tiefere Einblicke können Sie den Tuner Klasse Quellcode und zugehörige Dokumentation. Bei Fragen, Funktionswünschen oder weiterem Unterstützungsbedarf können Sie sich gerne an uns wenden auf GitHub oder Discord.

FAQ

Wie optimiere ich die Lernrate für Ultralytics YOLO während des Hyperparameter-Tunings?

Um die Lernrate für Ultralytics YOLO zu optimieren, legen Sie zunächst eine anfängliche Lernrate mit dem lr0 Parameter fest. Gängige Werte liegen im Bereich von 0.001 zu 0.01. Während des Hyperparameter-Tuning-Prozesses wird dieser Wert mutiert, um die optimale Einstellung zu finden. Sie können die model.tune() Methode verwenden, um diesen Prozess zu automatisieren. Zum Beispiel:

from ultralytics import YOLO

# Initialize the YOLO model
model = YOLO("yolo26n.pt")

# Tune hyperparameters on COCO8 for 30 epochs
model.tune(data="coco8.yaml", epochs=30, iterations=300, optimizer="AdamW", plots=False, save=False, val=False)

Weitere Informationen finden Sie auf der Ultralytics YOLO-Konfigurationsseite.

Welche Vorteile bietet die Verwendung von genetischen Algorithmen für die Hyperparameter-Abstimmung in YOLO26?

Genetische Algorithmen in Ultralytics YOLO26 bieten eine robuste Methode zur Erkundung des Hyperparameterraums, was zu einer hochoptimierten Modellleistung führt. Zu den Hauptvorteilen gehören:

• Effiziente Suche: Der BLX-α-Crossover kombiniert Gene der Eltern mit der höchsten Fitness, während eine logarithmisch-normale Mutation das Ergebnis verzerrt, um neue Kandidaten zu entdecken.
• Vermeidung lokaler Minima: Durch die Einführung von Zufälligkeit helfen sie, lokale Minima zu vermeiden und eine bessere globale Optimierung zu gewährleisten.
• Leistungskennzahlen: Sie passen sich anhand eines aufgabenspezifischen Eignungswerts an (mAP50 für die Erkennung).

Um zu sehen, wie genetische Algorithmen Hyperparameter optimieren können, lesen Sie den Hyperparameter-Evolutions-Leitfaden.

Wie lange dauert der Hyperparameter-Optimierungsprozess für Ultralytics YOLO?

Der Zeitaufwand für die Hyperparameter-Abstimmung mit Ultralytics YOLO hängt maßgeblich von mehreren Faktoren ab, wie der Größe des Datensatzes, der Komplexität der Modellarchitektur, der Anzahl der Iterationen und den verfügbaren Rechenressourcen. Zum Beispiel kann die Abstimmung von YOLO26n auf einem Datensatz wie COCO8 über 30 Epochen je nach Hardware mehrere Stunden bis Tage dauern.

Um die Tuning-Zeit effektiv zu verwalten, definieren Sie vorab ein klares Tuning-Budget (interner Abschnittslink). Dies hilft, die Ressourcenzuweisung und die Optimierungsziele in Einklang zu bringen.

Welche Metriken sollte ich verwenden, um die Modellleistung während der Hyperparameter-Optimierung in YOLO zu bewerten?

Bei der Bewertung der Modellleistung während des Hyperparameter-Tunings in YOLO können Sie verschiedene Schlüsselmetriken verwenden:

• AP50: Die durchschnittliche Präzision bei einem IoU-Schwellenwert von 0.50.
• F1-Score: Das harmonische Mittel aus Präzision und Rückruf (Recall).
• Präzision und Rückruf (Recall): Einzelne Metriken, die die Genauigkeit des Modells bei der Identifizierung von True Positives im Vergleich zu False Positives und False Negatives anzeigen.

Diese Metriken helfen Ihnen, verschiedene Aspekte der Leistung Ihres Modells zu verstehen. Weitere Informationen finden Sie im Leitfaden zu den Ultralytics YOLO-Leistungsmetriken.

Kann ich Ray Tune für die erweiterte Hyperparameter-Optimierung mit YOLO26 verwenden?

Ja, Ultralytics YOLO26 lässt sich für die erweiterte Hyperparameter-Optimierung in Ray Tune integrieren. Ray Tune bietet ausgeklügelte Suchalgorithmen wie Bayes'sche Optimierung und Hyperband sowie parallele Ausführungsfunktionen, um den Abstimmungsprozess zu beschleunigen.

Um Ray Tune mit YOLO26 zu verwenden, stellen Sie einfach die use_ray=True Parameter in Ihrer model.tune() Methodenaufruf. Weitere Details und Beispiele finden Sie im Ray Tune-Integrationsanleitung.

📅 Erstellt vor 2 Jahren ✏️ Aktualisiert vor 0 Tagen

Kommentare