Trainer anpassen#
Die Trainingspipeline von Ultralytics basiert auf BaseTrainer und aufgabenspezifischen Trainern wie DetectionTrainer. Diese Klassen übernehmen standardmäßig die Trainingsschleife, Validierung, Checkpoint-Erstellung und Protokollierung. Wenn du mehr Kontrolle benötigst – etwa zum Erfassen benutzerdefinierter Metriken, Anpassen der Verlustgewichtung oder Implementieren von Lernratenplänen –, kannst du den Trainer ableiten und bestimmte Methoden überschreiben.
Diese Anleitung führt durch sieben häufige Anpassungen:
- Benutzerdefinierte Metriken (F1-Score) protokollieren am Ende jeder Epoche
- Klassengewichte hinzufügen, um mit einem Klassenungleichgewicht umzugehen
- Das beste Modell speichern, basierend auf einer anderen Metrik
- Das Backbone einfrieren für die ersten N Epochen und anschließend wieder freigeben
- Lernraten pro Schicht festlegen
- BatchNorm über mehrere GPUs synchronisieren für das Training mit mehreren GPUs
- Gradientenbeschneidung konfigurieren zur Stabilitätsoptimierung
Bevor du diese Anleitung liest, solltest du mit den Grundlagen des Trainings von YOLO-Modellen und der Seite Erweiterte Anpassung vertraut sein, auf der die Architektur von BaseTrainer behandelt wird.
Funktionsweise benutzerdefinierter Trainer#
Die Modellklasse YOLO akzeptiert im train()-Verfahren einen Parameter trainer. Dadurch kannst du deine eigene Trainerklasse übergeben, die das Standardverhalten erweitert:
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
class CustomTrainer(DetectionTrainer):
"""A custom trainer that extends DetectionTrainer with additional functionality."""
# Add your customizations here
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=10, trainer=CustomTrainer)Dein benutzerdefinierter Trainer erbt die gesamte Funktionalität von DetectionTrainer, sodass du nur die Methoden überschreiben musst, die du anpassen möchtest.
Benutzerdefinierte Metriken protokollieren#
Der Schritt Validierung berechnet Precision, Recall und mAP. Wenn du zusätzliche Metriken wie den F1-Score pro Klasse benötigst, überschreibe validate():
import numpy as np
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
from ultralytics.utils import LOGGER
class MetricsTrainer(DetectionTrainer):
"""Custom trainer that computes and logs F1 score at the end of each epoch."""
def validate(self):
"""Run validation and compute per-class F1 scores."""
metrics, fitness = super().validate()
if metrics is None:
return metrics, fitness
if hasattr(self.validator, "metrics") and hasattr(self.validator.metrics, "box"):
box = self.validator.metrics.box
f1_per_class = box.f1
class_indices = box.ap_class_index
names = self.validator.names
mean_f1 = float(np.mean(f1_per_class)) if len(f1_per_class) else 0.0
LOGGER.info(f"Mean F1 Score: {mean_f1:.4f}")
per_class_str = [f"{names[i]}: {f1_per_class[j]:.3f}" for j, i in enumerate(class_indices)]
LOGGER.info(f"Per-class F1: {per_class_str}")
return metrics, fitness
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=5, trainer=MetricsTrainer)Dadurch werden nach jedem Validierungslauf der mittlere F1-Score über alle in der Validierung vertretenen Klassen sowie eine Aufschlüsselung pro Klasse protokolliert.
Der Validator bietet über self.validator.metrics.box Zugriff auf zahlreiche Metriken:
| Attribut | Beschreibung |
|---|---|
f1 | F1-Score pro Klasse |
image_metrics | Metrik-Wörterbuch pro Bild mit Precision, Recall, F1, TP, FP und FN |
p | Precision pro Klasse |
r | Recall pro Klasse |
ap50 | AP bei IoU 0.5 pro Klasse |
ap | AP bei IoU 0.5:0.95 pro Klasse |
mp, mr | Mittlere Precision und Recall |
map50, map | Mittlere AP-Metriken |
Klassengewichte hinzufügen#
Setze cls_pw zwischen 0.0 und 1.0, um normalisierte Gewichte anhand der inversen Klassenhäufigkeit auf den Klassifikationsverlust anzuwenden. Überschreibe die bestehende Gewichtsberechnung nur, wenn du manuell festgelegte Verhältnisse benötigst:
import numpy as np
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
class WeightedTrainer(DetectionTrainer):
"""Detection trainer with hand-picked class-weight ratios."""
def compute_class_weights(self, class_counts):
"""Return custom per-class weights for the production loss owner."""
weights = np.ones_like(class_counts)
weights[0] = 2.0
weights[1] = 3.0
return weights
model = YOLO("yolo26n.pt")
model.train(data="custom.yaml", epochs=10, cls_pw=1.0, trainer=WeightedTrainer)set_class_weights() normalisiert diese Werte auf einen Mittelwert von 1.0 und speichert sie im Modell, wo der bestehende Erkennungsverlust sie anwendet. Die oben genannten Indizes erfordern einen Datensatz mit mindestens zwei Klassen.
Das beste Modell anhand einer benutzerdefinierten Metrik speichern#
Der Trainer speichert best.pt basierend auf der Fitness, die bei Erkennungsaufgaben standardmäßig mAP@0.5:0.95 entspricht ([0.0, 0.0, 0.0, 1.0] gewichtet \[P, R, mAP@0.5, mAP@0.5:0.95]). Um eine andere Metrik zu verwenden, etwa mAP@0.5 oder Recall, überschreibe validate() und gib deine gewünschte Metrik als Fitnesswert zurück. Die integrierte Funktion save_model() verwendet sie anschließend automatisch:
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
class CustomSaveTrainer(DetectionTrainer):
"""Trainer that saves the best model based on mAP@0.5 instead of default fitness."""
def validate(self):
"""Override fitness to use mAP@0.5 for best model selection."""
previous_best = self.best_fitness
metrics, fitness = super().validate()
if metrics is None:
return metrics, fitness
fitness = metrics["metrics/mAP50(B)"]
self.best_fitness = fitness if previous_best is None else max(previous_best, fitness)
return metrics, fitness
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=20, trainer=CustomSaveTrainer)BaseTrainer.validate() aktualisiert best_fitness anhand der Standardmetrik. Speichere daher den vorherigen Wert, bevor du die Funktion aufrufst.
Zu den nach der Validierung in self.metrics verfügbaren gängigen Metriken gehören:
| Schlüssel | Beschreibung |
|---|---|
metrics/precision(B) | Precision |
metrics/recall(B) | Recall |
metrics/mAP50(B) | mAP bei IoU 0.5 |
metrics/mAP50-95(B) | mAP bei IoU 0.5:0.95 |
Backbone einfrieren und wieder freigeben#
Workflows für Transferlernen profitieren häufig davon, das vortrainierte Backbone während der ersten N Epochen einzufrieren. So kann sich der Erkennungskopf anpassen, bevor das gesamte Netzwerk feinabgestimmt wird. Ultralytics bietet den Parameter freeze, um Schichten zu Beginn des Trainings einzufrieren. Mit einem Callback kannst du sie nach N Epochen wieder freigeben:
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
from ultralytics.utils import LOGGER
FREEZE_EPOCHS = 5
def unfreeze_backbone(trainer):
"""Callback to unfreeze the user-requested layers after FREEZE_EPOCHS."""
if trainer.epoch == FREEZE_EPOCHS:
user_freeze = [x for x in trainer.freeze_layer_names if x not in {".dfl", "teacher_model."}]
LOGGER.info(f"Epoch {trainer.epoch}: Unfreezing requested layers for fine-tuning")
for name, param in trainer.model.named_parameters():
if (
not param.requires_grad
and ".dfl" not in name
and "teacher_model." not in name
and any(x in name for x in user_freeze)
):
param.requires_grad = True
LOGGER.info(f" Unfroze: {name}")
trainer.freeze_layer_names = [x for x in trainer.freeze_layer_names if x not in user_freeze]
class FreezingTrainer(DetectionTrainer):
"""Trainer with backbone freezing for first N epochs."""
def __init__(self, *args, **kwargs):
"""Initialize and register the unfreeze callback."""
super().__init__(*args, **kwargs)
self.add_callback("on_train_epoch_start", unfreeze_backbone)
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=20, freeze=10, trainer=FreezingTrainer)Der Parameter freeze=10 friert zu Beginn des Trainings die ersten 10 Schichten (Indizes 0–9) ein, die den Großteil des YOLO26-Backbones abdecken. Das Backbone umfasst die Schichten 0–10, daher lässt freeze=10 den letzten C2PSA-Block (Schicht 10) trainierbar; verwende freeze=11, um das gesamte Backbone einzufrieren. Der Callback on_train_epoch_start wird am Anfang jeder Epoche ausgeführt und gibt die angeforderten Schichten frei, sobald der Einfrierzeitraum abgelaufen ist, wobei dauerhaft eingefrorene DFL- und Distillation-Teacher-Parameter erhalten bleiben.
freeze=10friert die ersten 10 Schichten mit den Indizes 0–9 ein (den Großteil des YOLO26-Backbones; verwendefreeze=11, um den letzten C2PSA-Block in Schicht 10 einzubeziehen)freeze=[0, 1, 2, 3]friert bestimmte Schichten anhand ihres Index ein- Höhere Werte für
FREEZE_EPOCHSgeben dem Kopf mehr Zeit zur Anpassung, bevor sich das Backbone verändert
Lernraten pro Schicht#
Verschiedene Teile des Netzwerks können von unterschiedlichen Lernraten profitieren. Eine gängige Strategie besteht darin, für das vortrainierte Backbone eine niedrigere Lernrate zu verwenden, um gelernte Merkmale zu bewahren, während sich der Erkennungskopf mit einer höheren Rate schneller anpassen kann:
from ultralytics import YOLO
from ultralytics.models.yolo.detect import DetectionTrainer
from ultralytics.utils import LOGGER
from ultralytics.utils.torch_utils import unwrap_model
class PerLayerLRTrainer(DetectionTrainer):
"""Trainer with different learning rates for backbone and head."""
backbone_lr_ratio = 0.1
def build_optimizer(self, model, name="auto", lr=0.001, momentum=0.9, decay=1e-5, iterations=1e5):
"""Reuse the trainer optimizer and lower its backbone parameter-group rates."""
optimizer = super().build_optimizer(model, name, lr, momentum, decay, iterations)
unwrapped = unwrap_model(model)
backbone_len = len(unwrapped.yaml["backbone"])
backbone = {
id(p)
for name, p in unwrapped.named_parameters()
if any(name.startswith(f"model.{i}.") for i in range(backbone_len))
}
groups = []
for group in optimizer.param_groups:
head_params = [p for p in group["params"] if id(p) not in backbone]
backbone_params = [p for p in group["params"] if id(p) in backbone]
if head_params:
groups.append({**group, "params": head_params})
if backbone_params:
groups.append({**group, "params": backbone_params, "lr": group["lr"] * self.backbone_lr_ratio})
optimizer.param_groups = groups
LOGGER.info(f"PerLayerLR: {len(backbone)} backbone params at {self.backbone_lr_ratio}x the head rate")
return optimizer
model = YOLO("yolo26n.pt")
model.train(data="coco8.yaml", epochs=20, trainer=PerLayerLRTrainer)RT-DETR-Variante#
Verwende für RT-DETR dieselbe Überschreibung mit RTDETRTrainer als übergeordneter Klasse und lade den Checkpoint mit RTDETR("rtdetr-l.pt").
Synchronisierte BatchNorm für das Training mit mehreren GPUs#
Beim Training auf mehreren GPUs mit verteiltem Datenparallelismus (DDP) berechnen die standardmäßigen BatchNorm2d-Schichten die Statistiken unabhängig auf jeder GPU. Beim Feinabstimmen von RT-DETR und bei anderen Trainingskonfigurationen mit kleinen Stapelgrößen pro GPU können die Statistiken pro GPU verrauscht sein. SyncBatchNorm von PyTorch synchronisiert Mittelwert und Varianz über alle Ränge hinweg zu einer globalen Stapelstatistik, was die Konvergenz häufig verbessert, allerdings mit geringem Kommunikationsaufwand zwischen den GPUs.
Die Konvertierung muss erfolgen, nachdem sich das Modell auf der GPU befindet, aber bevor DDP es umschließt. Der sauberste Ansatzpunkt dafür ist set_model_attributes(), das von BaseTrainer genau in diesem Zeitfenster aufgerufen wird:
from torch import nn
from ultralytics import RTDETR
from ultralytics.models.rtdetr.train import RTDETRTrainer
class SyncBNTrainer(RTDETRTrainer):
"""RT-DETR trainer that converts BatchNorm to SyncBatchNorm for multi-GPU training."""
def set_model_attributes(self):
"""Run the parent setup, then convert BN to SyncBatchNorm when training on multiple GPUs."""
super().set_model_attributes()
if self.world_size > 1:
self.model = nn.SyncBatchNorm.convert_sync_batchnorm(self.model)
model = RTDETR("rtdetr-l.pt")
model.train(data="coco8.yaml", epochs=20, device=[0, 1], trainer=SyncBNTrainer)Die Prüfung durch world_size > 1 stellt sicher, dass der Trainer auch bei Läufen mit einer GPU sicher verwendet werden kann. Bei einer einzelnen GPU wird die Konvertierung übersprungen und das Training mit dem regulären BatchNorm2d fortgesetzt. Dasselbe Muster funktioniert für YOLO, indem du die übergeordnete Klasse auf DetectionTrainer umstellst.
| Szenario | Empfehlung |
|---|---|
| Training mit mehreren GPUs, kleine Stapelgröße pro GPU (≤ 16) | Aktivieren |
| Training mit mehreren GPUs, große Stapelgröße pro GPU (≥ 32) | Optional; geringer Vorteil |
| Training mit einer GPU | Nicht anwendbar (übersprungen) |
Konfigurierbare Gradientensbeschneidung#
Der Standardtrainer beschneidet Gradienten in optimizer_step() auf max_norm=10.0, einen großzügig bemessenen Wert für YOLO-Modelle, bei denen die Gradienten diesen Wert nur selten überschreiten. Detektoren der DETR-Familie (RT-DETR, DEIM, DINO) verwenden typischerweise deutlich niedrigere Werte wie 0.1, um die Cross-Attention-Schichten des Decoders zu stabilisieren, in denen die Gradientenbeträge sprunghaft ansteigen können. Um den Beschneidungswert zu überschreiben, leite den Trainer ab und überschreibe optimizer_step():
import torch
from ultralytics import RTDETR
from ultralytics.models.rtdetr.train import RTDETRTrainer
from ultralytics.utils.torch_utils import TORCH_2_0
class CustomClipTrainer(RTDETRTrainer):
"""RT-DETR trainer with configurable gradient clipping."""
clip_grad_norm = 0.1 # max gradient norm; set to 0 to disable clipping
def optimizer_step(self):
"""Run an optimizer step with a configurable gradient-norm clip."""
self.scaler.unscale_(self.optimizer)
if self.clip_grad_norm > 0:
kwargs = {"foreach": False} if self.device.type == "npu" and TORCH_2_0 else {}
torch.nn.utils.clip_grad_norm_(self.model.parameters(), max_norm=self.clip_grad_norm, **kwargs)
self.scaler.step(self.optimizer)
self.scaler.update()
self.optimizer.zero_grad()
if self.ema:
self.ema.update(self.model)
model = RTDETR("rtdetr-l.pt")
model.train(data="coco8.yaml", epochs=20, trainer=CustomClipTrainer)Derselbe Trainer funktioniert für YOLO, indem du die übergeordnete Klasse auf DetectionTrainer (from ultralytics.models.yolo.detect import DetectionTrainer) umstellst und einen YOLO-Checkpoint mit YOLO("yolo26n.pt") lädst. Der Inhalt von optimizer_step bleibt unverändert.
| Architekturfamilie | Typischer Wert für max_norm |
|---|---|
| RT-DETR / DEIM / DETR-Familie | 0.1 |
| YOLO (Ultralytics-Standard) | 10.0 |
| Beschneidung deaktivieren | 0 |
FAQ#
Übergib deine benutzerdefinierte Trainerklasse (keine Instanz) an den Parameter
trainerinmodel.train():from ultralytics import YOLO from ultralytics.models.yolo.detect import DetectionTrainer class MyCustomTrainer(DetectionTrainer): """A custom trainer that extends DetectionTrainer.""" model = YOLO("yolo26n.pt") model.train(data="coco8.yaml", trainer=MyCustomTrainer)Die Klasse
YOLOübernimmt die Instanziierung des Trainers intern. Weitere Informationen zur Trainerarchitektur findest du auf der Seite Erweiterte Anpassung.Wichtige Methoden zur Anpassung:
Methode Zweck validate()Validierung ausführen und Metriken zurückgeben build_optimizer()Den Optimierer erstellen save_model()Trainings-Checkpoints speichern get_model()Die Modellinstanz zurückgeben get_validator()Die Validatorinstanz zurückgeben get_dataloader()Den Datenlader erstellen preprocess_batch()Den Eingabestapel vorverarbeiten label_loss_items()Verlustelemente für die Protokollierung formatieren Die vollständige API-Referenz findest du in der Dokumentation zu
BaseTrainer.Ja, für einfachere Anpassungen sind Callbacks oft ausreichend. Zu den verfügbaren Callback-Ereignissen gehören
on_train_start,on_train_epoch_start,on_train_epoch_end,on_fit_epoch_endundon_model_save. Damit kannst du dich in die Trainingsschleife einklinken, ohne den Trainer abzuleiten. Das obige Beispiel zum Einfrieren des Backbones zeigt diesen Ansatz.Wenn deine Änderung einfacher ist, etwa das Anpassen von Verlustverstärkungen, kannst du die Hyperparameter direkt ändern:
from ultralytics import YOLO model = YOLO("yolo26n.pt") model.train(data="coco8.yaml", box=10.0, cls=1.5, dfl=2.0)Bei YOLO26 skaliert
dflden protokollierten Wertl1_loss, da sein Erkennungskopfreg_max: 1verwendet; bei Modellen mitreg_max > 1skaliert esdfl_loss.