Erste Schritte

Erkenntnisse zur Modellbewertung und Feinabstimmung

Nachdem du ein YOLO-Modell trainiert hast, besteht der nächste Schritt darin, seine Leistung zu messen und es gezielt zu optimieren. Bei der Bewertung werden Metriken wie mAP und IoU verwendet, um die Genauigkeit zu quantifizieren. Bei der Feinabstimmung werden Trainingsparameter angepasst, um Schwachstellen zu beheben und das Modell an das Ziel deines Projekts anzupassen. Diese Anleitung erläutert die wichtigsten Bewertungsmetriken, ihre Interpretation und die daraus abzuleitenden Maßnahmen.



Ansehen: Einblicke in Modellevaluierung und Feinabstimmung | Tipps zur Verbesserung der mittleren Average Precision

Bewertung und Feinabstimmung finden gegen Ende des Workflows für Computer-Vision-Projekte statt, sobald das Training läuft und du überprüfen musst, ob das Modell genau, effizient und einsatzbereit ist.

Wichtige Bewertungsmetriken#

Die Leistung eines Modells lässt sich mit verschiedenen Metriken messen. Diese Leistungsmetriken liefern klare numerische Erkenntnisse, die gezielte Verbesserungen ermöglichen und dabei helfen sicherzustellen, dass das Modell seine vorgesehenen Ziele erreicht.

Konfidenzwert#

Der Konfidenzwert gibt an, wie sicher sich das Modell ist, dass ein erkanntes Objekt zu einer bestimmten Klasse gehört. Er liegt zwischen 0 und 1; höhere Werte zeigen eine größere Sicherheit an. Mithilfe des Konfidenzwerts lassen sich Vorhersagen filtern: Nur Erkennungen mit einem Konfidenzwert über einem festgelegten Schwellenwert gelten als gültig.

Keine Vorhersagen zu sehen?

Wenn bei der Inferenz keine Vorhersagen angezeigt werden und du alles andere überprüft hast, versuche, den Konfidenzschwellenwert zu senken. Manchmal ist der Schwellenwert zu hoch, sodass das Modell gültige Vorhersagen ignoriert. Ein niedrigerer Wert lässt das Modell mehr Möglichkeiten berücksichtigen. Das entspricht möglicherweise nicht den endgültigen Zielen deines Projekts, ist aber eine gute Möglichkeit, herauszufinden, was das Modell leisten kann und wie du es feinabstimmen solltest.

Schnitt über Vereinigung#

Die Schnittmenge über Vereinigungsmenge (IoU) ist eine Metrik für die Objekterkennung, mit der gemessen wird, wie stark die vorhergesagte Begrenzungsbox die Ground-Truth-Begrenzungsbox überlappt. IoU-Werte liegen zwischen 0 und 1, wobei 1 einer perfekten Übereinstimmung entspricht. IoU ist wichtig, weil die Metrik misst, wie genau die vorhergesagten Grenzen mit den tatsächlichen Objektgrenzen übereinstimmen.

Intersection over Union Overview

Mittlere durchschnittliche Genauigkeit#

Die mittlere durchschnittliche Precision (mAP) misst die Gesamtleistung eines Modells zur Objekterkennung. Sie betrachtet die Precision bei der Erkennung jeder Objektklasse, bildet den Durchschnitt dieser Werte und liefert eine einzelne Zahl, die angibt, wie genau das Modell Objekte identifizieren und klassifizieren kann.

Am häufigsten werden zwei mAP-Metriken angegeben:

  • mAP50: Misst die durchschnittliche Präzision bei einem einzelnen IoU-Schwellenwert von 0.5. Diese Metrik prüft, ob das Modell Objekte bei weniger strengen Genauigkeitsanforderungen korrekt finden kann. Sie betrachtet, ob sich ein Objekt ungefähr an der richtigen Stelle befindet, ohne eine perfekte Positionierung zu verlangen, und hilft einzuschätzen, ob das Modell Objekte im Allgemeinen gut erkennt.
  • mAP50-95: Mittelt die mAP-Werte, die bei mehreren IoU-Schwellenwerten von 0.5 bis 0.95 in Schritten von 0.05 berechnet werden. Diese Metrik ist detaillierter und strenger. Sie vermittelt ein umfassenderes Bild davon, wie genau das Modell Objekte bei verschiedenen Strengegraden erkennt, und eignet sich besonders für Anwendungen, die eine präzise Objekterkennung erfordern.

Weitere mAP-Metriken sind mAP75, das einen strengeren IoU-Schwellenwert von 0.75 verwendet, sowie APS, APM und APL, die die Präzision bei kleinen, mittelgroßen und großen Objekten bewerten.

Three ways to improve mAP: data quality, model optimization, and annotation process

Ein YOLO26-Modell bewerten#

Du kannst ein trainiertes YOLO26-Modell mit dem Validierungsmodus bewerten. Eine ausführlichere Erklärung zur Berechnung und Interpretation der einzelnen Metriken findest du in der Anleitung zu den YOLO26-Leistungsmetriken.

Unterschiedliche Bildgrößen verarbeiten#

Wenn du dein Modell mit Bildern unterschiedlicher Größe auswertest, kannst du seine Leistung auf vielfältigen Datensätzen besser einschätzen. Bei der Validierung ist standardmäßig rechteckiges Batching aktiviert (rect=True in model.val()): Bilder werden nach Seitenverhältnis gruppiert und jeder Batch wird auf eine rechteckige Form aufgefüllt. So werden rechteckige Bilder ausgewertet, ohne sie in ein Quadrat zwängen zu müssen.

Der Parameter imgsz legt die bei der Validierung verwendete Bildgröße fest. Wenn du ihn nicht ausdrücklich festlegst, verwendet YOLO26 den in den Modelleinstellungen gespeicherten Wert erneut (640 für die offiziellen vortrainierten Modelle oder die Größe, mit der ein eigener Checkpoint trainiert wurde). Mit rect=True können die Formen bei der Validierung von predict abweichen (siehe rect). Passe imgsz an die Abmessungen deines Datensatzes und den verfügbaren GPU-Speicher an.

Auf YOLO26-Metriken zugreifen#

Um die Leistung deines Modells im Detail zu verstehen, kannst du mit wenigen Zeilen Python auf bestimmte Bewertungsmetriken zugreifen. Das folgende Codebeispiel lädt ein Modell, führt eine Validierung aus und gibt die nützlichsten Metriken aus.

Verwendung
from ultralytics import YOLO

# Ein Modell laden
model = YOLO("yolo26n.pt")

# Die Validierung für deinen Datensatz ausführen
results = model.val(data="coco8.yaml")

# Gesamtmetriken
print("mAP50-95:", results.box.map)  # mAP bei IoU 0.50:0.95
print("mAP50:", results.box.map50)  # mAP bei IoU 0.50
print("mAP75:", results.box.map75)  # mAP bei IoU 0.75
print("Mean precision:", results.box.mp)
print("Mean recall:", results.box.mr)
print("Fitness:", results.box.fitness())  # gewichteter Wert für die Modellauswahl

# Metriken pro Klasse
print("Class indices evaluated:", results.box.ap_class_index)
print("Per-class mAP50-95:", results.box.maps)  # Klassen, die im Validierungsdatensatz fehlen, erhalten den Gesamtwert für mAP

# Präzision, Recall, F1, TP, FP und FN pro Bild
print("Per-image metrics:", results.box.image_metrics)

# Zeitaufschlüsselung pro Verarbeitungsstufe in Millisekunden pro Bild
print("Timing breakdown (ms/image):", results.speed)

Beachte, dass fitness() eine Methode ist und mit Klammern aufgerufen werden muss, während Metriken wie map, map50 und mp Eigenschaften sind, auf die direkt zugegriffen wird.

Das Attribut results.box.image_metrics ist ein Wörterbuch pro Bild, dessen Schlüssel Bildpfade relativ zum gemeinsamen Bildverzeichnis sind. Für jedes Bild enthält es bei IoU 0.5 die Werte precision, recall, f1, tp, fp und fn. Die Laufzeiten für Vorverarbeitung, Inferenz, Verlustberechnung und Nachverarbeitung werden separat im Wörterbuch results.speed angegeben. Zusammen helfen dir diese Angaben dabei, genau zu ermitteln, mit welchen Bildern das Modell Schwierigkeiten hat, und es entsprechend fein abzustimmen.

Dein Modell feinabstimmen#

Beim Feinabstimmen wird ein vortrainiertes Modell angepasst, um seine Leistung bei einer bestimmten Aufgabe oder einem bestimmten Datensatz zu verbessern. Dieses Verfahren wird auch als erneutes Trainieren des Modells bezeichnet. Dadurch kann das Modell die Daten, auf die es in realen Anwendungen trifft, besser verstehen und Ergebnisse besser vorhersagen. Auf Grundlage deiner Bewertungsergebnisse trainierst du das Modell mit deinen eigenen Daten erneut und passt die Trainingsargumente an, die im Leitfaden zur Feinabstimmung erläutert werden.

Bildkachelung für kleine Objekte#

Die Bildkachelung kann die Erkennungsgenauigkeit bei kleinen Objekten verbessern. Indem du größere Bilder in kleinere Abschnitte unterteilst, zum Beispiel 1280x1280-Bilder in mehrere 640x640-Abschnitte, bleibt die ursprüngliche Auflösung erhalten und das Modell kann anhand hochauflösender Bildausschnitte lernen. Verwende tile=True für die Kachelung mit hoher Auflösung während des Trainings, der Validierung und der Vorhersage. Beim Training werden die Annotationen mit jeder Kachel zugeschnitten, während bei der Validierung und Vorhersage die Kachelergebnisse zu Ergebnissen für das vollständige Bild zusammengeführt werden.

Fazit#

Durch Auswertung und Feinabstimmung wird aus einem trainierten Modell ein zuverlässiges, einsatzbereites Modell: Metriken wie mAP und IoU machen Schwächen sichtbar, und gezielte Parameteränderungen beheben sie. Beginne mit dem Validierungsmodus, um dein Modell zu bewerten. Trainiere es anschließend mit den im Leitfaden zur Feinabstimmung beschriebenen Argumenten erneut und verbessere es schrittweise mit neuen Parametern, Techniken und Datensätzen. Wenn dabei Fragen auftauchen, wende dich an die Community im Ultralytics-GitHub-Repository oder auf dem Ultralytics-Discord-Server.

Häufig gestellte Fragen#

  • Zu den wichtigen Kennzahlen für die Bewertung der YOLO26-Modellleistung gehören der Konfidenzwert, Intersection over Union (IoU) und die mittlere durchschnittliche Präzision (mAP). Der Konfidenzwert gibt an, wie sicher sich das Modell bei der vorhergesagten Objektklasse ist. IoU bewertet, wie stark sich die vorhergesagte Begrenzungsbox mit der Referenzbox überschneidet. Die mittlere durchschnittliche Präzision (mAP) fasst Präzisionswerte über mehrere Klassen zusammen; mAP50 und mAP50-95 sind zwei gängige Varianten für unterschiedliche IoU-Schwellenwerte. Weitere Informationen zu diesen Kennzahlen findest du in unserem Leitfaden zu YOLO26-Leistungsmetriken.

  • Beim Feintuning eines vortrainierten YOLO26-Modells werden dessen Parameter angepasst, um die Leistung bei einer bestimmten Aufgabe oder auf einem bestimmten Datensatz zu verbessern. Bewerte zunächst dein Modell anhand von Metriken und trainiere es anschließend mit den vortrainierten Gewichten auf deinem eigenen Datensatz weiter. Bei der Auswertung helfen Parameter wie rect=True dabei, unterschiedliche Bildgrößen effektiv zu verarbeiten.

  • Um bei der Auswertung mit unterschiedlichen Bildgrößen umzugehen, verwende die rechteckige Validierung (rect=True, die Standardeinstellung für model.val()). Dabei werden Bilder nach ihrem Seitenverhältnis gruppiert und die einzelnen Batches aufgefüllt, statt jedes Bild auf ein Quadrat zuzuschneiden. Der Parameter imgsz legt die Bildgröße für die Validierung fest. Wenn du ihn nicht überschreibst, verwendet YOLO26 den gespeicherten Wert des Modells erneut (640 für die offiziellen vortrainierten Modelle). Passe imgsz an deinen Datensatz und den Speicher deiner GPU an. Weitere Informationen findest du in unserem Abschnitt zum Umgang mit unterschiedlichen Bildgrößen.

  • Um die mittlere durchschnittliche Präzision (mAP) eines YOLO26-Modells zu verbessern, kannst du mehrere Schritte unternehmen:

    1. Hyperparameter abstimmen: Experimentiere mit verschiedenen Lernraten, Batchgrößen und Bildaugmentierungen.
    2. Datenaugmentation: Verwende Techniken wie Mosaic und MixUp, um vielfältige Trainingsbeispiele zu erzeugen.
    3. Bildkachelung: Teile größere Bilder in kleinere Kacheln auf, um die Erkennungsgenauigkeit bei kleinen Objekten zu verbessern.

    Die Trainingsargumente für die Schritte 1 und 2 findest du im Leitfaden zur Feinabstimmung; Schritt 3 wird unter Bildkachelung behandelt.

  • Nach der Validierung kannst du mit Python auf die Bewertungsmetriken eines YOLO26-Modells zugreifen:

    Verwendung
    from ultralytics import YOLO
    
    # Ein Modell laden
    model = YOLO("yolo26n.pt")
    
    # Validierung ausführen
    results = model.val(data="coco8.yaml")
    
    # Auf wichtige Metriken zugreifen
    print("Mean average precision at IoU=0.50:", results.box.map50)
    print("Mean average precision at IoU=0.50:0.95:", results.box.map)
    print("Mean recall:", results.box.mr)
    print("Class indices evaluated:", results.box.ap_class_index)

    Die Analyse dieser Metriken hilft dir, dein YOLO26-Modell feinabzustimmen und zu optimieren. Eine ausführlichere Erläuterung findest du in unserem Leitfaden zu den Leistungsmetriken von YOLO.

Kommentare2

Stell eine Frage, teile deine Ergebnisse oder hilf jemand anderem.

  1. ILIAHHne63GitHub

    Hello, I'm using YoLOv10, how can I load the pretrained backbone, but leave the head unpretrained?

    1. Glenn JocherUltralytics

      @ILIAHHne63 to load a pretrained backbone while leaving the head unpretrained in YOLOv10, you can initialize the model with the pretrained weights and then manually reset the head layers. This allows you to retain the pretrained features of the backbone while training the head from scratch. For detailed steps, refer to the model fine-tuning section in our documentation. If you encounter any issues, ensure you're using the latest version of the package.