Leistungskennzahlen im Detail#

Einführung#

Leistungskennzahlen sind wichtige Hilfsmittel, um die Genauigkeit und Effizienz von Modellen zur Objekterkennung zu bewerten. Sie zeigen, wie effektiv ein Modell Objekte in Bildern erkennen und lokalisieren kann. Außerdem helfen sie dabei, den Umgang des Modells mit falsch positiven und falsch negativen Erkennungen zu verstehen. Diese Erkenntnisse sind entscheidend, um die Leistung des Modells zu bewerten und zu verbessern. In dieser Anleitung betrachten wir verschiedene Leistungskennzahlen für YOLO26, ihre Bedeutung und ihre Interpretation.

Kennzahlen für die Objekterkennung#

Sehen wir uns zunächst einige Kennzahlen an, die nicht nur für YOLO26 wichtig sind, sondern allgemein für verschiedene Modelle zur Objekterkennung gelten.

• Schnittmenge über Vereinigungsmenge (IoU): IoU misst die Überlappung zwischen einer vorhergesagten Begrenzungsbox und einer Ground-Truth-Box. Sie spielt eine grundlegende Rolle bei der Bewertung der Genauigkeit der Objektlokalisierung.

• Mittlere Genauigkeit (AP): AP berechnet die Fläche unter der Precision-Recall-Kurve und liefert einen einzelnen Wert, der die Precision- und Recall-Leistung des Modells zusammenfasst.

• Mittlere durchschnittliche Genauigkeit (mAP): mAP erweitert das Konzept von AP, indem es die durchschnittlichen AP-Werte über mehrere Objektklassen hinweg berechnet. Das ist bei der Mehrklassen-Objekterkennung hilfreich, um die Leistung des Modells umfassend zu bewerten.

• Precision und Recall: Precision gibt den Anteil der tatsächlich positiven Fälle an allen als positiv vorhergesagten Fällen an und bewertet damit, wie gut das Modell falsch positive Erkennungen vermeidet. Recall gibt dagegen den Anteil der tatsächlich positiven Fälle an allen positiven Fällen an und misst, wie gut das Modell alle Instanzen einer Klasse erkennt.

• F1-Wert: Der F1-Wert ist das harmonische Mittel von Precision und Recall. Er bietet eine ausgewogene Bewertung der Modellleistung und berücksichtigt dabei sowohl falsch positive als auch falsch negative Erkennungen.

So berechnest du Kennzahlen für ein YOLO26-Modell#

Sehen wir uns nun den Validierungsmodus von YOLO26 an, mit dem sich die oben genannten Bewertungskennzahlen berechnen lassen.

Der Validierungsmodus ist einfach zu verwenden. Sobald du ein trainiertes Modell hast, kannst du die Funktion model.val() aufrufen. Diese Funktion verarbeitet dann den Validierungsdatensatz und gibt verschiedene Leistungskennzahlen zurück. Doch was bedeuten diese Kennzahlen, und wie solltest du sie interpretieren?

Ausgabe interpretieren#

Sehen wir uns die Ausgabe der Funktion model.val() genauer an und betrachten wir die einzelnen Abschnitte.

Kennzahlen nach Klasse#

Ein Abschnitt der Ausgabe zeigt die Leistungskennzahlen für jede einzelne Klasse. Diese detaillierten Informationen sind hilfreich, wenn du nachvollziehen möchtest, wie gut das Modell für bestimmte Klassen abschneidet – insbesondere bei Datensätzen mit einer vielfältigen Auswahl an Objektkategorien. Für jede Klasse im Datensatz werden folgende Angaben bereitgestellt:

• Klasse: Bezeichnet den Namen der Objektklasse, etwa „Person“, „Auto“ oder „Hund“.

• Bilder: Gibt an, wie viele Bilder im Validierungsdatensatz die Objektklasse enthalten.

• Instanzen: Gibt an, wie oft die Klasse insgesamt in allen Bildern des Validierungsdatensatzes vorkommt.

• Box(P, R, mAP50, mAP50-95): Diese Kennzahl gibt Aufschluss über die Leistung des Modells bei der Objekterkennung:

  • P (Precision): Die Genauigkeit der erkannten Objekte, also wie viele Erkennungen korrekt waren.

  • R (Recall): Die Fähigkeit des Modells, alle Objektinstanzen in den Bildern zu erkennen.

  • mAP50: Mittlere durchschnittliche Genauigkeit bei einem Schwellenwert für die Schnittmenge über Vereinigungsmenge (IoU) von 0,50. Sie misst die Genauigkeit des Modells ausschließlich bei den „einfachen“ Erkennungen.

  • mAP50-95: Der Durchschnitt der mittleren durchschnittlichen Genauigkeit, berechnet über verschiedene IoU-Schwellenwerte von 0,50 bis 0,95. Diese Kennzahl vermittelt einen umfassenden Eindruck von der Modellleistung bei unterschiedlichen Schwierigkeitsgraden der Erkennung.

Geschwindigkeitskennzahlen#

Die Inferenzgeschwindigkeit kann ebenso entscheidend sein wie die Genauigkeit, insbesondere bei der Objekterkennung in Echtzeit. In diesem Abschnitt wird die Dauer der verschiedenen Phasen des Validierungsprozesses aufgeschlüsselt – von der Vorverarbeitung bis zur Nachverarbeitung.

Auswertung mit COCO-Kennzahlen#

Für Nutzer, die eine Validierung mit dem COCO-Datensatz durchführen, werden mithilfe des COCO-Auswertungsskripts zusätzliche Kennzahlen berechnet. Diese geben Aufschluss über Precision und Recall bei verschiedenen IoU-Schwellenwerten sowie für Objekte unterschiedlicher Größe.

Visuelle Ausgaben#

Die Funktion model.val() liefert neben numerischen Kennzahlen auch visuelle Ausgaben, die ein intuitiveres Verständnis der Modellleistung ermöglichen. Hier findest du eine Übersicht der erwarteten visuellen Ausgaben:

• F1-Score-Kurve (BoxF1_curve.png): Diese Kurve zeigt den F1-Score über verschiedene Schwellenwerte hinweg. Die Interpretation dieser Kurve kann Aufschluss darüber geben, wie ausgewogen das Modell über verschiedene Schwellenwerte hinweg mit falsch positiven und falsch negativen Ergebnissen umgeht.

• Precision-Recall-Kurve (BoxPR_curve.png): Diese wichtige Visualisierung für jedes Klassifizierungsproblem zeigt die Zielkonflikte zwischen Präzision und Recall bei verschiedenen Schwellenwerten. Sie ist besonders wichtig bei unausgewogenen Klassen.

• Präzisionskurve (BoxP_curve.png): Eine grafische Darstellung der Präzisionswerte bei verschiedenen Schwellenwerten. Diese Kurve hilft dabei zu verstehen, wie sich die Präzision mit dem Schwellenwert verändert.

• Recall-Kurve (BoxR_curve.png): Diese Grafik veranschaulicht entsprechend, wie sich die Recall-Werte bei verschiedenen Schwellenwerten verändern.

• Konfusionsmatrix (confusion_matrix.png): Die Konfusionsmatrix bietet eine detaillierte Übersicht über die Ergebnisse und zeigt für jede Klasse die Anzahl der richtig positiven, richtig negativen, falsch positiven und falsch negativen Vorhersagen.

• Normalisierte Konfusionsmatrix (confusion_matrix_normalized.png): Diese Visualisierung zeigt eine normalisierte Version der Konfusionsmatrix. Die Daten werden als Anteile statt als absolute Zahlen dargestellt. So lassen sich die Ergebnisse der einzelnen Klassen leichter vergleichen.

• Labels der Validierungs-Batches (val_batchX_labels.jpg): Diese Bilder zeigen die Ground-Truth-Labels für einzelne Batches aus dem Validierungsdatensatz. Sie veranschaulichen deutlich, welche Objekte im Datensatz enthalten sind und wo sie sich jeweils befinden.

• Vorhersagen für Validierungs-Batches (val_batchX_pred.jpg): Im Gegensatz zu den Labelbildern zeigen diese Visualisierungen die Vorhersagen des YOLO26-Modells für die jeweiligen Batches. Durch den Vergleich mit den Labelbildern kannst du leicht beurteilen, wie gut das Modell Objekte visuell erkennt und klassifiziert.

Bei den Aufgaben Objekterkennung, Segmentierung und Posenschätzung geben die Kurvenplots den Metriktyp als Präfix an: Bei der Objekterkennung werden Box*-Kurven geschrieben, bei der Segmentierung sowohl Box*- als auch Mask*-Kurven und bei der Posenschätzung sowohl Box*- als auch Pose*-Kurven.

Speicherung der Ergebnisse#

Zur späteren Verwendung werden die Ergebnisse in einem Verzeichnis gespeichert, das üblicherweise runs/detect/val heißt.

Die richtigen Metriken auswählen#

Welche Metriken sich zur Bewertung eignen, hängt oft von der konkreten Anwendung ab.

• mAP: Eignet sich für eine umfassende Bewertung der Modellleistung.

• IoU: Unverzichtbar, wenn eine präzise Objektlokalisierung entscheidend ist.

• Präzision: Wichtig, wenn möglichst wenige Fehlalarme das Ziel sind.

• Recall: Entscheidend, wenn jedes Objekt erkannt werden muss.

• F1-Score: Nützlich, wenn ein ausgewogenes Verhältnis zwischen Präzision und Recall erforderlich ist.

Bei Echtzeitanwendungen sind Geschwindigkeitsmetriken wie FPS (Bilder pro Sekunde) und Latenz entscheidend, damit Ergebnisse rechtzeitig vorliegen.

Ergebnisse interpretieren#

Es ist wichtig, die Metriken zu verstehen. Niedrige Werte, die häufig auftreten, können Folgendes bedeuten:

• Niedrige mAP: Das Modell muss möglicherweise allgemein verbessert werden.

• Niedrige IoU: Das Modell hat möglicherweise Schwierigkeiten, Objekte genau zu lokalisieren. Andere Methoden zur Begrenzungsrahmenvorhersage könnten helfen.

• Niedrige Präzision: Das Modell erkennt möglicherweise zu viele nicht vorhandene Objekte. Eine Anpassung der Konfidenzschwellenwerte könnte das verringern.

• Niedriger Recall: Das Modell übersieht möglicherweise tatsächlich vorhandene Objekte. Eine verbesserte Merkmalsextraktion oder mehr Daten könnten helfen.

• Unausgewogener F1-Score: Präzision und Recall weichen deutlich voneinander ab.

• AP für einzelne Klassen: Niedrige Werte können auf Klassen hinweisen, mit denen das Modell Schwierigkeiten hat.

Fallstudien#

Beispiele aus der Praxis können verdeutlichen, wie diese Metriken funktionieren.

Fall 1#

• Situation: mAP und F1-Score sind suboptimal. Der Recall ist gut, die Präzision jedoch nicht.

• Interpretation und Maßnahme: Möglicherweise gibt es zu viele falsche Erkennungen. Höhere Konfidenzschwellenwerte könnten diese verringern, zugleich aber auch den Recall leicht senken.

Fall 2#

• Situation: mAP und Recall sind akzeptabel, die IoU ist jedoch niedrig.

• Interpretation und Maßnahme: Das Modell erkennt Objekte gut, lokalisiert sie aber möglicherweise nicht präzise. Eine Verfeinerung der Begrenzungsrahmenvorhersagen könnte helfen.

Fall 3#

• Situation: Einige Klassen weisen eine deutlich niedrigere AP als andere auf, obwohl die Gesamt-mAP ordentlich ist.

• Interpretation und Maßnahme: Diese Klassen sind für das Modell möglicherweise schwieriger. Mehr Daten für diese Klassen oder eine Anpassung der Klassengewichte während des Trainings könnten hilfreich sein.

Vernetzen und zusammenarbeiten#

Der Austausch mit einer Community aus Enthusiasten und Fachleuten kann deine Arbeit mit YOLO26 voranbringen. Hier findest du einige Möglichkeiten zum Lernen, zur Fehlerbehebung und zum Knüpfen von Kontakten.

In der größeren Community mitwirken#

• GitHub-Issues: Das Ultralytics-Repository auf GitHub enthält einen Issues-Bereich, in dem du Fragen stellen, Fehler melden und neue Funktionen vorschlagen kannst. Die Community und die Maintainer sind dort aktiv. Der Bereich eignet sich hervorragend, um Hilfe bei konkreten Problemen zu erhalten.

• Ultralytics-Discord-Server: Ultralytics betreibt einen Discord-Server, auf dem du dich mit anderen Nutzern und den Entwicklern austauschen kannst.

Offizielle Dokumentation und Ressourcen#

• Ultralytics YOLO26-Dokumentation: Die offizielle Dokumentation bietet einen umfassenden Überblick über YOLO26 sowie Anleitungen zur Installation, Verwendung und Fehlerbehebung.

Diese Ressourcen helfen dir nicht nur bei Herausforderungen, sondern halten dich auch über die neuesten Trends und bewährten Verfahren in der YOLO26-Community auf dem Laufenden.

Fazit#

In dieser Anleitung haben wir uns die wichtigsten Leistungsmetriken für YOLO26 genau angesehen. Diese Metriken sind entscheidend, um die Leistung eines Modells zu verstehen, und für alle wichtig, die ihre Modelle feinabstimmen möchten. Sie liefern die nötigen Erkenntnisse für Verbesserungen und helfen sicherzustellen, dass das Modell in realen Situationen zuverlässig funktioniert.

Denk daran: Die YOLO26- und Ultralytics-Community ist eine unschätzbare Ressource. Der Austausch mit anderen Entwicklern und Fachleuten kann dir Einblicke und Lösungen eröffnen, die in der üblichen Dokumentation nicht zu finden sind. Bleib auf deinem Weg durch die Objekterkennung neugierig, probiere neue Ansätze aus und teile deine Erkenntnisse. So trägst du zum gemeinsamen Wissen der Community und zu ihrem Wachstum bei.

Häufig gestellte Fragen#