Detaillierte Einblicke in Leistungsmetriken#

Einführung#

Leistungsmetriken sind wichtige Werkzeuge zur Bewertung der Genauigkeit und Effizienz von Objekterkennungs-Modellen. Sie geben Aufschluss darüber, wie effektiv ein Modell Objekte in Bildern identifizieren und lokalisieren kann. Darüber hinaus helfen sie dabei, den Umgang des Modells mit falsch positiven und falsch negativen Ergebnissen zu verstehen. Diese Erkenntnisse sind entscheidend für die Bewertung und Verbesserung der Modellleistung. In diesem Leitfaden untersuchen wir verschiedene Leistungsmetriken im Zusammenhang mit YOLO26, deren Bedeutung und wie du sie interpretieren kannst.

Metriken zur Objekterkennung#

Beginnen wir mit der Erörterung einiger Metriken, die nicht nur für YOLO26 wichtig sind, sondern allgemein auf verschiedene Objekterkennungsmodelle angewendet werden können.

• Intersection over Union (IoU): Die IoU ist ein Maß, das die Überlappung zwischen einem vorhergesagten BBox und einem Ground-Truth-BBox quantifiziert. Sie spielt eine fundamentale Rolle bei der Bewertung der Genauigkeit der Objektlokalisierung.

• Average Precision (AP): AP berechnet die Fläche unter der Precision-Recall-Kurve und liefert einen einzelnen Wert, der die Präzisions- und Recall-Leistung des Modells zusammenfasst.

• Mean Average Precision (mAP): Die mAP erweitert das Konzept der AP, indem sie die durchschnittlichen AP-Werte über mehrere Objektklassen hinweg berechnet. Dies ist in Szenarien der multiklassen Objekterkennung nützlich, um eine umfassende Bewertung der Modellleistung zu ermöglichen.

• Präzision und Recall: Die Präzision (Precision) quantifiziert den Anteil der korrekt positiv erkannten Objekte an allen positiven Vorhersagen und bewertet die Fähigkeit des Modells, falsch-positive Ergebnisse zu vermeiden. Der Recall hingegen berechnet den Anteil der korrekt positiv erkannten Objekte an allen tatsächlich vorhandenen positiven Instanzen und misst die Fähigkeit des Modells, alle Instanzen einer Klasse zu erkennen.

• F1-Score: Der F1-Score ist das harmonische Mittel aus Präzision und Recall und bietet eine ausgewogene Bewertung der Modellleistung unter Berücksichtigung sowohl von falsch-positiven als auch von falsch-negativen Ergebnissen.

So berechnest du Metriken für das YOLO26-Modell#

Nun können wir den YOLO26-Validierungsmodus erkunden, der verwendet werden kann, um die oben besprochenen Evaluierungsmetriken zu berechnen.

Die Verwendung des Validierungsmodus ist einfach. Sobald du ein trainiertes Modell hast, kannst du die Funktion model.val() aufrufen. Diese Funktion verarbeitet dann den Validierungsdatensatz und gibt eine Vielzahl von Leistungsmetriken zurück. Aber was bedeuten diese Metriken? Und wie solltest du sie interpretieren?

Interpretation der Ausgabe#

Lass uns die Ausgabe der Funktion model.val() aufschlüsseln und jeden Abschnitt verstehen.

Klassenspezifische Metriken#

Einer der Abschnitte der Ausgabe ist die klassenspezifische Aufschlüsselung der Leistungsmetriken. Diese detaillierten Informationen sind nützlich, wenn du verstehen möchtest, wie gut das Modell für jede einzelne Klasse abschneidet, insbesondere bei Datensätzen mit einer vielfältigen Auswahl an Objektkategorien. Für jede Klasse im Datensatz wird Folgendes bereitgestellt:

• Klasse: Dies bezeichnet den Namen der Objektklasse, wie z. B. "Person", "Auto" oder "Hund".

• Bilder: Diese Metrik gibt die Anzahl der Bilder im Validierungssatz an, die diese Objektklasse enthalten.

• Instanzen: Dies gibt an, wie oft die Klasse in allen Bildern des Validierungssatzes vorkommt.

• Box(P, R, mAP50, mAP50-95): Diese Metrik gibt Aufschluss über die Leistung des Modells bei der Erkennung von Objekten:

  • P (Präzision): Die Genauigkeit der erkannten Objekte, die angibt, wie viele Erkennungen korrekt waren.

  • R (Recall): Die Fähigkeit des Modells, alle Instanzen von Objekten in den Bildern zu identifizieren.

  • mAP50: Mean Average Precision, berechnet bei einem IoU-Schwellenwert von 0,50. Es ist ein Maß für die Genauigkeit des Modells, das nur die "einfachen" Erkennungen berücksichtigt.

  • mAP50-95: Der Durchschnitt der Mean Average Precision, berechnet bei verschiedenen IoU-Schwellenwerten, die von 0,50 bis 0,95 reichen. Dies bietet einen umfassenden Überblick über die Leistung des Modells bei unterschiedlichen Schwierigkeitsgraden der Erkennung.

Geschwindigkeitsmetriken#

Die Inferenzgeschwindigkeit kann ebenso kritisch sein wie die Genauigkeit, insbesondere in Echtzeit-Objekterkennungsszenarien. Dieser Abschnitt schlüsselt die Zeit auf, die für verschiedene Phasen des Validierungsprozesses benötigt wird, von der Vorverarbeitung bis zur Nachverarbeitung.

COCO-Metrik-Bewertung#

Für Benutzer, die auf dem COCO-Datensatz validieren, werden zusätzliche Metriken mithilfe des COCO-Evaluierungsskripts berechnet. Diese Metriken geben Einblicke in Präzision und Recall bei verschiedenen IoU-Schwellenwerten und für Objekte unterschiedlicher Größe.

Visuelle Ausgaben#

Die Funktion model.val() liefert neben numerischen Metriken auch visuelle Ausgaben, die ein intuitiveres Verständnis der Modellleistung ermöglichen können. Hier ist eine Aufschlüsselung der visuellen Ausgaben, die du erwarten kannst:

• F1-Score-Kurve (BoxF1_curve.png): Diese Kurve stellt den F1-Score über verschiedene Schwellenwerte hinweg dar. Die Interpretation dieser Kurve kann Einblicke in die Balance des Modells zwischen falsch positiven und falsch negativen Ergebnissen bei unterschiedlichen Schwellenwerten liefern.

• Precision-Recall-Kurve (BoxPR_curve.png): Diese Kurve ist eine unverzichtbare Visualisierung für jedes Klassifizierungsproblem und zeigt die Kompromisse zwischen Präzision und Recall bei unterschiedlichen Schwellenwerten. Sie wird besonders wichtig, wenn man es mit unausgeglichenen Klassen zu tun hat.

• Präzisionskurve (BoxP_curve.png): Eine grafische Darstellung der Präzisionswerte bei verschiedenen Schwellenwerten. Diese Kurve hilft zu verstehen, wie sich die Präzision ändert, wenn der Schwellenwert angepasst wird.

• Recall-Kurve (BoxR_curve.png): Entsprechend veranschaulicht dieses Diagramm, wie sich die Recall-Werte über verschiedene Schwellenwerte hinweg verändern.

• Konfusionsmatrix (confusion_matrix.png): Die Konfusionsmatrix bietet eine detaillierte Ansicht der Ergebnisse und zeigt die Anzahl der True Positives, True Negatives, False Positives und False Negatives für jede Klasse.

• Normalisierte Konfusionsmatrix (confusion_matrix_normalized.png): Diese Visualisierung ist eine normalisierte Version der Konfusionsmatrix. Sie stellt die Daten in Anteilen statt in absoluten Zahlen dar. Dieses Format erleichtert den Leistungsvergleich über Klassen hinweg.

• Validierungs-Batch-Labels (val_batchX_labels.jpg): Diese Bilder zeigen die Ground-Truth-Labels für bestimmte Batches aus dem Validierungsdatensatz. Sie bieten ein klares Bild davon, welche Objekte vorhanden sind und wo sie sich gemäß dem Datensatz befinden.

• Validierungs-Batch-Vorhersagen (val_batchX_pred.jpg): Im Gegensatz zu den Label-Bildern zeigen diese Visualisierungen die vom YOLO26-Modell für die jeweiligen Batches erstellten Vorhersagen. Durch den Vergleich mit den Label-Bildern kannst du leicht beurteilen, wie gut das Modell Objekte visuell erkennt und klassifiziert.

Für die Aufgaben Erkennung, Segmentierung und Pose ist den Kurvendiagrammen der Metriktyp vorangestellt: Die Erkennung schreibt Box*-Kurven, die Segmentierung schreibt sowohl Box*- als auch Mask*-Kurven, und die Pose schreibt sowohl Box*- als auch Pose*-Kurven.

Speicherung der Ergebnisse#

Für zukünftige Referenzzwecke werden die Ergebnisse in einem Verzeichnis gespeichert, das normalerweise runs/detect/val heißt.

Auswahl der richtigen Metriken#

Die Auswahl der richtigen Metriken zur Bewertung hängt oft von der spezifischen Anwendung ab.

• mAP: Geeignet für eine breite Bewertung der Modellleistung.

• IoU: Unerlässlich, wenn eine präzise Objektlokalisierung entscheidend ist.

• Präzision: Wichtig, wenn die Minimierung von Falscherkennungen Priorität hat.

• Recall: Lebenswichtig, wenn es darauf ankommt, jede Instanz eines Objekts zu erkennen.

• F1-Score: Nützlich, wenn ein Gleichgewicht zwischen Präzision und Recall erforderlich ist.

Für Echtzeitanwendungen sind Geschwindigkeitsmetriken wie FPS (Frames Per Second) und Latenz entscheidend, um zeitnahe Ergebnisse zu gewährleisten.

Interpretation der Ergebnisse#

Es ist wichtig, die Metriken zu verstehen. Hier ist, was einige der häufig beobachteten niedrigeren Werte andeuten könnten:

• Niedriger mAP: Deutet darauf hin, dass das Modell allgemeine Verbesserungen benötigt.

• Niedrige IoU: Das Modell könnte Schwierigkeiten haben, Objekte präzise zu bestimmen. Andere BBox-Methoden könnten helfen.

• Niedrige Präzision: Das Modell erkennt möglicherweise zu viele nicht existierende Objekte. Eine Anpassung der Konfidenzschwellen könnte dies reduzieren.

• Geringer Recall: Das Modell übersieht möglicherweise echte Objekte. Die Verbesserung der Merkmalsextraktion oder die Verwendung weiterer Daten kann helfen.

• Unausgewogener F1-Score: Es besteht ein Gefälle zwischen Präzision und Recall.

• Klassenspezifische AP: Niedrige Werte hier können Klassen hervorheben, mit denen das Modell Schwierigkeiten hat.

Fallstudien#

Beispiele aus der Praxis können verdeutlichen, wie diese Metriken in der Anwendung funktionieren.

Fall 1#

• Situation: mAP und F1-Score sind suboptimal, aber während der Recall gut ist, ist die Präzision nicht optimal.

• Interpretation & Maßnahme: Es könnten zu viele falsche Erkennungen vorliegen. Eine Verschärfung der Konfidenzschwellen könnte diese reduzieren, obwohl dies auch den Recall leicht senken könnte.

Fall 2#

• Situation: mAP und Recall sind akzeptabel, aber die IoU ist unzureichend.

• Interpretation & Maßnahme: Das Modell erkennt Objekte gut, lokalisiert sie aber möglicherweise nicht präzise. Die Verfeinerung der BBox-Vorhersagen könnte helfen.

Fall 3#

• Situation: Einige Klassen haben eine deutlich niedrigere AP als andere, trotz eines ordentlichen GesamtmAP.

• Interpretation & Maßnahme: Diese Klassen könnten eine größere Herausforderung für das Modell darstellen. Die Verwendung von mehr Daten für diese Klassen oder die Anpassung der Klassengewichtung während des Trainings könnte von Vorteil sein.

Verbinden und Zusammenarbeiten#

Die Nutzung einer Community aus Enthusiasten und Experten kann deine Reise mit YOLO26 bereichern. Hier sind einige Wege, die Lernen, Fehlerbehebung und Networking erleichtern können.

Engagiere dich in der breiteren Community#

• GitHub-Issues: Das YOLO26-Repository auf GitHub verfügt über einen Issues-Tab, in dem du Fragen stellen, Fehler melden und neue Funktionen vorschlagen kannst. Die Community und die Maintainer sind hier aktiv, und es ist ein großartiger Ort, um Hilfe bei spezifischen Problemen zu erhalten.

• Ultralytics-Discord-Server: Ultralytics verfügt über einen Discord-Server, auf dem du dich mit anderen Benutzern und den Entwicklern austauschen kannst.

Offizielle Dokumentation und Ressourcen:#

• Ultralytics-YOLO26-Dokumentation: Die offizielle Dokumentation bietet eine umfassende Übersicht über YOLO26 sowie Anleitungen zu Installation, Verwendung und Fehlerbehebung.

Die Nutzung dieser Ressourcen wird dich nicht nur bei Herausforderungen begleiten, sondern dich auch über die neuesten Trends und Best Practices in der YOLO26-Community auf dem Laufenden halten.

Fazit#

In diesem Leitfaden haben wir die wesentlichen Leistungsmetriken für YOLO26 genau unter die Lupe genommen. Diese Metriken sind der Schlüssel zum Verständnis der Modellleistung und sind für jeden unerlässlich, der seine Modelle feinabstimmen möchte. Sie bieten die notwendigen Einblicke für Verbesserungen und stellen sicher, dass das Modell in realen Situationen effektiv arbeitet.

Denk daran, dass die YOLO26- und Ultralytics-Community eine unschätzbare Ressource ist. Der Austausch mit anderen Entwicklern und Experten kann Türen zu Erkenntnissen und Lösungen öffnen, die in der Standarddokumentation nicht zu finden sind. Während du dich mit Objekterkennung beschäftigst, bewahre den Geist des Lernens, experimentiere mit neuen Strategien und teile deine Erkenntnisse. Dadurch trägst du zum kollektiven Wissen der Community bei und sicherst ihr Wachstum.

FAQ#