Ein Leitfaden zum Modelltest

Einführung

Nach dem Training und der Bewertung deines Modells ist es an der Zeit, es zu testen. Beim Modelltest wird geprüft, wie gut das Modell in realen Szenarien funktioniert. Das Testen berücksichtigt Faktoren wie Genauigkeit, Zuverlässigkeit, Fairness und die Nachvollziehbarkeit der Modellentscheidungen. Das Ziel ist sicherzustellen, dass das Modell wie vorgesehen arbeitet, die erwarteten Ergebnisse liefert und zum Gesamtziel deiner Anwendung oder deines Projekts passt.

Das Testen von Modellen ist der Modellbewertung recht ähnlich, aber es handelt sich um zwei verschiedene Schritte in einem Computer-Vision-Projekt. Die Modellbewertung umfasst Metriken und Diagramme zur Beurteilung der Genauigkeit des Modells. Beim Modelltest hingegen wird geprüft, ob das erlernte Verhalten des Modells den Erwartungen entspricht. In diesem Leitfaden werden wir Strategien zum Testen deiner Computer-Vision-Modelle untersuchen.

Modelltest vs. Modellbewertung

Lass uns zunächst den Unterschied zwischen Modellbewertung und -test anhand eines Beispiels verstehen.

Angenommen, du hast ein Computer-Vision-Modell trainiert, um Katzen und Hunde zu erkennen, und du möchtest dieses Modell in einer Tierhandlung einsetzen, um die Tiere zu überwachen. Während der Modellbewertungsphase verwendest du einen gekennzeichneten Datensatz, um Metriken wie Genauigkeit, Präzision, Recall und F1-Score zu berechnen. Beispielsweise könnte das Modell eine Genauigkeit von 98 % bei der Unterscheidung von Katzen und Hunden in einem bestimmten Datensatz aufweisen.

Nach der Bewertung testest du das Modell mit Bildern aus einer Tierhandlung, um zu sehen, wie gut es Katzen und Hunde unter vielfältigeren und realistischeren Bedingungen erkennt. Du überprüfst, ob es Katzen und Hunde korrekt kennzeichnen kann, wenn sie sich bewegen, bei unterschiedlichen Lichtverhältnissen oder wenn sie teilweise durch Objekte wie Spielzeug oder Möbel verdeckt sind. Der Modelltest stellt sicher, dass sich das Modell außerhalb der kontrollierten Bewertungsumgebung wie erwartet verhält.

Vorbereitung auf den Modelltest

Computer-Vision-Modelle lernen aus Datensätzen, indem sie Muster erkennen, Vorhersagen treffen und ihre Leistung bewerten. Diese Datensätze werden normalerweise in Trainings- und Testsets unterteilt, um reale Bedingungen zu simulieren. Trainingsdaten lehren das Modell, während Testdaten dessen Genauigkeit verifizieren.

Hier sind zwei Punkte, die du vor dem Testen deines Modells beachten solltest:

• Realistische Repräsentation: Die bisher unbekannten Testdaten sollten den Daten ähneln, die das Modell nach der Bereitstellung verarbeiten muss. Dies hilft dabei, ein realistisches Verständnis der Fähigkeiten des Modells zu erhalten.
• Ausreichende Größe: Die Größe des Testdatensatzes muss groß genug sein, um zuverlässige Erkenntnisse über die Leistung des Modells zu liefern.

Testen deines Computer-Vision-Modells

Hier sind die wichtigsten Schritte, um dein Computer-Vision-Modell zu testen und dessen Leistung zu verstehen.

• Vorhersagen ausführen: Verwende das Modell, um Vorhersagen für den Testdatensatz zu treffen.
• Vorhersagen vergleichen: Überprüfe, wie gut die Vorhersagen des Modells mit den tatsächlichen Labels (Ground Truth) übereinstimmen.
• Leistungsmetriken berechnen: Berechne Metriken wie Genauigkeit, Präzision, Recall und F1-Score, um die Stärken und Schwächen des Modells zu verstehen. Das Testen konzentriert sich darauf, wie diese Metriken die reale Leistung widerspiegeln.
• Ergebnisse visualisieren: Erstelle visuelle Hilfsmittel wie Konfusionsmatrizen und ROC-Kurven. Diese helfen dir dabei, spezifische Bereiche zu identifizieren, in denen das Modell in der Praxis möglicherweise nicht gut funktioniert.

Anschließend können die Testergebnisse analysiert werden:

• Fehlklassifizierte Bilder: Identifiziere und überprüfe Bilder, die das Modell falsch klassifiziert hat, um zu verstehen, wo es Fehler macht.
• Fehleranalyse: Führe eine gründliche Fehleranalyse durch, um die Arten von Fehlern (z. B. False Positives vs. False Negatives) und deren mögliche Ursachen zu verstehen.
• Bias und Fairness: Prüfe auf Voreingenommenheit (Bias) in den Vorhersagen des Modells. Stelle sicher, dass das Modell über verschiedene Datenteilmengen hinweg gleich gut funktioniert, insbesondere wenn sensible Attribute wie Rasse, Geschlecht oder Alter enthalten sind.

Testen deines YOLO26-Modells

Um dein YOLO26-Modell zu testen, kannst du den Validierungsmodus verwenden. Dies ist eine einfache Möglichkeit, die Stärken des Modells und Bereiche, die Verbesserungen erfordern, zu verstehen. Außerdem musst du deinen Testdatensatz korrekt für YOLO26 formatieren. Weitere Einzelheiten zur Verwendung des Validierungsmodus findest du auf der Dokumentationsseite Modellvalidierung.

YOLO26 zur Vorhersage auf mehreren Testbildern verwenden

Wenn du dein trainiertes YOLO26-Modell an mehreren in einem Ordner gespeicherten Bildern testen möchtest, kannst du dies einfach in einem Durchgang tun. Anstatt den Validierungsmodus zu verwenden, der normalerweise zur Bewertung der Modellleistung in einem Validierungsset und zur Bereitstellung detaillierter Metriken dient, möchtest du vielleicht einfach nur Vorhersagen für alle Bilder in deinem Testset sehen. Hierfür kannst du den Vorhersagemodus verwenden.

Unterschied zwischen Validierungs- und Vorhersagemodus

• Validierungsmodus: Wird verwendet, um die Leistung des Modells zu bewerten, indem Vorhersagen mit bekannten Labels (Ground Truth) verglichen werden. Er liefert detaillierte Metriken wie Genauigkeit, Präzision, Recall und F1-Score.
• Vorhersagemodus: Wird verwendet, um das Modell auf neuen, ungesehenen Daten auszuführen, um Vorhersagen zu generieren. Er liefert keine detaillierten Leistungsmetriken, ermöglicht es dir jedoch zu sehen, wie das Modell bei realen Bildern funktioniert.

Ausführen von YOLO26-Vorhersagen ohne benutzerdefiniertes Training

Wenn du daran interessiert bist, das grundlegende YOLO26-Modell zu testen, um zu verstehen, ob es für deine Anwendung ohne benutzerdefiniertes Training verwendet werden kann, kannst du den Vorhersagemodus nutzen. Während das Modell auf Datensätzen wie COCO vortrainiert ist, kann das Ausführen von Vorhersagen mit deinem eigenen Datensatz dir ein schnelles Gefühl dafür geben, wie gut es in deinem spezifischen Kontext funktionieren könnte.

Overfitting und Underfitting beim Maschinellen Lernen

Beim Testen eines Modells für maschinelles Lernen, insbesondere im Bereich Computer Vision, ist es wichtig, auf Overfitting (Überanpassung) und Underfitting (Unteranpassung) zu achten. Diese Probleme können die Funktionsweise deines Modells mit neuen Daten erheblich beeinträchtigen.

Overfitting

Overfitting tritt auf, wenn dein Modell die Trainingsdaten zu gut lernt, einschließlich des Rauschens und der Details, die sich nicht auf neue Daten übertragen lassen. Im Bereich Computer Vision bedeutet dies, dass dein Modell bei Trainingsbildern hervorragend abschneiden, bei neuen Bildern jedoch Schwierigkeiten haben könnte.

Anzeichen von Overfitting

• Hohe Trainingsgenauigkeit, niedrige Validierungsgenauigkeit: Wenn dein Modell bei Trainingsdaten sehr gut abschneidet, bei Validierungs- oder Testdaten jedoch schlecht, liegt wahrscheinlich ein Overfitting vor.
• Visuelle Inspektion: Manchmal kannst du Overfitting erkennen, wenn dein Modell zu empfindlich auf geringfügige Änderungen oder irrelevante Details in Bildern reagiert.

Underfitting

Underfitting tritt auf, wenn dein Modell die zugrunde liegenden Muster in den Daten nicht erfassen kann. Bei Computer Vision erkennt ein unterangepasstes Modell möglicherweise nicht einmal Objekte in den Trainingsbildern korrekt.

Anzeichen von Underfitting

• Niedrige Trainingsgenauigkeit: Wenn dein Modell im Trainingsset keine hohe Genauigkeit erzielen kann, liegt möglicherweise ein Underfitting vor.
• Visuelle Fehlklassifizierung: Das konsequente Versagen bei der Erkennung offensichtlicher Merkmale oder Objekte deutet auf Underfitting hin.

Ausgleich zwischen Overfitting und Underfitting

Der Schlüssel liegt darin, ein Gleichgewicht zwischen Overfitting und Underfitting zu finden. Idealerweise sollte ein Modell sowohl bei Trainings- als auch bei Validierungsdatensätzen gut funktionieren. Die regelmäßige Überwachung der Leistung deines Modells durch Metriken und visuelle Inspektionen sowie die Anwendung der richtigen Strategien können dir helfen, die besten Ergebnisse zu erzielen.

Datenleck (Data Leakage) in Computer Vision und wie man es vermeidet

Während du dein Modell testest, solltest du unbedingt auf Datenlecks achten. Datenlecks treten auf, wenn Informationen von außerhalb des Trainingsdatensatzes versehentlich zum Trainieren des Modells verwendet werden. Das Modell scheint während des Trainings möglicherweise sehr genau zu sein, wird aber bei neuen, ungesehenen Daten nicht gut funktionieren, wenn ein Datenleck vorliegt.

Warum Datenlecks auftreten

Datenlecks können schwer zu erkennen sein und entstehen oft durch versteckte Voreingenommenheiten (Biases) in den Trainingsdaten. Hier sind einige häufige Ursachen in der Computer Vision:

• Kamerabias: Unterschiedliche Winkel, Beleuchtung, Schatten und Kamerabewegungen können unerwünschte Muster einführen.
• Overlay-Bias: Logos, Zeitstempel oder andere Overlays in Bildern können das Modell in die Irre führen.
• Schriftarten- und Objektbias: Bestimmte Schriftarten oder Objekte, die häufig in bestimmten Klassen vorkommen, können das Lernen des Modells verzerren.
• räumlicher Bias: Ungleichgewichte in der Verteilung von Vordergrund/Hintergrund, Bounding Boxes und Objektpositionen können das Training beeinflussen.
• Label- und Domain-Bias: Falsche Labels oder Verschiebungen in Datentypen können zu Lecks führen.

Datenlecks erkennen

Um Datenlecks zu finden, kannst du:

• Leistung überprüfen: Wenn die Ergebnisse des Modells überraschend gut sind, könnte ein Leck vorliegen.
• Merkmalsbedeutung betrachten: Wenn ein Merkmal viel wichtiger ist als andere, könnte dies auf ein Leck hindeuten.
• Visuelle Inspektion: Überprüfe noch einmal, ob die Entscheidungen des Modells intuitiv sinnvoll sind.
• Datentrennung verifizieren: Stelle sicher, dass die Daten vor der Verarbeitung korrekt aufgeteilt wurden.

Datenlecks vermeiden

Um Datenlecks zu vermeiden, verwende einen vielfältigen Datensatz mit Bildern oder Videos aus verschiedenen Kameras und Umgebungen. Überprüfe deine Daten sorgfältig und stelle sicher, dass keine versteckten Voreingenommenheiten vorliegen, wie z. B. dass alle positiven Proben zu einer bestimmten Tageszeit aufgenommen wurden. Die Vermeidung von Datenlecks wird dazu beitragen, deine Computer-Vision-Modelle in realen Situationen zuverlässiger und effektiver zu machen.

Was kommt nach dem Modelltest

Nach dem Testen deines Modells hängen die nächsten Schritte von den Ergebnissen ab. Wenn dein Modell gut funktioniert, kannst du es in einer realen Umgebung bereitstellen. Wenn die Ergebnisse nicht zufriedenstellend sind, musst du Verbesserungen vornehmen. Dies könnte die Analyse von Fehlern, das Sammeln weiterer Daten, die Verbesserung der Datenqualität, die Anpassung von Hyperparametern und das erneute Training des Modells beinhalten.

Schließe dich der KI-Unterhaltung an

Teil einer Community von Computer-Vision-Enthusiasten zu werden, kann dabei helfen, Probleme zu lösen und effizienter zu lernen. Hier sind einige Möglichkeiten, sich zu vernetzen, Hilfe zu suchen und deine Gedanken zu teilen.

Community-Ressourcen

• GitHub Issues: Erkunde das YOLO26 GitHub-Repository und nutze den Issues-Tab, um Fragen zu stellen, Fehler zu melden und neue Funktionen vorzuschlagen. Die Community und die Maintainer sind sehr aktiv und bereit zu helfen.
• Ultralytics Discord-Server: Tritt dem Ultralytics Discord-Server bei, um dich mit anderen Benutzern und Entwicklern zu unterhalten, Support zu erhalten und deine Erfahrungen zu teilen.

Offizielle Dokumentation

• Ultralytics YOLO26-Dokumentation: Sieh dir die offizielle YOLO26-Dokumentation an, um detaillierte Anleitungen und hilfreiche Tipps für verschiedene Computer-Vision-Projekte zu erhalten.

Diese Ressourcen helfen dir dabei, Herausforderungen zu meistern und über die neuesten Trends und Praktiken in der Computer-Vision-Community auf dem Laufenden zu bleiben.

Zusammenfassung

Der Aufbau vertrauenswürdiger Computer-Vision-Modelle beruht auf gründlichen Modelltests. Durch das Testen des Modells mit bisher ungesehenen Daten können wir es analysieren und Schwachstellen wie Overfitting und Datenlecks erkennen. Die Behebung dieser Probleme vor der Bereitstellung trägt dazu bei, dass das Modell in realen Anwendungen gut funktioniert. Es ist wichtig daran zu denken, dass der Modelltest bei der Gewährleistung des langfristigen Erfolgs und der Effektivität des Modells genauso entscheidend ist wie die Modellbewertung.

FAQ

Was sind die Hauptunterschiede zwischen Modellbewertung und Modelltest in der Computer Vision?

Modellbewertung und Modelltest sind unterschiedliche Schritte in einem Computer-Vision-Projekt. Die Modellbewertung umfasst die Verwendung eines gekennzeichneten Datensatzes zur Berechnung von Metriken wie Genauigkeit, Präzision, Recall und F1-Score, was Einblicke in die Leistung des Modells mit einem kontrollierten Datensatz bietet. Der Modelltest hingegen bewertet die Leistung des Modells in realen Szenarien, indem er es auf neue, ungesehene Daten anwendet und so sicherstellt, dass das erlernte Verhalten des Modells außerhalb der Bewertungsumgebung den Erwartungen entspricht. Für einen detaillierten Leitfaden siehe die Schritte in einem Computer-Vision-Projekt.

Wie kann ich mein Ultralytics YOLO26-Modell an mehreren Bildern testen?

Um dein Ultralytics YOLO26-Modell an mehreren Bildern zu testen, kannst du den Vorhersagemodus verwenden. Dieser Modus ermöglicht es dir, das Modell auf neuen, ungesehenen Daten auszuführen, um Vorhersagen zu generieren, ohne detaillierte Metriken bereitzustellen. Dies ist ideal für die Prüfung der realen Leistung bei größeren, in einem Ordner gespeicherten Bildmengen. Verwende zur Bewertung von Leistungsmetriken stattdessen den Validierungsmodus.

Was soll ich tun, wenn mein Computer-Vision-Modell Anzeichen von Overfitting oder Underfitting zeigt?

Um Overfitting anzugehen:

• Regularisierungs-Techniken wie Dropout verwenden.
• Die Größe des Trainingsdatensatzes erhöhen.
• Die Modellarchitektur vereinfachen.

Um Underfitting anzugehen:

• Ein komplexeres Modell verwenden.
• Relevantere Merkmale bereitstellen.
• Trainingsiterationen oder Epochen erhöhen.

Überprüfe fehlklassifizierte Bilder, führe eine gründliche Fehleranalyse durch und verfolge regelmäßig die Leistungsmetriken, um ein Gleichgewicht aufrechtzuerhalten. Weitere Informationen zu diesen Konzepten findest du in unserem Abschnitt zu Overfitting und Underfitting.

Wie kann ich Datenlecks in der Computer Vision erkennen und vermeiden?

Um Datenlecks zu erkennen:

• Überprüfe, ob die Testleistung nicht ungewöhnlich hoch ist.
• Überprüfe die Merkmalsbedeutung auf unerwartete Erkenntnisse.
• Überprüfe die Entscheidungen des Modells intuitiv.
• Stelle sicher, dass die Daten vor der Verarbeitung korrekt getrennt wurden.

Um Datenlecks zu vermeiden:

• Verwende vielfältige Datensätze mit verschiedenen Umgebungen.
• Überprüfe Daten sorgfältig auf versteckte Voreingenommenheiten.
• Stelle sicher, dass keine sich überschneidenden Informationen zwischen Trainings- und Testsets vorhanden sind.

Detaillierte Strategien zur Vermeidung von Datenlecks findest du in unserem Abschnitt zu Datenleck in der Computer Vision.

Welche Schritte sollte ich nach dem Testen meines Computer-Vision-Modells unternehmen?

Wenn die Modellleistung nach dem Testen die Projektziele erfüllt, fahre mit der Bereitstellung fort. Wenn die Ergebnisse nicht zufriedenstellend sind, ziehe Folgendes in Betracht:

• Fehleranalyse.
• Sammeln von vielfältigeren und qualitativ hochwertigeren Daten.
• Hyperparameter-Optimierung.
• Neutraining des Modells.

Gewinne Erkenntnisse aus dem Abschnitt Modelltest vs. Modellevaluierung, um die Modelleffektivität in realen Anwendungen zu verfeinern und zu verbessern.

Wie führe ich YOLO26-Vorhersagen ohne benutzerdefiniertes Training aus?

Du kannst Vorhersagen mit dem vortrainierten YOLO26-Modell auf deinem Datensatz ausführen, um zu sehen, ob es deinen Anwendungsanforderungen entspricht. Nutze den Vorhersagemodus, um schnell ein Gefühl für die Leistungsergebnisse zu bekommen, ohne tief in ein benutzerdefiniertes Training einzusteigen.