Wie du Computer-Vision-Modelle testest#

Einführung#

Modelstests prüfen, wie sich ein trainiertes Modell auf zuvor ungesehenen Realdaten schlägt – bei bewegten, schlecht beleuchteten oder teilweise verdeckten Objekten statt in einem kuratierten Benchmark. Während die Modellevaluierung Kennzahlen auf einem annotierten Datensatz misst, stellt das Testen sicher, dass das erlernte Verhalten des Modells vor dem Deployment den Zielen deiner Anwendung entspricht. Dieser Leitfaden behandelt das Vorbereiten von Testdaten, das Testen von Ultralytics YOLO26 Modellen sowie das Erkennen von Overfitting, Underfitting und Data Leakage.

Modelltest vs. Modellevaluierung#

Modelltest und Modellevaluierung sind zwei unterschiedliche Schritte in einem Computer-Vision-Projekt. Die Evaluierung misst die Leistung anhand von Kennzahlen auf einem annotierten Datensatz; das Testen prüft, ob das erlernte Verhalten des Modells unter Bedingungen standhält, die dem Deployment ähneln.

Angenommen, du hast ein Computer-Vision-Modell darauf trainiert, Katzen und Hunde zu erkennen, und möchtest dieses Modell in einer Tierhandlung einsetzen, um die Tiere zu überwachen. Während der Modellevaluierungsphase verwendest du einen annotierten Datensatz, um Metriken wie Genauigkeit, Präzision und Sensitivität zu berechnen. Beispielsweise könnte das Modell in einemgegebenen Datensatz mit 98 % Genauigkeit zwischen Katzen und Hunden unterscheiden.

Nach der Evaluierung testest du das Modell mit Bildern aus dem Tiergeschäft, um zu sehen, wie gut es Katzen und Hunde unter variableren und realistischeren Bedingungen erkennt. Du prüfst, ob es Katzen und Hunde korrekt labeln kann, wenn sie sich bewegen, bei unterschiedlichen Lichtverhältnissen oder wenn sie teilweise durch Gegenstände wie Spielzeug oder Möbel verdeckt sind. Der Modelltest stellt sicher, dass sich das Modell außerhalb der kontrollierten Evaluierungsumgebung wie erwartet verhält.

Vorbereitung auf den Modelltest#

Computer-Vision-Datensätze werden normalerweise in Trainings- und Testsätze unterteilt, um reale Bedingungen zu simulieren: Trainingsdaten bringen dem Modell etwas bei, während Testdaten sein Verhalten an Beispielen überprüfen, die es noch nie gesehen hat. Die Ultralytics Platform hält die Organisation und Annotation von Datensätzen an einem Ort zusammen, was beim Aufbau eines annotierten Testsatzes hilft.

So testest du ein YOLO26-Modell#

Das Testen eines trainierten YOLO26-Modells umfasst zwei sich ergänzende Arbeitsabläufe: die Validierung auf einem gelabelten Test-Split, um quantitative Metriken zu erhalten, und die Vorhersage auf neuen Bildern, um das Verhalten qualitativ zu überprüfen.

Validierung auf einem gelabelten Test-Split#

Der Validierungsmodus vergleicht die Vorhersagen des Modells mit Ground-Truth-Labels und gibt für Erkennungsmodelle Präzision, Sensitivität, mAP50 und mAP50-95 aus. Er speichert auch visuelle Hilfsmittel wie eine Konfusionsmatrix und eine Precision-Recall-Kurve, mit denen du bestimmte Bereiche erkennen kannst, in denen das Modell möglicherweise nicht optimal abschneidet.

from ultralytics import YOLO

# Load a pretrained model or your own trained checkpoint, e.g. "path/to/best.pt"
model = YOLO("yolo26n.pt")

# Validate; add split="test" if your dataset YAML defines a test split
metrics = model.val(data="coco8.yaml")
print(metrics.box.map)  # mAP50-95

Standardmäßig wird die Validierung auf dem val-Split des Datensatzes ausgeführt. Um die Leistung auf einem separaten Test-Split zu messen, definiere einen test:-Split in deiner Dataset-YAML und übergebe split="test".

Vorhersage auf neuen Bildern#

Vorhersagemodus führt das Modell auf neuen, ungesehenen Daten aus, ohne dass Labels erforderlich sind. Er liefert zwar keine Leistungskennzahlen, aber das Speichern der annotierten Ausgaben ermöglicht es dir zu überprüfen, wie sich das Modell auf realen Bildern verhält – zum Beispiel in einem gesamten Ordner mit Testbildern auf einmal.

from ultralytics import YOLO

# Load a pretrained model or your own trained checkpoint, e.g. "path/to/best.pt"
model = YOLO("yolo26n.pt")

# Run predictions on a folder of test images and save annotated results
results = model.predict(source="path/to/test_images", save=True)

Validierungs- vs. Vorhersagemodus#

So analysierst du Testergebnisse#

Sobald Vorhersagen und Metriken vorliegen, untersuche, wo und warum das Modell versagt:

• Fehlklassifizierte Bilder: Identifiziere und überprüfe Bilder, die das Modell falsch klassifiziert hat, um zu verstehen, wo Fehler passieren.
• Fehleranalyse: Führe eine gründliche Fehleranalyse durch, um die Arten von Fehlern (z. B. False Positives vs. False Negatives) und deren mögliche Ursachen zu verstehen.
• Voreingenommenheit und Fairness: Prüfe auf Voreingenommenheiten in den Vorhersagen des Modells. Stelle sicher, dass das Modell über verschiedene Datenteilmengen hinweg gleich gut funktioniert, insbesondere wenn sensible Attribute wie Rasse, Geschlecht oder Alter enthalten sind.

Overfitting und Underfitting beim maschinellen Lernen#

Beim Testen eines Machine-Learning-Modells, insbesondere im Bereich Computer Vision, ist es wichtig, auf Overfitting und Underfitting zu achten. Diese Probleme können die Funktionsweise deines Modells mit neuen Daten erheblich beeinträchtigen.

Der Schlüssel ist ein Gleichgewicht, damit das Modell sowohl auf Trainings- als auch auf Validierungsdatensätzen gut funktioniert. Die regelmäßige Überwachung der Metriken und die visuelle Inspektion der Vorhersagen während des Tests helfen dir, eine Drift in Richtung eines der beiden Extreme zu erkennen.

Data Leakage bei Computer Vision und wie man es vermeidet#

Data Leakage tritt auf, wenn Informationen von außerhalb des Trainingsdatensatzes versehentlich zum Trainieren des Modells verwendet werden. Das Modell mag während des Trainings sehr genau erscheinen, aber es wird bei neuen, ungesehenen Daten nicht gut funktionieren, wenn Data Leakage vorliegt.

Leckagen können schwer zu erkennen sein und entstehen oft durch verborgene Verzerrungen in den Trainingsdaten:

So erkennst und vermeidest du Data Leakage#

Um Data Leakage zu finden, prüfe, ob die Ergebnisse des Modells überraschend gut sind, untersuche, ob ein Merkmal deutlich wichtiger ist als andere, stelle sicher, dass die Entscheidungen des Modells intuitiv sinnvoll sind, und verifiziere, dass die Daten vor jeder Verarbeitung korrekt unterteilt wurden.

Um es zu verhindern, verwende einen vielfältigen Datensatz mit Bildern oder Videos aus verschiedenen Kameras und Umgebungen und überprüfe deine Daten sorgfältig auf verborgene Verzerrungen – wie zum Beispiel, dass alle positiven Beispiele zu einer bestimmten Tageszeit aufgenommen wurden. Die Vermeidung von Data Leakage macht deine Computer-Vision-Modelle in realen Situationen zuverlässiger.

Was kommt nach dem Modelltest#

Nach dem Testen deines Modells hängen die nächsten Schritte von den Ergebnissen ab. Wenn dein Modell gute Leistungen erbringt, kannst du es in einer realen Umgebung deployen. Wenn die Ergebnisse nicht zufriedenstellend sind, musst du Verbesserungen vornehmen. Dies kann die Analyse von Fehlern, das Sammeln weiterer Daten, die Verbesserung der Datenqualität, das Anpassen von Hyperparametern und das erneute Training des Modells umfassen.

Fazit#

Gründliche Modelltests – Validierung auf einem separaten Test-Split, Vorhersagen auf realen Bildern sowie die Prüfung auf Overfitting und Data Leakage – machen aus einem gut evaluierten Modell ein zuverlässiges. Behebe die durch das Testen aufgedeckten Probleme vor dem Deployment, und dein Modell wird mit viel höherer Wahrscheinlichkeit wie gewünscht in der Produktion funktionieren. Wenn dabei Fragen auftreten, frage die Community im Ultralytics GitHub repository oder auf dem Ultralytics Discord server.

FAQ#