Una guida al test del modello

Introduzione

Dopo aver addestrato e valutato il tuo modello, è il momento di testarlo. Il test del modello comporta la valutazione di come si comporta in scenari del mondo reale. Il testing prende in considerazione fattori come accuratezza, affidabilità, equità e quanto siano facili da comprendere le decisioni del modello. L'obiettivo è assicurarsi che il modello funzioni come previsto, fornisca i risultati attesi e si adatti all'obiettivo generale della tua applicazione o progetto.

Il test del modello è abbastanza simile alla valutazione del modello, ma sono due fasi distinte in un progetto di computer vision. La valutazione del modello comporta l'uso di metriche e grafici per valutare l'accuratezza del modello. D'altra parte, il test del modello verifica se il comportamento appreso dal modello è coerente con le aspettative. In questa guida, esploreremo strategie per testare i tuoi modelli di computer vision.

Test del modello vs. Valutazione del modello

Per prima cosa, comprendiamo la differenza tra valutazione e test del modello con un esempio.

Supponiamo che tu abbia addestrato un modello di computer vision per riconoscere gatti e cani e che tu voglia distribuire questo modello in un negozio di animali per monitorarli. Durante la fase di valutazione del modello, utilizzi un set di dati etichettato per calcolare metriche come accuratezza, precision, recall e punteggio F1. Ad esempio, il modello potrebbe avere un'accuratezza del 98% nel distinguere tra gatti e cani in un determinato set di dati.

Dopo la valutazione, testi il modello utilizzando immagini di un negozio di animali per vedere quanto bene identifica gatti e cani in condizioni più varie e realistiche. Verifichi se riesce a etichettare correttamente gatti e cani quando sono in movimento, in diverse condizioni di illuminazione o parzialmente oscurati da oggetti come giocattoli o mobili. Il test del modello verifica che il modello si comporti come previsto al di fuori dell'ambiente di valutazione controllato.

Preparazione al test del modello

I modelli di computer vision imparano dai set di dati rilevando pattern, facendo previsioni e valutando le loro prestazioni. Questi set di dati sono solitamente suddivisi in set di addestramento e test per simulare condizioni del mondo reale. I dati di addestramento istruiscono il modello, mentre i dati di test ne verificano l'accuratezza.

Ecco due punti da tenere a mente prima di testare il tuo modello:

• Rappresentazione realistica: I dati di test precedentemente non visti dovrebbero essere simili ai dati che il modello dovrà gestire una volta distribuito. Questo aiuta a ottenere una comprensione realistica delle capacità del modello.
• Dimensioni sufficienti: La dimensione del set di dati di test deve essere sufficientemente grande da fornire approfondimenti affidabili su come performa il modello.

Testare il tuo modello di computer vision

Ecco i passaggi chiave da seguire per testare il tuo modello di computer vision e comprenderne le prestazioni.

• Esegui le previsioni: Usa il modello per fare previsioni sul set di dati di test.
• Confronta le previsioni: Verifica quanto bene le previsioni del modello corrispondono alle etichette reali (ground truth).
• Calcola le metriche di performance: Calcola metriche come accuratezza, precision, recall e punteggio F1 per comprendere i punti di forza e di debolezza del modello. Il test si concentra su come queste metriche riflettono le prestazioni nel mondo reale.
• Visualizza i risultati: Crea supporti visivi come matrici di confusione e curve ROC. Questi ti aiutano a individuare aree specifiche in cui il modello potrebbe non performare bene nelle applicazioni pratiche.

Successivamente, i risultati del test possono essere analizzati:

• Immagini classificate erroneamente: Identifica e rivedi le immagini che il modello ha classificato in modo errato per capire dove sta sbagliando.
• Analisi degli errori: Esegui un'analisi approfondita degli errori per comprendere i tipi di errori (ad es. falsi positivi vs. falsi negativi) e le loro potenziali cause.
• Bias ed equità: Verifica eventuali bias nelle previsioni del modello. Assicurati che il modello performi altrettanto bene su diversi sottoinsiemi di dati, specialmente se includono attributi sensibili come razza, genere o età.

Testare il tuo modello YOLO26

Per testare il tuo modello YOLO26, puoi usare la modalità di convalida. È un modo diretto per comprendere i punti di forza del modello e le aree che necessitano di miglioramento. Inoltre, dovrai formattare correttamente il tuo set di dati di test per YOLO26. Per maggiori dettagli su come utilizzare la modalità di convalida, consulta la pagina della documentazione Convalida del modello.

Utilizzo di YOLO26 per prevedere su più immagini di test

Se desideri testare il tuo modello YOLO26 addestrato su più immagini memorizzate in una cartella, puoi farlo facilmente in una volta sola. Invece di usare la modalità di convalida, che viene tipicamente usata per valutare le prestazioni del modello su un set di convalida e fornire metriche dettagliate, potresti voler solo vedere le previsioni su tutte le immagini nel tuo set di test. Per questo, puoi usare la modalità di previsione.

Differenza tra modalità di convalida e previsione

• Modalità di convalida: Usata per valutare le prestazioni del modello confrontando le previsioni con etichette note (ground truth). Fornisce metriche dettagliate come accuratezza, precision, recall e punteggio F1.
• Modalità di previsione: Usata per eseguire il modello su dati nuovi e non visti per generare previsioni. Non fornisce metriche di performance dettagliate, ma ti permette di vedere come performa il modello su immagini del mondo reale.

Esecuzione delle previsioni YOLO26 senza addestramento personalizzato

Se sei interessato a testare il modello base YOLO26 per capire se può essere utilizzato per la tua applicazione senza addestramento personalizzato, puoi usare la modalità di previsione. Sebbene il modello sia pre-addestrato su set di dati come COCO, eseguire previsioni sul tuo set di dati può darti una rapida idea di come potrebbe performare nel tuo contesto specifico.

Overfitting e Underfitting nel Machine Learning

Quando testi un modello di machine learning, specialmente nella computer vision, è importante fare attenzione all'overfitting e all'underfitting. Questi problemi possono influenzare significativamente quanto bene il tuo modello lavora con nuovi dati.

Overfitting

L'overfitting si verifica quando il tuo modello apprende troppo bene i dati di addestramento, inclusi il rumore e i dettagli che non si generalizzano ai nuovi dati. Nella computer vision, questo significa che il tuo modello potrebbe funzionare benissimo con le immagini di addestramento ma avere difficoltà con quelle nuove.

Segnali di overfitting

• Alta accuratezza di addestramento, bassa accuratezza di convalida: Se il tuo modello performa molto bene sui dati di addestramento ma male sui dati di convalida o dati di test, è probabile che ci sia overfitting.
• Ispezione visiva: A volte, puoi notare l'overfitting se il tuo modello è troppo sensibile a piccoli cambiamenti o dettagli irrilevanti nelle immagini.

Underfitting

L'underfitting si verifica quando il tuo modello non riesce a catturare i pattern sottostanti nei dati. Nella computer vision, un modello con underfitting potrebbe non riconoscere nemmeno correttamente gli oggetti nelle immagini di addestramento.

Segnali di underfitting

• Bassa accuratezza di addestramento: Se il tuo modello non riesce a raggiungere un'alta accuratezza sul set di addestramento, potrebbe esserci underfitting.
• Classificazione errata visiva: Il fallimento costante nel riconoscere caratteristiche o oggetti evidenti suggerisce underfitting.

Bilanciare overfitting e underfitting

La chiave è trovare un equilibrio tra overfitting e underfitting. Idealmente, un modello dovrebbe performare bene sia sui set di dati di addestramento che di convalida. Monitorare regolarmente le prestazioni del tuo modello tramite metriche e ispezioni visive, insieme all'applicazione delle giuste strategie, può aiutarti a ottenere i migliori risultati.

Data leakage nella computer vision e come evitarlo

Mentre testi il tuo modello, qualcosa di importante da tenere a mente è il data leakage. Il data leakage si verifica quando informazioni provenienti dall'esterno del set di dati di addestramento vengono accidentalmente utilizzate per addestrare il modello. Il modello potrebbe sembrare molto accurato durante l'addestramento, ma non performa bene su dati nuovi e non visti quando si verifica un data leakage.

Perché il data leakage accade

Il data leakage può essere difficile da individuare e spesso deriva da bias nascosti nei dati di addestramento. Ecco alcuni modi comuni in cui può accadere nella computer vision:

• Bias della telecamera: Diverse angolazioni, illuminazione, ombre e movimenti della telecamera possono introdurre pattern indesiderati.
• Bias di sovrapposizione: Loghi, timestamp o altre sovrapposizioni nelle immagini possono sviare il modello.
• Bias di font e oggetti: Font o oggetti specifici che appaiono frequentemente in determinate classi possono distorcere l'apprendimento del modello.
• Bias spaziale: Sbilanciamenti nel primo piano-sfondo, distribuzioni delle bounding box e posizioni degli oggetti possono influenzare l'addestramento.
• Bias di etichetta e dominio: Etichette errate o cambiamenti nei tipi di dati possono portare al leakage.

Rilevare il data leakage

Per trovare il data leakage, puoi:

• Controllare le prestazioni: Se i risultati del modello sono sorprendentemente buoni, potrebbe esserci leakage.
• Guardare l'importanza delle feature: Se una feature è molto più importante delle altre, potrebbe indicare leakage.
• Ispezione visiva: Verifica che le decisioni del modello abbiano senso in modo intuitivo.
• Verificare la separazione dei dati: Assicurati che i dati siano stati divisi correttamente prima di qualsiasi elaborazione.

Evitare il data leakage

Per prevenire il data leakage, usa un set di dati diversificato con immagini o video da telecamere e ambienti diversi. Rivedi attentamente i tuoi dati e verifica che non ci siano bias nascosti, come il fatto che tutti i campioni positivi siano presi in un momento specifico della giornata. Evitare il data leakage aiuterà a rendere i tuoi modelli di computer vision più affidabili ed efficaci in situazioni del mondo reale.

Cosa succede dopo il test del modello

Dopo aver testato il tuo modello, i passaggi successivi dipendono dai risultati. Se il tuo modello performa bene, puoi distribuirlo in un ambiente reale. Se i risultati non sono soddisfacenti, dovrai apportare dei miglioramenti. Questo potrebbe comportare l'analisi degli errori, la raccolta di più dati, il miglioramento della qualità dei dati, la regolazione degli iperparametri e il riaddestramento del modello.

Unisciti alla conversazione sull'IA

Entrare a far parte di una comunità di appassionati di computer vision può aiutare a risolvere problemi e imparare in modo più efficiente. Ecco alcuni modi per connettersi, cercare aiuto e condividere i tuoi pensieri.

Risorse della comunità

• GitHub Issues: Esplora il repository GitHub di YOLO26 e usa la scheda Issues per fare domande, segnalare bug e suggerire nuove funzionalità. La comunità e i manutentori sono molto attivi e pronti ad aiutare.
• Server Discord di Ultralytics: Unisciti al server Discord di Ultralytics per chattare con altri utenti e sviluppatori, ottenere supporto e condividere le tue esperienze.

Documentazione ufficiale

• Documentazione di Ultralytics YOLO26: Dai un'occhiata alla documentazione ufficiale di YOLO26 per guide dettagliate e utili suggerimenti su vari progetti di computer vision.

Queste risorse ti aiuteranno a navigare le sfide e a rimanere aggiornato sulle ultime tendenze e pratiche all'interno della comunità di computer vision.

In sintesi

Costruire modelli di computer vision affidabili si basa su un rigoroso test del modello. Testando il modello con dati precedentemente non visti, possiamo analizzarlo e individuare debolezze come overfitting e data leakage. Affrontare questi problemi prima della distribuzione aiuta il modello a performare bene nelle applicazioni reali. È importante ricordare che il test del modello è importante tanto quanto la valutazione del modello nel garantire il successo e l'efficacia a lungo termine.

FAQ

Quali sono le principali differenze tra valutazione del modello e test del modello nella computer vision?

La valutazione del modello e il test del modello sono fasi distinte in un progetto di computer vision. La valutazione del modello comporta l'uso di un set di dati etichettato per calcolare metriche come accuracy, precision, recall e F1 score, fornendo approfondimenti sulle prestazioni del modello con un set di dati controllato. Il test del modello, d'altra parte, valuta le prestazioni del modello in scenari del mondo reale applicandolo a dati nuovi e non visti, assicurando che il comportamento appreso dal modello si allinei con le aspettative al di fuori dell'ambiente di valutazione. Per una guida dettagliata, fai riferimento alle fasi di un progetto di computer vision.

Come posso testare il mio modello Ultralytics YOLO26 su più immagini?

Per testare il tuo modello Ultralytics YOLO26 su più immagini, puoi usare la modalità di previsione. Questa modalità ti permette di eseguire il modello su dati nuovi e non visti per generare previsioni senza fornire metriche dettagliate. Questo è ideale per testare le prestazioni reali su set di immagini più grandi memorizzati in una cartella. Per valutare le metriche di performance, usa invece la modalità di convalida.

Cosa dovrei fare se il mio modello di computer vision mostra segni di overfitting o underfitting?

Per affrontare l'overfitting:

• Tecniche di regolarizzazione come il dropout.
• Aumenta la dimensione del set di dati di addestramento.
• Semplifica l'architettura del modello.

Per affrontare l'underfitting:

• Usa un modello più complesso.
• Fornisci più feature rilevanti.
• Aumenta le iterazioni di addestramento o le epoch.

Rivedi le immagini classificate erroneamente, esegui un'analisi approfondita degli errori e monitora regolarmente le metriche di performance per mantenere un equilibrio. Per maggiori informazioni su questi concetti, esplora la nostra sezione su Overfitting e Underfitting.

Come posso rilevare ed evitare il data leakage nella computer vision?

Per rilevare il data leakage:

• Verifica che le prestazioni del test non siano insolitamente alte.
• Controlla l'importanza delle feature per intuizioni inattese.
• Rivedi intuitivamente le decisioni del modello.
• Assicurati della corretta divisione dei dati prima dell'elaborazione.

Per evitare il data leakage:

• Usa set di dati diversificati con vari ambienti.
• Rivedi attentamente i dati per cercare bias nascosti.
• Assicurati che non ci siano informazioni sovrapposte tra i set di addestramento e di test.

Per strategie dettagliate sulla prevenzione del data leakage, fai riferimento alla nostra sezione su Data leakage nella computer vision.

Quali passaggi dovrei compiere dopo aver testato il mio modello di computer vision?

Dopo il test, se le prestazioni del modello soddisfano gli obiettivi del progetto, procedi con la distribuzione. Se i risultati non sono soddisfacenti, considera:

• Analisi degli errori.
• Raccolta di dati più diversificati e di alta qualità.
• Ottimizzazione degli iperparametri.
• Riadestramento del modello.

Ottieni approfondimenti dalla sezione Test del modello Vs. Valutazione del modello per affinare e migliorare l'efficacia del modello nelle applicazioni del mondo reale.

Come eseguo le previsioni di YOLO26 senza un addestramento personalizzato?

Puoi eseguire previsioni utilizzando il modello YOLO26 preaddestrato sul tuo dataset per vedere se soddisfa le esigenze della tua applicazione. Utilizza la modalità di previsione per avere un'idea rapida dei risultati delle prestazioni senza addentrarti nell'addestramento personalizzato.