Guida alla verifica dei modelli
Introduzione
Dopo aver addestrato e valutato il modello, è il momento di testarlo. Il test del modello consiste nel valutare le sue prestazioni in scenari reali. I test tengono conto di fattori quali l'accuratezza, l'affidabilità, la correttezza e la facilità di comprensione delle decisioni del modello. L'obiettivo è assicurarsi che il modello funzioni come previsto, fornisca i risultati attesi e si adatti all'obiettivo generale dell'applicazione o del progetto.
Il test del modello è abbastanza simile alla valutazione del modello, ma si tratta di due fasi distinte in un progetto di computer vision. La valutazione del modello prevede metriche e grafici per valutarne l'accuratezza. D'altra parte, il test del modello verifica se il comportamento appreso dal modello corrisponde alle aspettative. In questa guida esploreremo le strategie per testare i modelli di computer vision.
Verifica del modello vs. valutazione del modello. Valutazione del modello
Innanzitutto, cerchiamo di capire la differenza tra valutazione e test del modello con un esempio.
Si supponga di aver addestrato un modello di computer vision per riconoscere cani e gatti e di volerlo distribuire in un negozio di animali per monitorare gli animali. Durante la fase di valutazione del modello, si utilizza un set di dati etichettati per calcolare metriche come accuratezza, precisione, richiamo e punteggio F1. Ad esempio, il modello potrebbe avere un'accuratezza del 98% nel distinguere tra cani e gatti in un determinato set di dati.
Dopo la valutazione, si testa il modello utilizzando le immagini di un negozio di animali per verificare la sua capacità di identificare cani e gatti in condizioni più varie e realistiche. Si verifica se è in grado di etichettare correttamente cani e gatti in movimento, in condizioni di illuminazione diverse o parzialmente oscurati da oggetti come giocattoli o mobili. Il test del modello verifica che il modello si comporti come previsto al di fuori dell'ambiente di valutazione controllato.
Preparazione per il test del modello
I modelli di computer vision apprendono da insiemi di dati rilevando modelli, facendo previsioni e valutando le loro prestazioni. Questi insiemi di dati sono solitamente suddivisi in serie di addestramento e di test per simulare le condizioni del mondo reale. I dati di addestramento insegnano al modello, mentre quelli di test ne verificano l'accuratezza.
Ecco due punti da tenere a mente prima di testare il modello:
- Rappresentazione realistica: I dati di prova non visti in precedenza dovrebbero essere simili a quelli che il modello dovrà gestire una volta implementato. Ciò consente di ottenere una comprensione realistica delle capacità del modello.
- Dimensione sufficiente: La dimensione del dataset di test deve essere sufficientemente grande da fornire indicazioni affidabili sulle prestazioni del modello.
Testare il modello di visione computerizzata
Ecco i passi fondamentali da compiere per testare il modello di computer vision e comprenderne le prestazioni.
- Eseguire le previsioni: Utilizzare il modello per fare previsioni sul set di dati di prova.
- Confronto delle previsioni: Verifica la corrispondenza tra le previsioni del modello e le etichette reali (verità di base).
- Calcolo delle metriche delle prestazioni: Calcolare metriche come accuratezza, precisione, richiamo e punteggio F1 per capire i punti di forza e di debolezza del modello. I test si concentrano sul modo in cui queste metriche riflettono le prestazioni del mondo reale.
- Visualizzare i risultati: Creare supporti visivi come matrici di confusione e curve ROC. Questi aiutano a individuare le aree specifiche in cui il modello potrebbe non funzionare bene nelle applicazioni pratiche.
Successivamente, è possibile analizzare i risultati dei test:
- Immagini mal classificate: Identificare e rivedere le immagini che il modello ha classificato in modo errato per capire dove sbaglia.
- Analisi degli errori: Eseguire un'analisi approfondita degli errori per comprendere i tipi di errori (ad esempio, falsi positivi o falsi negativi) e le loro potenziali cause.
- Bias e correttezza: Verificare la presenza di eventuali pregiudizi nelle previsioni del modello. Assicurarsi che il modello abbia le stesse prestazioni in diversi sottoinsiemi di dati, soprattutto se include attributi sensibili come razza, sesso o età.
Test del modello YOLO11
Per testare il modello YOLO11 , è possibile utilizzare la modalità di convalida. È un modo semplice per capire i punti di forza del modello e le aree da migliorare. Inoltre, è necessario formattare correttamente il dataset di prova per YOLO11. Per maggiori dettagli su come utilizzare la modalità di convalida, consultare la pagina dei documenti sulla convalida del modello.
Utilizzo di YOLO11 per predire su più immagini di prova
Se si desidera testare il modello YOLO11 addestrato su più immagini memorizzate in una cartella, è possibile farlo facilmente in un'unica soluzione. Invece di usare la modalità di convalida, che di solito viene usata per valutare le prestazioni del modello su un set di convalida e fornire metriche dettagliate, si potrebbe voler vedere le previsioni su tutte le immagini del set di test. A questo scopo, è possibile utilizzare la modalità di predizione.
Differenza tra le modalità di convalida e di previsione
- Modalità di convalida: Si usa per valutare le prestazioni del modello confrontando le previsioni con le etichette note (verità di base). Fornisce metriche dettagliate come accuratezza, precisione, richiamo e punteggio F1.
- Modalità di previsione: Si usa per eseguire il modello su dati nuovi e non visti per generare previsioni. Non fornisce metriche dettagliate sulle prestazioni, ma consente di vedere come si comporta il modello su immagini reali.
Esecuzione delle previsioni di YOLO11 senza allenamento personalizzato
Se si desidera testare il modello di base di YOLO11 per capire se può essere utilizzato per la propria applicazione senza un addestramento personalizzato, è possibile utilizzare la modalità di predizione. Sebbene il modello sia pre-addestrato su insiemi di dati come COCO, l'esecuzione di previsioni su un proprio insieme di dati può dare una rapida idea di quanto possa funzionare nel proprio contesto specifico.
Overfitting e Underfitting nell'apprendimento automatico
Quando si testa un modello di apprendimento automatico, soprattutto nella computer vision, è importante fare attenzione all'overfitting e all'underfitting. Questi problemi possono influenzare in modo significativo il funzionamento del modello con i nuovi dati.
Overfitting
L'overfitting si verifica quando il modello apprende troppo bene i dati di addestramento, compresi il rumore e i dettagli che non si generalizzano ai nuovi dati. Nella visione computerizzata, questo significa che il modello può essere ottimo con le immagini di addestramento, ma che fatica con quelle nuove.
Segni di overfitting
- Alta precisione di addestramento, bassa precisione di convalida: se il vostro modello ha prestazioni molto buone sui dati di addestramento ma scarse sui dati di convalida o di test, è probabile che si tratti di overfitting.
- Ispezione visiva: A volte si può notare un overfitting se il modello è troppo sensibile a piccole modifiche o a dettagli irrilevanti nelle immagini.
Underfitting
L'underfitting si verifica quando il modello non riesce a catturare i modelli sottostanti nei dati. Nella visione computerizzata, un modello sottoadattato potrebbe anche non riconoscere correttamente gli oggetti nelle immagini di addestramento.
Segni di sottoadattamento
- Bassa precisione di addestramento: se il modello non riesce a raggiungere un'elevata precisione sul set di addestramento, potrebbe essere in underfitting.
- Misclassificazione visiva: L'incapacità costante di riconoscere caratteristiche o oggetti evidenti suggerisce un adattamento insufficiente.
Bilanciare l'overfitting e l'underfitting
La chiave è trovare un equilibrio tra overfitting e underfitting. Idealmente, un modello dovrebbe funzionare bene sia sui set di dati di addestramento che su quelli di convalida. Il monitoraggio regolare delle prestazioni del modello attraverso le metriche e le ispezioni visive, insieme all'applicazione delle giuste strategie, può aiutarvi a ottenere i migliori risultati.
Perdita di dati nella visione artificiale e come evitarla
Durante il test del modello, una cosa importante da tenere presente è la perdita di dati. La perdita di dati avviene quando le informazioni esterne al dataset di addestramento vengono accidentalmente utilizzate per addestrare il modello. Il modello può sembrare molto accurato durante l'addestramento, ma non funzionerà bene su dati nuovi e non visti quando si verifica la perdita di dati.
Perché si verificano le perdite di dati
La perdita di dati può essere difficile da individuare e spesso deriva da pregiudizi nascosti nei dati di addestramento. Ecco alcuni modi comuni in cui può verificarsi nella computer vision:
- Distorsione della telecamera: angolazioni diverse, illuminazione, ombre e movimenti della telecamera possono introdurre modelli indesiderati.
- Sovrapposizione: loghi, timestamp o altre sovrapposizioni nelle immagini possono fuorviare il modello.
- Bias dei font e degli oggetti: font specifici o oggetti che compaiono frequentemente in determinate classi possono influenzare l'apprendimento del modello.
- Bias spaziale: gli squilibri tra primo piano e sfondo, distribuzione dei riquadri di delimitazione e posizione degli oggetti possono influenzare l'addestramento.
- Etichette e distorsioni del dominio: etichette errate o spostamenti dei tipi di dati possono causare perdite.
Rilevamento delle fughe di dati
Per individuare le perdite di dati, è possibile:
- Controllare le prestazioni: Se i risultati del modello sono sorprendentemente buoni, potrebbe avere delle perdite.
- Osservare l'importanza delle funzioni: Se una caratteristica è molto più importante di altre, potrebbe indicare una perdita.
- Ispezione visiva: Verificare che le decisioni del modello abbiano un senso intuitivo.
- Verificare la separazione dei dati: Assicurarsi che i dati siano stati divisi correttamente prima di qualsiasi elaborazione.
Evitare la fuga di dati
Per evitare la perdita di dati, utilizzare un set di dati diversificato con immagini o video provenienti da telecamere e ambienti diversi. Esaminate attentamente i dati e verificate che non ci siano pregiudizi nascosti, come ad esempio che tutti i campioni positivi siano stati presi in una specifica ora del giorno. Evitare la perdita di dati contribuirà a rendere i modelli di computer vision più affidabili ed efficaci nelle situazioni reali.
Cosa succede dopo il test del modello
Dopo aver testato il modello, le fasi successive dipendono dai risultati. Se il modello funziona bene, è possibile implementarlo in un ambiente reale. Se i risultati non sono soddisfacenti, è necessario apportare dei miglioramenti. Ciò potrebbe comportare l'analisi degli errori, la raccolta di altri dati, il miglioramento della qualità dei dati, la regolazione degli iperparametri e la riqualificazione del modello.
Partecipare alla conversazione sull'IA
Entrare a far parte di una comunità di appassionati di computer vision può aiutare a risolvere i problemi e ad apprendere in modo più efficiente. Ecco alcuni modi per connettersi, cercare aiuto e condividere i propri pensieri.
Risorse comunitarie
- Problemi su GitHub: Esplorate il repository GitHub di YOLO11 e utilizzate la scheda Issues per porre domande, segnalare bug e suggerire nuove funzionalità. La comunità e i manutentori sono molto attivi e pronti ad aiutare.
- Ultralytics Server Discord: Unitevi al server Discord di Ultralytics per chattare con altri utenti e sviluppatori, ricevere supporto e condividere le vostre esperienze.
Documentazione ufficiale
- Ultralytics YOLO11 Documentazione: Consultate la documentazione ufficiale di YOLO11 per trovare guide dettagliate e consigli utili su vari progetti di computer vision.
Queste risorse vi aiuteranno a superare le sfide e a rimanere aggiornati sulle ultime tendenze e pratiche della comunità della computer vision.
In sintesi
La costruzione di modelli di computer vision affidabili si basa su test rigorosi del modello. Testando il modello con dati inediti, possiamo analizzarlo e individuare punti deboli come l 'overfitting e la perdita di dati. Risolvere questi problemi prima della distribuzione aiuta il modello a funzionare bene nelle applicazioni reali. È importante ricordare che la verifica del modello è cruciale quanto la sua valutazione per garantirne il successo e l'efficacia a lungo termine.
FAQ
Quali sono le differenze principali tra la valutazione e il test dei modelli nella computer vision?
La valutazione e il test del modello sono fasi distinte di un progetto di computer vision. La valutazione del modello prevede l'utilizzo di un set di dati etichettati per calcolare metriche quali l'accuratezza, la precisione, il richiamo e il punteggio F1, fornendo informazioni sulle prestazioni del modello con un set di dati controllato. Il test del modello, invece, valuta le prestazioni del modello in scenari reali applicandolo a nuovi dati non visti, assicurando che il comportamento appreso dal modello sia in linea con le aspettative al di fuori dell'ambiente di valutazione. Per una guida dettagliata, consultare le fasi di un progetto di computer vision.
Come posso testare il mio modello Ultralytics YOLO11 su più immagini?
Per testare il modello Ultralytics YOLO11 su più immagini, è possibile utilizzare la modalità di previsione. Questa modalità consente di eseguire il modello su dati nuovi e non visti per generare previsioni senza fornire metriche dettagliate. Questa modalità è ideale per testare le prestazioni nel mondo reale su set di immagini più grandi archiviati in una cartella. Per valutare le metriche delle prestazioni, utilizzare invece la modalità di convalida.
Cosa devo fare se il mio modello di computer vision mostra segni di overfitting o underfitting?
Per risolvere il problema dell 'overfitting:
- Tecniche di regolarizzazione come il dropout.
- Aumentare le dimensioni del set di dati di addestramento.
- Semplificare l'architettura del modello.
Per risolvere il problema dell'underfitting:
- Utilizzare un modello più complesso.
- Fornire funzioni più rilevanti.
- Aumentare le iterazioni di addestramento o le epoche.
Rivedere le immagini mal classificate, eseguire un'analisi approfondita degli errori e monitorare regolarmente le metriche delle prestazioni per mantenere un equilibrio. Per ulteriori informazioni su questi concetti, consultate la sezione Overfitting e Underfitting.
Come si può rilevare ed evitare la perdita di dati nella computer vision?
Per rilevare la fuga di dati:
- Verificare che le prestazioni del test non siano insolitamente elevate.
- Verificate l'importanza delle caratteristiche per ottenere intuizioni inaspettate.
- Rivedere intuitivamente le decisioni del modello.
- Assicurare la corretta divisione dei dati prima dell'elaborazione.
Per evitare la perdita di dati:
- Utilizzare insiemi di dati diversi con vari ambienti.
- Esaminare attentamente i dati per individuare eventuali pregiudizi nascosti.
- Assicurarsi che non ci siano sovrapposizioni di informazioni tra gli insiemi di allenamento e di test.
Per strategie dettagliate sulla prevenzione delle perdite di dati, consultare la nostra sezione sulle perdite di dati nella visione artificiale.
Quali sono i passi da compiere dopo aver testato il modello di computer vision?
Dopo il test, se le prestazioni del modello soddisfano gli obiettivi del progetto, procedere con la distribuzione. Se i risultati non sono soddisfacenti, considerare:
- Analisi degli errori.
- Raccogliere dati più diversificati e di alta qualità.
- Regolazione dell'iperparametro.
- Riqualificazione del modello.
Acquisire informazioni dalla sezione Test del modello vs. Valutazione del modello. La sezione Valutazione del modello consente di perfezionare e migliorare l'efficacia del modello nelle applicazioni reali.
Come posso eseguire le previsioni di YOLO11 senza formazione personalizzata?
È possibile eseguire le previsioni utilizzando il modello preaddestrato di YOLO11 sul proprio set di dati per verificare se è adatto alle esigenze della propria applicazione. Utilizzate la modalità di previsione per avere un'idea rapida dei risultati delle prestazioni senza immergervi in un addestramento personalizzato.
