Guide sur les tests de modèles

Introduction

Après avoir formé et évalué votre modèle, il est temps de le tester. Le test du modèle consiste à évaluer ses performances dans des scénarios réels. Les tests prennent en compte des facteurs tels que la précision, la fiabilité, l'équité et la facilité de compréhension des décisions du modèle. L'objectif est de s'assurer que le modèle fonctionne comme prévu, qu'il fournit les résultats escomptés et qu'il s'inscrit dans l'objectif global de votre application ou projet.

Le test de modèle est assez similaire à l'évaluation de modèle, mais il s'agit de deux étapes distinctes dans un projet de vision par ordinateur. L'évaluation du modèle implique des mesures et des tracés pour évaluer la précision du modèle. En revanche, le test de modèle vérifie si le comportement appris du modèle correspond aux attentes. Dans ce guide, nous allons explorer des stratégies pour tester vos modèles de vision par ordinateur.

Test de modèle vs. Évaluation du modèle

Tout d'abord, un exemple permet de comprendre la différence entre l'évaluation et le test d'un modèle.

Supposons que vous ayez formé un modèle de vision artificielle pour reconnaître les chats et les chiens, et que vous souhaitiez déployer ce modèle dans une animalerie pour surveiller les animaux. Au cours de la phase d'évaluation du modèle, vous utilisez un ensemble de données étiquetées pour calculer des mesures telles que l'exactitude, la précision, le rappel et le score F1. Par exemple, le modèle peut avoir une précision de 98 % dans la distinction entre les chats et les chiens dans un ensemble de données donné.

Après l'évaluation, vous testez le modèle à l'aide d'images provenant d'une animalerie pour voir s'il identifie bien les chats et les chiens dans des conditions plus variées et plus réalistes. Vous vérifiez s'il peut étiqueter correctement les chats et les chiens lorsqu'ils sont en mouvement, dans des conditions d'éclairage différentes ou partiellement masqués par des objets tels que des jouets ou des meubles. Le test du modèle permet de vérifier que le modèle se comporte comme prévu en dehors de l'environnement d'évaluation contrôlé.

Préparation des tests de modèles

Les modèles de vision par ordinateur apprennent à partir d'ensembles de données en détectant des modèles, en faisant des prédictions et en évaluant leurs performances. Ces ensembles de données sont généralement divisés en ensembles de formation et de test afin de simuler les conditions du monde réel. Les données d'entraînement permettent d'apprendre le modèle, tandis que les données de test permettent de vérifier sa précision.

Voici deux points à garder à l'esprit avant de tester votre modèle :

• Représentation réaliste : Les données de test inédites doivent être similaires aux données que le modèle devra traiter lorsqu'il sera déployé. Cela permet d'obtenir une compréhension réaliste des capacités du modèle.
• Taille suffisante : La taille de l'ensemble de données de test doit être suffisante pour fournir des informations fiables sur les performances du modèle.

Tester votre modèle de vision par ordinateur

Voici les principales étapes à suivre pour tester votre modèle de vision par ordinateur et comprendre ses performances.

• Exécuter des prédictions : Utilisez le modèle pour faire des prédictions sur l'ensemble des données de test.
• Comparer les prédictions : Vérifier dans quelle mesure les prédictions du modèle correspondent aux étiquettes réelles (vérité de terrain).
• Calculer les indicateurs de performance : Calculer des mesures telles que l'exactitude, la précision, le rappel et le score F1 pour comprendre les forces et les faiblesses du modèle. Les tests se concentrent sur la manière dont ces mesures reflètent les performances réelles.
• Visualiser les résultats : Créez des aides visuelles telles que des matrices de confusion et des courbes ROC. Elles vous aideront à repérer les domaines spécifiques dans lesquels le modèle pourrait ne pas être performant dans les applications pratiques.

Ensuite, les résultats des tests peuvent être analysés :

• Images mal classées : Identifiez et examinez les images que le modèle a mal classées afin de comprendre où il se trompe.
• Analyse des erreurs : Effectuer une analyse approfondie des erreurs afin de comprendre les types d'erreurs (par exemple, les faux positifs et les faux négatifs) et leurs causes potentielles.
• Biais et équité : Vérifiez que les prédictions du modèle ne sont pas biaisées. Veillez à ce que le modèle soit aussi performant pour différents sous-ensembles de données, en particulier s'il inclut des attributs sensibles tels que la race, le sexe ou l'âge.

Tester votre modèle YOLO11

Pour tester votre modèle YOLO11 , vous pouvez utiliser le mode de validation. Il s'agit d'un moyen simple de comprendre les points forts du modèle et les domaines à améliorer. Vous devrez également formater correctement votre ensemble de données de test pour YOLO11. Pour plus de détails sur l'utilisation du mode de validation, consultez la page de documentation Validation du modèle.

Utilisation de YOLO11 pour prédire des images test multiples

Si vous souhaitez tester votre modèle YOLO11 entraîné sur plusieurs images stockées dans un dossier, vous pouvez facilement le faire en une seule fois. Au lieu d'utiliser le mode de validation, qui est généralement utilisé pour évaluer les performances du modèle sur un ensemble de validation et fournir des métriques détaillées, vous pouvez simplement vouloir voir les prédictions sur toutes les images de votre ensemble de test. Pour cela, vous pouvez utiliser le mode prédiction.

Différence entre les modes de validation et de prédiction

• Mode de validation: Il permet d'évaluer les performances du modèle en comparant les prédictions à des étiquettes connues (vérité de terrain). Il fournit des mesures détaillées telles que l'exactitude, la précision, le rappel et le score F1.
• Mode prédiction: Il permet d'exécuter le modèle sur des données nouvelles et inédites afin de générer des prédictions. Il ne fournit pas de mesures de performance détaillées, mais vous permet de voir comment le modèle fonctionne sur des images réelles.

Exécution de YOLO11 Predictions sans formation personnalisée

Si vous souhaitez tester le modèle de base YOLO11 pour savoir s'il peut être utilisé pour votre application sans entraînement personnalisé, vous pouvez utiliser le mode prédiction. Bien que le modèle soit pré-entraîné sur des ensembles de données tels que COCO, l'exécution de prédictions sur votre propre ensemble de données peut vous donner une idée rapide de ses performances dans votre contexte spécifique.

Ajustement excessif et ajustement insuffisant dans l'apprentissage automatique

Lorsque l'on teste un modèle d'apprentissage automatique, en particulier dans le domaine de la vision artificielle, il est important de faire attention à l'ajustement excessif et à l'ajustement insuffisant. Ces problèmes peuvent affecter de manière significative le fonctionnement de votre modèle avec de nouvelles données.

Surajustement

Il y a surajustement lorsque votre modèle apprend trop bien les données d'apprentissage, y compris le bruit et les détails qui ne se généralisent pas aux nouvelles données. Dans le domaine de la vision par ordinateur, cela signifie que votre modèle peut donner d'excellents résultats avec les images d'entraînement, mais qu'il a du mal avec les nouvelles images.

Signes de surajustement

• Précision d'entraînement élevée, faible précision de validation : si votre modèle donne de très bons résultats sur les données d'entraînement, mais de mauvais résultats sur les données de validation ou de test, il s'agit probablement d'un surajustement.
• Inspection visuelle : Vous pouvez parfois constater un surajustement si votre modèle est trop sensible à des changements mineurs ou à des détails non pertinents dans les images.

Sous-adaptation

Il y a sous-adaptation lorsque votre modèle ne peut pas capturer les modèles sous-jacents dans les données. Dans le domaine de la vision artificielle, un modèle sous-adapté peut même ne pas reconnaître correctement des objets dans les images d'apprentissage.

Signes d'inadaptation

• Faible précision d'apprentissage : si votre modèle n'atteint pas une précision élevée sur l'ensemble d'apprentissage, il se peut qu'il soit sous-adapté.
• Mauvaise classification visuelle : La non-reconnaissance systématique de caractéristiques ou d'objets évidents suggère un sous-ajustement.

Équilibrer l'ajustement excessif et l'ajustement insuffisant

L'essentiel est de trouver un équilibre entre l'overfitting et l'underfitting. Dans l'idéal, un modèle doit être performant à la fois sur les ensembles de données d'apprentissage et de validation. Le suivi régulier des performances de votre modèle au moyen de mesures et d'inspections visuelles, ainsi que l'application des bonnes stratégies, peuvent vous aider à obtenir les meilleurs résultats.

Fuites de données dans le domaine de la vision par ordinateur et comment les éviter

Lors du test de votre modèle, il est important de garder à l'esprit la fuite de données. Il y a fuite de données lorsque des informations extérieures à l'ensemble de données de formation sont accidentellement utilisées pour former le modèle. Le modèle peut sembler très précis pendant la formation, mais il ne sera pas performant sur des données nouvelles et inédites en cas de fuite de données.

Pourquoi les fuites de données se produisent-elles ?

Les fuites de données peuvent être difficiles à repérer et proviennent souvent de biais cachés dans les données d'apprentissage. Voici quelques exemples de fuites de données dans le domaine de la vision artificielle :

• Biais de la caméra : les différents angles, éclairages, ombres et mouvements de la caméra peuvent introduire des motifs indésirables.
• Biais de superposition : les logos, les horodatages ou autres superpositions dans les images peuvent induire le modèle en erreur.
• Biais de police et d'objet : les polices spécifiques ou les objets qui apparaissent fréquemment dans certaines classes peuvent fausser l'apprentissage du modèle.
• Biais spatial : les déséquilibres entre l'avant-plan et l'arrière-plan, la distribution des boîtes englobantes et l'emplacement des objets peuvent affecter l'apprentissage.
• Biais d'étiquette et de domaine : des étiquettes incorrectes ou des changements dans les types de données peuvent entraîner des fuites.

Détection des fuites de données

Pour détecter les fuites de données, vous pouvez

• Vérifier les performances : Si les résultats du modèle sont étonnamment bons, il se peut qu'il y ait des fuites.
• Examinez l'importance des caractéristiques : Si une caractéristique est beaucoup plus importante que les autres, cela peut indiquer une fuite.
• Inspection visuelle : Vérifier que les décisions du modèle sont intuitivement compréhensibles.
• Vérifier la séparation des données : Assurez-vous que les données ont été correctement divisées avant tout traitement.

Éviter les fuites de données

Pour éviter les fuites de données, utilisez un ensemble de données diversifié avec des images ou des vidéos provenant de caméras et d'environnements différents. Examinez soigneusement vos données et vérifiez qu'il n'y a pas de biais cachés, par exemple si tous les échantillons positifs ont été pris à un moment précis de la journée. En évitant les fuites de données, vous contribuerez à rendre vos modèles de vision par ordinateur plus fiables et plus efficaces dans des situations réelles.

Ce qui se passe après les essais de modèles

Après avoir testé votre modèle, les étapes suivantes dépendent des résultats. Si votre modèle fonctionne bien, vous pouvez le déployer dans un environnement réel. Si les résultats ne sont pas satisfaisants, vous devrez apporter des améliorations. Il peut s'agir d'analyser les erreurs, de collecter davantage de données, d'améliorer la qualité des données, d'ajuster les hyperparamètres et de réentraîner le modèle.

Participez au débat sur l'IA

Faire partie d'une communauté de passionnés de vision par ordinateur peut aider à résoudre des problèmes et à apprendre plus efficacement. Voici quelques moyens de vous connecter, de demander de l'aide et de partager vos idées.

Ressources communautaires

• GitHub Issues : Explorez le dépôt GitHub YOLO11 et utilisez l'onglet Issues pour poser des questions, signaler des bogues et suggérer de nouvelles fonctionnalités. La communauté et les mainteneurs sont très actifs et prêts à vous aider.
• Ultralytics Serveur Discord : Rejoignez le serveur DiscordUltralytics pour discuter avec d'autres utilisateurs et développeurs, obtenir de l'aide et partager vos expériences.

Documentation officielle

• Ultralytics YOLO11 Documentation : Consultez la documentation officielle de YOLO11 pour obtenir des guides détaillés et des conseils utiles sur divers projets de vision par ordinateur.

Ces ressources vous aideront à relever les défis et à vous tenir au courant des dernières tendances et pratiques au sein de la communauté de la vision par ordinateur.

En résumé

La construction de modèles de vision par ordinateur fiables repose sur des tests de modèles rigoureux. En testant le modèle avec des données inédites, nous pouvons l'analyser et repérer des faiblesses telles que le surajustement et la fuite de données. La résolution de ces problèmes avant le déploiement permet au modèle de fonctionner correctement dans les applications réelles. Il est important de se rappeler que le test de modèle est tout aussi crucial que l'évaluation de modèle pour garantir le succès et l'efficacité à long terme du modèle.

FAQ

Quelles sont les principales différences entre l'évaluation et le test de modèles dans le domaine de la vision par ordinateur ?

L'évaluation et le test d'un modèle sont des étapes distinctes dans un projet de vision par ordinateur. L'évaluation d'un modèle implique l'utilisation d'un ensemble de données étiquetées pour calculer des mesures telles que l'exactitude, la précision, le rappel et le score F1, ce qui donne un aperçu des performances du modèle avec un ensemble de données contrôlé. Le test du modèle, quant à lui, évalue les performances du modèle dans des scénarios réels en l'appliquant à de nouvelles données inédites, ce qui permet de s'assurer que le comportement appris du modèle correspond aux attentes en dehors de l'environnement d'évaluation. Pour un guide détaillé, reportez-vous aux étapes d'un projet de vision par ordinateur.

Comment puis-je tester mon modèle Ultralytics YOLO11 sur plusieurs images ?

Pour tester votre modèle Ultralytics YOLO11 sur plusieurs images, vous pouvez utiliser le mode prédiction. Ce mode vous permet d'exécuter le modèle sur des données nouvelles et inédites afin de générer des prédictions sans fournir de métriques détaillées. Ce mode est idéal pour tester les performances réelles sur des ensembles d'images plus importants stockés dans un dossier. Pour évaluer les mesures de performance, utilisez plutôt le mode de validation.

Que dois-je faire si mon modèle de vision par ordinateur présente des signes d'ajustement excessif ou insuffisant ?

Pour remédier au surajustement:

• Techniques de régularisation telles que l'abandon.
• Augmenter la taille de l'ensemble de données de formation.
• Simplifier l'architecture du modèle.

Pour remédier à l'insuffisance d'ajustement:

• Utiliser un modèle plus complexe.
• Fournir des fonctionnalités plus pertinentes.
• Augmenter le nombre d'itérations ou d'époques de formation.

Examinez les images mal classées, effectuez une analyse approfondie des erreurs et suivez régulièrement les mesures de performance afin de maintenir un équilibre. Pour plus d'informations sur ces concepts, consultez notre section sur l'ajustement excessif et l'ajustement insuffisant.

Comment détecter et éviter les fuites de données dans le domaine de la vision par ordinateur ?

Détecter les fuites de données :

• Vérifiez que les performances des tests ne sont pas anormalement élevées.
• Vérifier l'importance des caractéristiques pour obtenir des informations inattendues.
• Examiner intuitivement les décisions du modèle.
• Veiller à ce que les données soient correctement réparties avant le traitement.

Pour éviter les fuites de données :

• Utiliser divers ensembles de données dans des environnements variés.
• Examiner soigneusement les données pour déceler les biais cachés.
• Veiller à ce qu'il n'y ait pas de chevauchement d'informations entre les ensembles de formation et de test.

Pour des stratégies détaillées sur la prévention des fuites de données, reportez-vous à notre section sur les fuites de données dans le domaine de la vision par ordinateur.

Quelles sont les étapes à suivre après avoir testé mon modèle de vision par ordinateur ?

Après le test, si les performances du modèle répondent aux objectifs du projet, procéder au déploiement. Si les résultats ne sont pas satisfaisants, il convient d'envisager :

• Analyse des erreurs.
• Recueillir des données plus diversifiées et de meilleure qualité.
• Réglage des hyperparamètres.
• Réentraînement du modèle.

Tirer des enseignements de la section Tests de modèles et évaluation des modèles pour affiner et améliorer l'efficacité des modèles dans des applications réelles . Évaluation des modèles pour affiner et améliorer l'efficacité des modèles dans les applications réelles.

Comment exécuter les prédictions de YOLO11 sans formation personnalisée ?

Vous pouvez effectuer des prédictions à l'aide du modèle YOLO11 pré-entraîné sur votre ensemble de données pour voir s'il convient aux besoins de votre application. Utilisez le mode prédiction pour avoir une idée rapide des résultats de performance sans vous plonger dans un entraînement personnalisé.

📅C réé il y a 5 mois ✏️ Mis à jour il y a 2 mois

Commentaires