Maintenir tes modèles de vision par ordinateur après le déploiement#

Surveiller et maintenir un modèle de vision par ordinateur signifie suivre en continu ses prédictions pour détecter le data drift et les baisses de précision, le réentraîner sur de nouvelles données lorsque les performances se dégradent et documenter chaque changement pour que le travail reste reproductible. C'est la dernière étape d'un projet de vision par ordinateur — après avoir recueilli les exigences, annoté les données, entraîné le modèle et l'avoir déployé — et c'est ce qui permet au modèle de continuer à remplir les objectifs de ton projet une fois en production.

Dans ce guide, nous examinerons de plus près comment tu peux maintenir tes modèles de vision par ordinateur après le déploiement. Nous explorerons comment la surveillance du modèle peut t'aider à détecter les problèmes dès le début, comment garder ton modèle précis et à jour, et pourquoi la documentation est importante pour le dépannage.

Surveillance du modèle#

Garder un œil attentif sur tes modèles de vision par ordinateur déployés est essentiel. Sans une surveillance adéquate, les modèles peuvent perdre en précision. Un problème courant est le changement de distribution des données ou le data drift, où les données rencontrées par le modèle diffèrent de celles sur lesquelles il a été entraîné. Lorsque le modèle doit faire des prédictions sur des données qu'il ne reconnait pas, cela peut entrainer des interprétations erronées et de piètres performances. Les valeurs aberrantes, ou points de données inhabituels, peuvent également fausser la précision du modèle.

Une surveillance régulière du modèle aide les développeurs à suivre les performances du modèle, à repérer les anomalies et à résoudre rapidement des problèmes tels que le data drift. Elle aide également à gérer les ressources en indiquant quand des mises à jour sont nécessaires, en évitant des refontes coûteuses et en gardant le modèle pertinent.

Meilleures pratiques pour la surveillance du modèle#

Voici quelques bonnes pratiques à garder à l'esprit lors de la surveillance de ton modèle de vision par ordinateur en production :

• Suis régulièrement les performances : Surveille en continu la performance du modèle pour détecter les changements au fil du temps.
• Vérifie doublement la qualité des données : Vérifie l'absence de valeurs manquantes ou d'anomalies dans les données.
• Utilise diverses sources de données : Surveille les données provenant de diverses sources pour obtenir une vue complète de la performance du modèle.
• Combine les techniques de surveillance : Utilise un mélange d'algorithmes de détection de dérive et d'approches basées sur des règles pour identifier un large éventail de problèmes.
• Surveille les entrées et les sorties : Garde un œil sur les données que le modèle traite et sur les résultats qu'il produit pour t'assurer que tout fonctionne correctement.
• Configure des alertes : Mets en place des alertes pour les comportements inhabituels, tels que les baisses de performance, afin de pouvoir prendre des mesures correctives rapidement.

Surveillance avec Ultralytics Platform#

La Ultralytics Platform fournit une surveillance de modèle intégrée pour les points de terminaison YOLO déployés, te permettant de surveiller ton modèle en production sans assembler une pile de surveillance séparée. Le tableau de bord de déploiement suit les signaux clés en temps réel :

• Métriques de requête : Volume total de requêtes, taux d'erreur et latence P95 pour chaque endpoint, avec des graphiques d'évolution (sparklines) sur des périodes allant de 1 heure à 30 jours.
• Vérifications de santé : Sondage automatique de santé de l'endpoint qui signale les déploiements défaillants et rapporte la latence de réponse.
• Journaux : Journaux de requêtes filtrés par sévérité (de DEBUG à CRITICAL) pour diagnostiquer les requêtes échouées et les pics de latence.
• Vue globale : Une carte interactive mondiale et des cartes de synthèse qui résument chaque déploiement à travers les régions dans une vue unique.

Puisque la surveillance est exposée via des URL de points de terminaison standard et une vérification /health, tu peux également intégrer ces signaux dans ta configuration d'observabilité existante lorsque tu as besoin d'une analyse plus approfondie. Pour les détails de configuration, consulte le guide de surveillance du déploiement.

Détection d'anomalies et systèmes d'alerte#

Une anomalie est tout point de données ou motif qui s'écarte considérablement de ce qui est attendu. En ce qui concerne les modèles de vision par ordinateur, les anomalies peuvent être des images très différentes de celles sur lesquelles le modèle a été entraîné. Ces images inattendues peuvent être le signe de problèmes tels que des changements dans la distribution des données, des valeurs aberrantes ou des comportements susceptibles de réduire les performances du modèle. Mettre en place des systèmes d'alerte pour détecter ces anomalies est une partie importante de la surveillance du modèle.

En définissant des niveaux de performance standard et des limites pour les métriques clés, tu peux détecter les problèmes tôt. Lorsque la performance dépasse ces limites, des alertes sont déclenchées, ce qui permet des correctifs rapides. La mise à jour et le réentraînement réguliers des modèles avec de nouvelles données les maintiennent pertinents et précis à mesure que les données changent.

Configuration des seuils et des alertes#

Lorsque tu configures tes systèmes d'alerte, garde ces bonnes pratiques à l'esprit :

• Alertes standardisées : Utilise des outils et des formats cohérents pour toutes les alertes, comme l'e-mail ou des applications de messagerie comme Slack. La standardisation te permet de comprendre et de répondre rapidement aux alertes.
• Inclure le comportement attendu : Les messages d'alerte doivent clairement indiquer ce qui n'a pas fonctionné, ce qui était attendu et le délai évalué. Cela t'aide à évaluer l'urgence et le contexte de l'alerte.
• Alertes configurables : Rends les alertes facilement configurables pour s'adapter aux conditions changeantes. Autorise-toi à modifier les seuils, mettre en veille, désactiver ou accuser réception des alertes.

Détection du data drift#

La détection du data drift est un concept qui aide à identifier quand les propriétés statistiques des données d'entrée changent au fil du temps, ce qui peut dégrader les performances du modèle. Avant de décider de réentraîner ou d'ajuster tes modèles, cette technique aide à repérer qu'il y a un problème. Le data drift traite des changements dans le paysage global des données au fil du temps, tandis que la détection d'anomalies se concentre sur l'identification de points de données rares ou inattendus qui peuvent nécessiter une attention immédiate.

Voici plusieurs méthodes pour détecter le data drift :

• Surveillance continue : Surveille régulièrement les données d'entrée et les sorties du modèle pour détecter des signes de dérive. Suis les métriques clés et compare-les aux données historiques pour identifier des changements significatifs.
• Techniques statistiques : Utilise des méthodes telles que le test de Kolmogorov-Smirnov ou le Population Stability Index (PSI) pour détecter les changements dans les distributions de données. Ces tests comparent la distribution des nouvelles données avec les données d'entraînement pour identifier des différences significatives.
• Dérive des caractéristiques (Feature Drift) : Surveille les caractéristiques individuelles pour détecter une dérive. Parfois, la distribution globale des données peut rester stable, mais des caractéristiques individuelles peuvent dériver. Identifier quelles caractéristiques dérivent aide à affiner le processus de réentraînement.

Maintenance du modèle#

La maintenance des modèles permet de garder les modèles de vision par ordinateur précis et pertinents au fil du temps en les mettant à jour et en les réentraînant régulièrement, en traitant la dérive des données (data drift) et en s'adaptant à mesure que les données et les environnements changent. C'est la contrepartie de la surveillance : la surveillance observe les performances du modèle en temps réel pour détecter les problèmes tôt, tandis que la maintenance consiste à résoudre ces problèmes.

Mises à jour régulières et réentraînement#

Une fois qu'un modèle est déployé, lors de la surveillance, tu peux remarquer des changements dans les modèles de données ou les performances, indiquant une dérive du modèle. Les mises à jour régulières et le réentraînement deviennent des éléments essentiels de la maintenance du modèle pour garantir qu'il puisse gérer de nouveaux modèles et scénarios. Il existe quelques techniques que tu peux utiliser en fonction de la façon dont tes données évoluent.

Par exemple, si les données changent progressivement au fil du temps, l'apprentissage incrémentiel est une bonne approche. L'apprentissage incrémentiel consiste à mettre à jour le modèle avec de nouvelles données sans le réentraîner complètement à partir de zéro, ce qui économise des ressources de calcul et du temps. Cependant, si les données ont changé radicalement, un réentraînement complet périodique peut être une meilleure option pour s'assurer que le modèle ne fait pas de surapprentissage sur les nouvelles données tout en perdant de vue les schémas plus anciens.

Quelle que soit la méthode, la validation et les tests sont indispensables après les mises à jour. Il est important de valider le modèle sur un jeu de données de test séparé pour vérifier les améliorations ou dégradations des performances.

Décider quand réentraîner ton modèle#

La fréquence de réentraînement de ton modèle de vision par ordinateur dépend des changements de données et des performances du modèle. Réentraîne ton modèle chaque fois que tu observes une baisse significative des performances ou que tu détectes un data drift. Des évaluations régulières peuvent aider à déterminer le calendrier de réentraînement approprié en testant le modèle par rapport à de nouvelles données. Surveiller les métriques de performance et les schémas de données te permet de décider si ton modèle a besoin de mises à jour plus fréquentes pour maintenir la précision.

Documentation#

Documenter un projet de vision par ordinateur le rend plus facile à comprendre, à reproduire et sur lequel collaborer. Une bonne documentation couvre l'architecture du modèle, les hyperparamètres, les ensembles de données, les métriques d'évaluation, et plus encore. Elle offre de la transparence, aidant les membres de l'équipe et les parties prenantes à comprendre ce qui a été fait et pourquoi. La documentation aide également au dépannage, à la maintenance et aux améliorations futures en fournissant une référence claire des décisions et méthodes passées.

Éléments clés à documenter#

Voici quelques-uns des éléments clés qui devraient être inclus dans la documentation du projet :

• Aperçu du projet : Fournis un résumé de haut niveau du projet, incluant l'énoncé du problème, l'approche de solution, les résultats attendus et la portée du projet. Explique le rôle de la vision par ordinateur dans la résolution du problème et décris les étapes et les livrables.
• Architecture du modèle : Détaille la structure et la conception du modèle, y compris ses composants, ses couches et ses connexions. Explique les hyperparamètres choisis et la logique derrière ces choix.
• Préparation des données : Décris les sources de données, les types, les formats, les tailles et les étapes de prétraitement. Discute de la qualité des données, de leur fiabilité et de toutes les transformations appliquées avant d'entraîner le modèle.
• Processus d'entraînement : Documente la procédure d'entraînement, incluant les ensembles de données utilisés, les paramètres d'entraînement et les fonctions de perte. Explique comment le modèle a été entraîné et tous les défis rencontrés pendant l'entraînement.
• Métriques d'évaluation : Spécifie les métriques utilisées pour évaluer les performances du modèle, telles que l'exactitude, la précision, le rappel et le score F1. Inclus les résultats de performance et une analyse de ces métriques.
• Étapes de déploiement : Décris les étapes suivies pour déployer le modèle, y compris les outils et plateformes utilisés, les configurations de déploiement et tous les défis ou considérations spécifiques.
• Procédure de surveillance et de maintenance : Fournis un plan détaillé pour surveiller la performance du modèle après le déploiement. Inclus les méthodes pour détecter et traiter le data drift et la dérive du modèle, et décris le processus pour les mises à jour et le réentraînement réguliers.

Conclusion#

Surveiller, maintenir et documenter ton modèle est ce qui assure le succès d'un projet de vision par ordinateur bien après le déploiement : une surveillance continue détecte les problèmes tôt, un réentraînement régulier adapte le modèle aux nouvelles données et au drift, et une documentation claire facilite chaque future mise à jour. Traite cela comme une boucle continue et revisite les étapes de ton projet de vision par ordinateur au fur et à mesure que tes données et tes exigences évoluent.

FAQ#