Maintenir tes modèles de vision par ordinateur après le déploiement#

Surveiller et maintenir un modèle de vision par ordinateur signifie suivre en continu ses prédictions pour détecter la dérive des données et les baisses de précision, le réentraîner avec des données récentes lorsque ses performances se dégradent, et documenter chaque modification afin que le travail reste reproductible. Il s’agit de l’étape finale d’un projet de vision par ordinateur — après avoir recueilli les exigences, annoté les données, entraîné le modèle et l’avoir déployé — et c’est ce qui permet au modèle de continuer à répondre aux objectifs de ton projet une fois en production.

Dans ce guide, nous allons examiner plus en détail comment maintenir tes modèles de vision par ordinateur après leur déploiement. Nous verrons comment la surveillance des modèles peut t’aider à détecter rapidement les problèmes, comment préserver la précision et l’actualité de ton modèle, et pourquoi la documentation est importante pour le dépannage.

Surveillance des modèles#

Garder un œil attentif sur tes modèles de vision par ordinateur déployés est essentiel. Sans surveillance adéquate, les modèles peuvent perdre en précision. Un problème courant est le décalage de la distribution des données, ou dérive des données, lorsque les données rencontrées par le modèle changent par rapport à celles sur lesquelles il a été entraîné. Lorsque le modèle doit effectuer des prédictions sur des données qu’il ne reconnaît pas, cela peut entraîner des interprétations erronées et de mauvaises performances. Les valeurs aberrantes, c’est-à-dire les points de données inhabituels, peuvent également fausser la précision du modèle.

La surveillance régulière du modèle aide les développeurs à suivre les performances du modèle, à repérer les anomalies et à résoudre rapidement des problèmes tels que la dérive des données. Elle contribue également à gérer les ressources en indiquant quand des mises à jour sont nécessaires, en évitant des refontes coûteuses et en maintenant la pertinence du modèle.

Bonnes pratiques pour la surveillance des modèles#

Voici quelques bonnes pratiques à garder à l’esprit lorsque tu surveilles ton modèle de vision par ordinateur en production :

• Suivre régulièrement les performances : surveille en continu les performances du modèle afin de détecter les évolutions au fil du temps.
• Vérifier soigneusement la qualité des données : recherche les valeurs manquantes ou les anomalies dans les données.
• Utiliser diverses sources de données : surveille les données provenant de différentes sources pour obtenir une vue d’ensemble des performances du modèle.
• Combiner les techniques de surveillance : utilise un mélange d’algorithmes de détection de dérive et d’approches fondées sur des règles pour identifier un large éventail de problèmes.
• Surveiller les entrées et les sorties : surveille à la fois les données traitées par le modèle et les résultats qu’il produit afin de vérifier que tout fonctionne correctement.
• Configurer des alertes : mets en place des alertes en cas de comportement inhabituel, comme une baisse des performances, afin de pouvoir prendre rapidement des mesures correctives.

Surveillance avec Ultralytics Platform#

Ultralytics Platform fournit une surveillance intégrée des modèles pour les endpoints YOLO déployés. Tu peux ainsi surveiller ton modèle en production sans assembler une pile de surveillance distincte. Le tableau de bord Deploy suit les signaux clés en temps réel :

• Métriques des requêtes : volume total des requêtes, taux d’erreur et latence P95 pour chaque endpoint, avec des tendances sous forme de sparklines sur des périodes allant d’une heure à 30 jours.
• Contrôles d’état : interrogation automatique de l’état des endpoints, qui signale les déploiements défaillants et indique la latence des réponses.
• Journaux : journaux des requêtes filtrés par niveau de gravité (de DEBUG à CRITICAL) pour diagnostiquer les requêtes ayant échoué et les pics de latence.
• Vue globale : carte interactive du monde et cartes récapitulatives présentant tous les déploiements par région dans une seule vue.

Comme la surveillance est exposée via des URL d’endpoint standard et un contrôle /health, tu peux également intégrer ces signaux à ta configuration d’observabilité existante lorsque tu as besoin d’une analyse plus approfondie. Pour les détails de configuration, consulte le guide de surveillance des déploiements.

Détection des anomalies et systèmes d’alerte#

Une anomalie est tout point de données ou motif qui s’écarte fortement de ce qui est attendu. Dans le contexte des modèles de vision par ordinateur, les anomalies peuvent être des images très différentes de celles sur lesquelles le modèle a été entraîné. Ces images inattendues peuvent signaler des problèmes tels que des changements dans la distribution des données, des valeurs aberrantes ou des comportements susceptibles de réduire les performances du modèle. La mise en place de systèmes d’alerte pour détecter ces anomalies constitue une partie importante de la surveillance des modèles.

En définissant des niveaux de performance et des limites standard pour les métriques clés, tu peux détecter les problèmes rapidement. Lorsque les performances sortent de ces limites, des alertes sont déclenchées, ce qui permet d’apporter rapidement des correctifs. Mettre régulièrement à jour et réentraîner les modèles avec de nouvelles données les aide à rester pertinents et précis à mesure que les données évoluent.

Configurer les seuils et les alertes#

Lorsque tu configures tes systèmes d’alerte, garde ces bonnes pratiques à l’esprit :

• Alertes standardisées : utilise des outils et des formats cohérents pour toutes les alertes, comme l’e-mail ou des applications de messagerie telles que Slack. La standardisation facilite la compréhension et le traitement rapides des alertes.
• Inclure le comportement attendu : les messages d’alerte doivent indiquer clairement ce qui s’est mal passé, ce qui était attendu et la période évaluée. Cela t’aide à évaluer l’urgence et le contexte de l’alerte.
• Alertes configurables : rends les alertes facilement configurables afin de les adapter aux conditions changeantes. Permets-toi de modifier les seuils, de mettre les alertes en pause, de les désactiver ou de les confirmer.

Détection de la dérive des données#

La détection de la dérive des données est un concept qui aide à identifier les changements des propriétés statistiques des données d’entrée au fil du temps, lesquels peuvent dégrader les performances du modèle. Avant de décider de réentraîner ou d’ajuster tes modèles, cette technique aide à repérer l’existence d’un problème. La dérive des données concerne les changements du paysage global des données au fil du temps, tandis que la détection des anomalies se concentre sur l’identification de points de données rares ou inattendus pouvant nécessiter une attention immédiate.

Voici plusieurs méthodes pour détecter la dérive des données :

• Surveillance continue : surveille régulièrement les données d’entrée et les sorties du modèle pour détecter les signes de dérive. Suis les métriques clés et compare-les aux données historiques afin d’identifier les changements importants.
• Techniques statistiques : utilise des méthodes telles que le test de Kolmogorov-Smirnov ou l’indice de stabilité de la population (PSI) pour détecter les changements dans les distributions de données. Ces tests comparent la distribution des nouvelles données à celle des données d’entraînement afin d’identifier les différences significatives.
• Dérive des caractéristiques : surveille chaque caractéristique pour détecter une dérive. Parfois, la distribution globale des données peut rester stable alors que certaines caractéristiques dérivent. Identifier les caractéristiques concernées aide à affiner le processus de réentraînement.

Maintenance des modèles#

La maintenance des modèles permet de préserver la précision et la pertinence des modèles de vision par ordinateur au fil du temps en les mettant régulièrement à jour et en les réentraînant, en traitant la dérive des données et en les adaptant aux évolutions des données et des environnements. Elle complète la surveillance : la surveillance observe les performances du modèle en temps réel pour détecter rapidement les problèmes, tandis que la maintenance consiste à les résoudre.

Mises à jour et réentraînement réguliers#

Une fois le modèle déployé, tu peux remarquer, pendant la surveillance, des changements dans les schémas de données ou les performances, ce qui indique une dérive du modèle. Les mises à jour et le réentraînement réguliers deviennent alors des éléments essentiels de la maintenance du modèle, afin de garantir qu’il puisse gérer de nouveaux schémas et scénarios. Plusieurs techniques peuvent être utilisées selon l’évolution de tes données.

Par exemple, si les données changent progressivement au fil du temps, l’apprentissage incrémental constitue une bonne approche. Il consiste à mettre à jour le modèle avec de nouvelles données sans le réentraîner entièrement depuis zéro, ce qui permet d’économiser du temps et des ressources de calcul. En revanche, si les données ont considérablement changé, un réentraînement complet périodique peut être préférable pour éviter que le modèle ne fasse du surapprentissage sur les nouvelles données tout en perdant la trace des anciens schémas.

Quelle que soit la méthode, la validation et les tests sont indispensables après les mises à jour. Il est important de valider le modèle sur un jeu de données de test distinct afin de vérifier l’amélioration ou la dégradation des performances.

Décider quand réentraîner ton modèle#

La fréquence de réentraînement de ton modèle de vision par ordinateur dépend de l’évolution des données et des performances du modèle. Réentraîne ton modèle dès que tu observes une baisse significative des performances ou que tu détectes une dérive des données. Des évaluations régulières peuvent aider à déterminer le bon calendrier de réentraînement en testant le modèle sur de nouvelles données. Le suivi des métriques de performance et des schémas de données te permet de décider si ton modèle nécessite des mises à jour plus fréquentes pour maintenir sa précision.

Documentation#

Documenter un projet de vision par ordinateur facilite sa compréhension, sa reproduction et la collaboration. Une bonne documentation couvre l’architecture du modèle, les hyperparamètres, les jeux de données, les métriques d’évaluation et bien plus encore. Elle apporte de la transparence en aidant les membres de l’équipe et les parties prenantes à comprendre ce qui a été fait et pourquoi. La documentation facilite également le dépannage, la maintenance et les améliorations futures en fournissant une référence claire des décisions et méthodes passées.

Éléments clés à documenter#

Voici quelques-uns des éléments clés à inclure dans la documentation du projet :

• Vue d’ensemble du projet : fournis un résumé général du projet, notamment l’énoncé du problème, l’approche de résolution, les résultats attendus et le périmètre du projet. Explique le rôle de la vision par ordinateur dans la résolution du problème et présente les étapes ainsi que les livrables.
• Architecture du modèle : détaille la structure et la conception du modèle, notamment ses composants, ses couches et ses connexions. Explique les hyperparamètres choisis ainsi que la justification de ces choix.
• Préparation des données : décris les sources, les types, les formats et les tailles des données, ainsi que les étapes de prétraitement. Aborde la qualité et la fiabilité des données, ainsi que les transformations appliquées avant l’entraînement du modèle.
• Processus d’entraînement : documente la procédure d’entraînement, notamment les jeux de données utilisés, les paramètres d’entraînement et les fonctions de perte. Explique comment le modèle a été entraîné et les difficultés rencontrées pendant l’entraînement.
• Métriques d’évaluation : indique les métriques utilisées pour évaluer les performances du modèle, telles que la précision, la précision positive, le rappel et le score F1. Inclus les résultats de performance ainsi qu’une analyse de ces métriques.
• Étapes du déploiement : présente les étapes suivies pour déployer le modèle, notamment les outils et plateformes utilisés, les configurations de déploiement et les difficultés ou considérations particulières.
• Procédure de surveillance et de maintenance : fournis un plan détaillé pour surveiller les performances du modèle après son déploiement. Inclus les méthodes de détection et de traitement de la dérive des données et du modèle, et décris le processus de mise à jour et de réentraînement réguliers.

Conclusion#

Surveiller, maintenir et documenter ton modèle permet à un projet de vision par ordinateur de rester performant longtemps après son déploiement : la surveillance continue détecte rapidement les problèmes, le réentraînement régulier adapte le modèle aux nouvelles données et à leur dérive, et une documentation claire facilite chaque mise à jour ultérieure. Considère cela comme une boucle continue et revisite les étapes de ton projet de vision par ordinateur à mesure que tes données et tes exigences évoluent.

FAQ#