Maintenir vos modèles de vision par ordinateur après leur déploiement

Introduction

Si vous êtes ici, nous pouvons supposer que vous avez franchi de nombreuses étapes dans votre projet de vision par ordinateur: du recueil des besoins à l'entraînement du modèle, en passant par l'annotation des données, jusqu'à son déploiement final. Votre application fonctionne désormais en production, mais votre projet ne s'arrête pas là. La partie la plus importante d'un projet de vision par ordinateur est de s'assurer que votre modèle continue à remplir les objectifs de votre projet au fil du temps, et c'est là que la surveillance, la maintenance et la documentation de votre modèle de vision par ordinateur entrent en jeu.

Dans ce guide, nous examinerons de plus près la manière dont vous pouvez assurer la maintenance de vos modèles de vision par ordinateur après leur déploiement. Nous verrons comment la surveillance des modèles peut vous aider à détecter les problèmes à un stade précoce, comment maintenir votre modèle précis et à jour, et pourquoi la documentation est importante pour le dépannage.

Le suivi du modèle est essentiel

Il est essentiel de surveiller de près les modèles de vision par ordinateur que vous déployez. Sans une surveillance adéquate, les modèles peuvent perdre en précision. Un problème courant est le décalage de la distribution des données ou la dérive des données, lorsque les données rencontrées par le modèle diffèrent de celles sur lesquelles il a été formé. Lorsque le modèle doit faire des prédictions sur des données qu'il ne reconnaît pas, il peut en résulter des interprétations erronées et des performances médiocres. Les valeurs aberrantes, ou points de données inhabituels, peuvent également nuire à la précision du modèle.

Une surveillance régulière du modèle aide les développeurs à suivre les performances du modèle, à repérer les anomalies et à résoudre rapidement des problèmes tels que la dérive des données. Il permet également de gérer les ressources en indiquant quand les mises à jour sont nécessaires, en évitant les révisions coûteuses et en maintenant la pertinence du modèle.

Bonnes pratiques pour le suivi des modèles

Voici quelques bonnes pratiques à garder à l'esprit lors du contrôle de votre modèle de vision par ordinateur en production :

• Suivre régulièrement les performances: Contrôler en permanence les performances du modèle pour détecter les changements au fil du temps.
• Vérifiez deux fois la qualité des données: Vérifier l'absence de valeurs manquantes ou d'anomalies dans les données.
• Utiliser diverses sources de données: Contrôlez les données provenant de diverses sources afin d'obtenir une vue d'ensemble des performances du modèle.
• Combiner les techniques de surveillance: Utilisez une combinaison d'algorithmes de détection des dérives et d'approches basées sur des règles pour identifier un large éventail de problèmes.
• Surveiller les entrées et les sorties: Gardez un œil sur les données que le modèle traite et sur les résultats qu'il produit pour vous assurer que tout fonctionne correctement.
• Mettre en place des alertes: Mettez en place des alertes en cas de comportement inhabituel, tel qu'une baisse des performances, afin de pouvoir prendre rapidement des mesures correctives.

Outils de surveillance des modèles d'IA

Vous pouvez utiliser des outils de surveillance automatisés pour faciliter la surveillance des modèles après leur déploiement. De nombreux outils offrent des informations en temps réel et des fonctions d'alerte. Voici quelques exemples d'outils de surveillance de modèles open-source qui peuvent fonctionner ensemble :

• Prométhée: Prometheus est un outil de surveillance open-source qui collecte et stocke des métriques pour un suivi détaillé des performances. Il s'intègre facilement à Kubernetes et Docker, collectant des données à des intervalles définis et les stockant dans une base de données de séries temporelles. Prometheus peut également gratter des points d'extrémité HTTP pour collecter des métriques en temps réel. Les données collectées peuvent être interrogées à l'aide du langage PromQL.
• Grafana: Grafana est un outil open-source de visualisation et de surveillance des données qui vous permet d'interroger, de visualiser, d'alerter et de comprendre vos métriques, quel que soit l'endroit où elles sont stockées. Il fonctionne bien avec Prometheus et offre des fonctionnalités avancées de visualisation des données. Vous pouvez créer des tableaux de bord personnalisés pour afficher des mesures importantes pour vos modèles de vision par ordinateur, comme la latence d'inférence, les taux d'erreur et l'utilisation des ressources. Grafana transforme les données collectées en tableaux de bord faciles à lire avec des graphiques linéaires, des cartes thermiques et des histogrammes. Il prend également en charge les alertes, qui peuvent être envoyées via des canaux tels que Slack pour informer rapidement les équipes de tout problème.
• Évidemment AI: Evidently AI est un outil open-source conçu pour surveiller et déboguer les modèles d'apprentissage automatique en production. Il génère des rapports interactifs à partir de DataFrames pandas, aidant à analyser les modèles d'apprentissage automatique. Evidently AI peut détecter la dérive des données, la dégradation des performances des modèles et d'autres problèmes pouvant survenir avec les modèles déployés.

Les trois outils présentés ci-dessus, Evidently AI, Prometheus et Grafana, peuvent fonctionner ensemble de manière transparente en tant que solution de surveillance ML entièrement open-source prête pour la production. Evidently AI est utilisé pour collecter et calculer les métriques, Prometheus stocke ces métriques et Grafana les affiche et met en place des alertes. Bien qu'il existe de nombreux autres outils disponibles, cette configuration est une option open-source passionnante qui offre des capacités solides pour la surveillance et la maintenance de vos modèles.

Détection des anomalies et systèmes d'alerte

Une anomalie est un point de données ou un modèle qui s'écarte considérablement de ce qui est attendu. En ce qui concerne les modèles de vision par ordinateur, les anomalies peuvent être des images très différentes de celles sur lesquelles le modèle a été entraîné. Ces images inattendues peuvent être le signe de problèmes tels que des changements dans la distribution des données, des valeurs aberrantes ou des comportements susceptibles de réduire les performances du modèle. La mise en place de systèmes d'alerte pour détecter ces anomalies est une partie importante de la surveillance des modèles.

En définissant des niveaux de performance standard et des limites pour les indicateurs clés, vous pouvez détecter les problèmes à un stade précoce. Lorsque les performances sortent de ces limites, des alertes sont déclenchées, ce qui permet d'apporter des solutions rapides. La mise à jour régulière et le recyclage des modèles à l'aide de nouvelles données leur permettent de rester pertinents et précis au fur et à mesure de l'évolution des données.

Éléments à prendre en compte lors de la configuration des seuils et des alertes

Lorsque vous mettez en place vos systèmes d'alerte, gardez à l'esprit ces bonnes pratiques :

• Alertes normalisées: Utilisez des outils et des formats cohérents pour toutes les alertes, comme le courrier électronique ou des applications de messagerie telles que Slack. La normalisation facilite la compréhension et la réponse aux alertes.
• Inclure le comportement attendu: Les messages d'alerte doivent indiquer clairement ce qui n'a pas fonctionné, ce qui était attendu et le délai d'évaluation. Cela vous aide à évaluer l'urgence et le contexte de l'alerte.
• Alertes configurables: Les alertes sont facilement configurables pour s'adapter aux conditions changeantes. Vous pouvez modifier les seuils, mettre en veilleuse, désactiver ou acquitter les alertes.

Détection de la dérive des données

La détection de la dérive des données est un concept qui permet d'identifier lorsque les propriétés statistiques des données d'entrée changent au fil du temps, ce qui peut dégrader les performances du modèle. Avant que vous ne décidiez de recycler ou d'ajuster vos modèles, cette technique vous aide à repérer le problème. La dérive des données concerne les changements dans le paysage global des données au fil du temps, tandis que la détection des anomalies se concentre sur l'identification des points de données rares ou inattendus qui peuvent nécessiter une attention immédiate.

Voici plusieurs méthodes pour détecter la dérive des données :

Contrôle continu: Contrôler régulièrement les données d'entrée et les résultats du modèle pour détecter les signes de dérive. Suivez les paramètres clés et comparez-les aux données historiques pour identifier les changements significatifs.

Techniques statistiques: Utilisez des méthodes telles que le test de Kolmogorov-Smirnov ou l'indice de stabilité de la population (ISP) pour détecter les changements dans la distribution des données. Ces tests comparent la distribution des nouvelles données à celle des données de formation afin d'identifier les différences significatives.

Dérive des caractéristiques: Surveillez la dérive des caractéristiques individuelles. Parfois, la distribution globale des données peut rester stable, mais des caractéristiques individuelles peuvent dériver. L'identification des caractéristiques qui dérivent permet d'affiner le processus de recyclage.

Maintenance du modèle

La maintenance des modèles est essentielle pour que les modèles de vision par ordinateur restent précis et pertinents au fil du temps. Elle consiste à mettre à jour et à entraîner régulièrement les modèles, à remédier à la dérive des données et à veiller à ce que le modèle reste pertinent à mesure que les données et les environnements évoluent. Vous vous demandez peut-être en quoi la maintenance des modèles diffère de leur surveillance. La surveillance consiste à observer les performances du modèle en temps réel afin de détecter rapidement les problèmes. La maintenance, quant à elle, consiste à résoudre ces problèmes.

Mises à jour régulières et recyclage

Une fois qu'un modèle est déployé, vous pouvez remarquer, lors de la surveillance, des changements dans les modèles de données ou les performances, ce qui indique une dérive du modèle. Les mises à jour régulières et le réentraînement deviennent des éléments essentiels de la maintenance du modèle afin de s'assurer que le modèle peut gérer de nouveaux modèles et scénarios. Il existe quelques techniques que vous pouvez utiliser en fonction de l'évolution de vos données.

Par exemple, si les données changent progressivement dans le temps, l'apprentissage incrémental est une bonne approche. L'apprentissage incrémental consiste à mettre à jour le modèle avec de nouvelles données sans le réentraîner complètement à partir de zéro, ce qui permet d'économiser des ressources informatiques et du temps. Toutefois, si les données ont changé radicalement, un réentraînement complet périodique peut être une meilleure option pour s'assurer que le modèle ne s'adapte pas trop aux nouvelles données tout en perdant la trace des modèles plus anciens.

Quelle que soit la méthode utilisée, la validation et les tests sont indispensables après les mises à jour. Il est important de valider le modèle sur un ensemble de données de test distinct afin de vérifier les améliorations ou la dégradation des performances.

Décider du moment de la reconversion de votre modèle

La fréquence du recyclage de votre modèle de vision par ordinateur dépend de l'évolution des données et des performances du modèle. Entraînez à nouveau votre modèle chaque fois que vous observez une baisse significative des performances ou que vous détectez une dérive des données. Des évaluations régulières peuvent aider à déterminer le bon calendrier de recyclage en testant le modèle par rapport à de nouvelles données. Le suivi des mesures de performance et des modèles de données vous permet de décider si votre modèle a besoin de mises à jour plus fréquentes pour maintenir sa précision.

Documentation

La documentation d'un projet de vision par ordinateur facilite sa compréhension, sa reproduction et sa collaboration. Une bonne documentation couvre l'architecture du modèle, les hyperparamètres, les ensembles de données, les mesures d'évaluation, etc. Elle assure la transparence, en aidant les membres de l'équipe et les parties prenantes à comprendre ce qui a été fait et pourquoi. La documentation facilite également le dépannage, la maintenance et les améliorations futures en fournissant une référence claire des décisions et des méthodes antérieures.

Éléments clés à documenter

Voici quelques-uns des éléments clés qui devraient figurer dans la documentation du projet :

• Aperçu du projet: Fournir un résumé de haut niveau du projet, y compris l'énoncé du problème, l'approche de la solution, les résultats attendus et la portée du projet. Expliquez le rôle de la vision par ordinateur dans la résolution du problème et décrivez les étapes et les résultats attendus.
• Architecture du modèle: Détailler la structure et la conception du modèle, y compris ses composants, ses couches et ses connexions. Expliquez les hyperparamètres choisis et les raisons de ces choix.
• Préparation des données: Décrire les sources de données, les types, les formats, les tailles et les étapes de prétraitement. Discutez de la qualité et de la fiabilité des données, ainsi que des transformations appliquées avant l'apprentissage du modèle.
• Processus de formation: Documenter la procédure de formation, y compris les ensembles de données utilisés, les paramètres de formation et les fonctions de perte. Expliquez comment le modèle a été formé et les difficultés rencontrées au cours de la formation.
• Métriques d'évaluation: Indiquez les paramètres utilisés pour évaluer les performances du modèle, tels que l'exactitude, la précision, le rappel et le score F1. Inclure les résultats des performances et une analyse de ces mesures.
• Étapes de déploiement: Décrire les étapes du déploiement du modèle, y compris les outils et les plates-formes utilisés, les configurations de déploiement et les défis ou considérations spécifiques.
• Procédure de suivi et de maintenance: Fournir un plan détaillé de suivi des performances du modèle après son déploiement. Inclure des méthodes pour détecter et traiter les dérives des données et du modèle, et décrire le processus de mises à jour régulières et de recyclage.

Outils de documentation

Il existe de nombreuses options lorsqu'il s'agit de documenter des projets d'IA, les outils open-source étant particulièrement populaires. Deux d'entre eux sont Jupyter Notebooks et MkDocs. Les carnets Jupyter permettent de créer des documents interactifs avec du code, des visualisations et du texte intégrés, ce qui les rend idéaux pour le partage d'expériences et d'analyses. MkDocs est un générateur de site statique facile à configurer et à déployer, parfait pour créer et héberger en ligne la documentation d'un projet.

Se connecter à la communauté

Rejoindre une communauté de passionnés de vision par ordinateur peut vous aider à résoudre des problèmes et à apprendre plus rapidement. Voici quelques moyens de vous connecter, d'obtenir de l'aide et de partager des idées.

Ressources communautaires

• GitHub Issues : Consultez le dépôt GitHub YOLO11 et utilisez l'onglet Issues pour poser des questions, signaler des bogues et suggérer de nouvelles fonctionnalités. La communauté et les mainteneurs sont très actifs et se soutiennent mutuellement.
• Ultralytics Serveur Discord : Rejoignez le serveur DiscordUltralytics pour discuter avec d'autres utilisateurs et développeurs, obtenir de l'aide et partager vos expériences.

Documentation officielle

• Ultralytics YOLO11 Documentation : Consultez la documentation officielle de YOLO11 pour obtenir des guides détaillés et des conseils utiles sur divers projets de vision par ordinateur.

L'utilisation de ces ressources vous aidera à relever des défis et à rester au fait des dernières tendances et pratiques dans le domaine de la vision par ordinateur.

Principaux enseignements

Nous avons abordé les principaux conseils pour le suivi, la maintenance et la documentation de vos modèles de vision par ordinateur. Des mises à jour et un réentraînement réguliers aident le modèle à s'adapter aux nouveaux modèles de données. La détection et la correction de la dérive des données permettent à votre modèle de rester précis. La surveillance continue permet de détecter rapidement les problèmes, et une bonne documentation facilite la collaboration et les mises à jour futures. En suivant ces étapes, votre projet de vision par ordinateur restera fructueux et efficace au fil du temps.

FAQ

Comment puis-je contrôler les performances du modèle de vision par ordinateur que j'ai déployé ?

Le suivi des performances de votre modèle de vision par ordinateur déployé est crucial pour garantir sa précision et sa fiabilité au fil du temps. Vous pouvez utiliser des outils tels que Prometheus, Grafana et Evidently AI pour suivre les métriques clés, détecter les anomalies et identifier la dérive des données. Surveillez régulièrement les entrées et les sorties, configurez des alertes en cas de comportement inhabituel et utilisez diverses sources de données pour obtenir une vue d'ensemble des performances de votre modèle. Pour plus de détails, consultez notre section sur la surveillance des modèles.

Quelles sont les meilleures pratiques pour maintenir les modèles de vision par ordinateur après leur déploiement ?

La maintenance des modèles de vision par ordinateur implique des mises à jour régulières, des recyclages et des contrôles afin de garantir une précision et une pertinence constantes. Les meilleures pratiques sont les suivantes :

• Contrôle continu: Suivre régulièrement les indicateurs de performance et la qualité des données.
• Détection de la dérive des données: Utiliser des techniques statistiques pour identifier les changements dans la distribution des données.
• Mises à jour régulières et recyclage: Mettez en œuvre un apprentissage progressif ou un recyclage complet périodique en fonction des changements de données.
• Documentation: Maintenir une documentation détaillée de l'architecture du modèle, des processus de formation et des mesures d'évaluation. Pour en savoir plus, consultez notre section sur la maintenance des modèles.

Pourquoi la détection de la dérive des données est-elle importante pour les modèles d'IA ?

La détection de la dérive des données est essentielle car elle permet d'identifier le moment où les propriétés statistiques des données d'entrée changent au fil du temps, ce qui peut dégrader les performances du modèle. Des techniques telles que la surveillance continue, les tests statistiques (par exemple, le test de Kolmogorov-Smirnov) et l'analyse de la dérive des caractéristiques peuvent aider à détecter les problèmes à un stade précoce. La prise en compte de la dérive des données garantit la précision et la pertinence de votre modèle dans des environnements changeants. Pour en savoir plus sur la détection de la dérive des données, consultez notre section Détection de la dérive des données.

Quels outils puis-je utiliser pour la détection d'anomalies dans les modèles de vision par ordinateur ?

Pour la détection des anomalies dans les modèles de vision par ordinateur, des outils comme Prometheus, Grafana et Evidently AI sont très efficaces. Ces outils peuvent vous aider à mettre en place des systèmes d'alerte pour détecter des points de données inhabituels ou des modèles qui s'écartent du comportement attendu. Les alertes configurables et les messages standardisés peuvent vous aider à répondre rapidement aux problèmes potentiels. Pour en savoir plus, consultez notre section Détection des anomalies et systèmes d'alerte.

Comment documenter efficacement mon projet de vision par ordinateur ?

La documentation d'un projet de vision par ordinateur doit comprendre les éléments suivants

• Aperçu du projet: Résumé de haut niveau, énoncé du problème et approche de la solution.
• Architecture du modèle: Détails de la structure, des composants et des hyperparamètres du modèle.
• Préparation des données: Informations sur les sources de données, les étapes de prétraitement et les transformations.
• Processus de formation: Description de la procédure de formation, des ensembles de données utilisés et des difficultés rencontrées.
• Métriques d'évaluation: Métriques utilisées pour l'évaluation et l'analyse des performances.
• Étapes du déploiement: Étapes du déploiement du modèle et difficultés spécifiques.
• Procédure de suivi et d'entretien: Planifier le contrôle et la maintenance continus. Pour des lignes directrices plus complètes, consultez notre section Documentation.

📅C réé il y a 5 mois ✏️ Mis à jour il y a 2 mois

Commentaires