Plongée dans les métriques de performance#

Introduction#

Les métriques de performance sont des outils clés pour évaluer la accuracy et l'efficacité des modèles de object detection. Elles éclairent la capacité d'un modèle à identifier et localiser efficacement des objets dans les images. De plus, elles aident à comprendre la gestion par le modèle des faux positifs et des faux négatifs. Ces informations sont cruciales pour évaluer et améliorer les performances du modèle. Dans ce guide, nous explorerons diverses métriques de performance associées à YOLO26, leur importance et la manière de les interpréter.

Métriques de détection d'objets#

Commençons par discuter de certaines métriques qui sont non seulement importantes pour YOLO26, mais également largement applicables à différents modèles de détection d'objets.

• Intersection over Union (IoU) : L'IoU est une mesure qui quantifie le chevauchement entre une bounding box prédite et une bounding box de vérité terrain. Elle joue un rôle fondamental dans l'évaluation de la précision de la localisation d'objets.

• Précision Moyenne (AP) : L'AP calcule l'aire sous la courbe précision-rappel, fournissant une valeur unique qui résume la performance du modèle en termes de précision et de rappel.

• Mean Average Precision (mAP) : Le mAP étend le concept d'AP en calculant les valeurs d'AP moyennes sur plusieurs classes d'objets. Ceci est utile dans les scénarios de détection d'objets multi-classes pour fournir une évaluation complète des performances du modèle.

• Précision et Rappel : La précision quantifie la proportion de vrais positifs parmi toutes les prédictions positives, évaluant la capacité du modèle à éviter les faux positifs. D'un autre côté, le rappel calcule la proportion de vrais positifs parmi tous les positifs réels, mesurant la capacité du modèle à détecter toutes les instances d'une classe.

• Score F1 : Le Score F1 est la moyenne harmonique de la précision et du rappel, offrant une évaluation équilibrée de la performance d'un modèle tout en tenant compte à la fois des faux positifs et des faux négatifs.

Comment calculer les métriques pour le modèle YOLO26#

Maintenant, nous pouvons explorer YOLO26's Validation mode qui peut être utilisé pour calculer les métriques d'évaluation discutées ci-dessus.

Utiliser le mode de validation est simple. Une fois que tu as un modèle entraîné, tu peux appeler la fonction model.val(). Cette fonction traitera ensuite le jeu de données de validation et retournera une variété de métriques de performance. Mais que signifient ces métriques ? Et comment dois-tu les interpréter ?

Interprétation des résultats#

Analysons le résultat de la fonction model.val() et comprenons chaque segment de la sortie.

Métriques par classe#

L'une des sections du résultat est la ventilation des métriques de performance par classe. Cette information granulaire est utile lorsque tu essaies de comprendre comment le modèle se comporte pour chaque classe spécifique, surtout dans les jeux de données avec une gamme diversifiée de catégories d'objets. Pour chaque classe du jeu de données, les éléments suivants sont fournis :

• Classe : Cela désigne le nom de la classe d'objet, comme "personne", "voiture" ou "chien".

• Images : Cette métrique t'indique le nombre d'images dans le jeu de données de validation qui contiennent la classe d'objet.

• Instances : Cela fournit le décompte du nombre de fois où la classe apparaît à travers toutes les images du jeu de données de validation.

• Box(P, R, mAP50, mAP50-95) : Cette métrique donne un aperçu de la performance du modèle dans la détection des objets :

  • P (Précision) : La précision des objets détectés, indiquant combien de détections étaient correctes.

  • R (Rappel) : La capacité du modèle à identifier toutes les instances d'objets dans les images.

  • mAP50 : Précision moyenne calculée à un seuil d'intersection sur union (IoU) de 0,50. C'est une mesure de la précision du modèle ne considérant que les détections "faciles".

  • mAP50-95 : La moyenne de la précision moyenne calculée à divers seuils d'IoU, allant de 0,50 à 0,95. Elle donne une vision complète de la performance du modèle à différents niveaux de difficulté de détection.

Métriques de vitesse#

La vitesse d'inférence peut être aussi critique que la précision, surtout dans les scénarios de détection d'objets en temps réel. Cette section décompose le temps pris pour diverses étapes du processus de validation, du prétraitement au post-traitement.

Évaluation des métriques COCO#

Pour les utilisateurs validant sur le jeu de données COCO, des métriques supplémentaires sont calculées en utilisant le script d'évaluation COCO. Ces métriques donnent des aperçus sur la précision et le rappel à différents seuils d'IoU et pour des objets de différentes tailles.

Sorties visuelles#

La fonction model.val(), en dehors de produire des métriques numériques, génère également des sorties visuelles qui peuvent fournir une compréhension plus intuitive de la performance du modèle. Voici une ventilation des sorties visuelles auxquelles tu peux t'attendre :

• Courbe du score F1 (BoxF1_curve.png) : Cette courbe représente le F1 score à travers divers seuils. L'interprétation de cette courbe peut offrir des aperçus sur l'équilibre du modèle entre faux positifs et faux négatifs selon différents seuils.

• Courbe Précision-Rappel (BoxPR_curve.png) : Visualisation incontournable pour tout problème de classification, cette courbe présente les compromis entre précision et recall à des seuils variés. Elle devient particulièrement importante lors du traitement de classes déséquilibrées.

• Courbe de précision (BoxP_curve.png) : Représentation graphique des valeurs de précision à différents seuils. Cette courbe aide à comprendre comment la précision varie à mesure que le seuil change.

• Courbe de rappel (BoxR_curve.png) : De même, ce graphique illustre comment les valeurs de rappel changent à travers différents seuils.

• Confusion Matrix (confusion_matrix.png) : La matrice de confusion offre une vue détaillée des résultats, présentant les comptes de vrais positifs, vrais négatifs, faux positifs et faux négatifs pour chaque classe.

• Matrice de confusion normalisée (confusion_matrix_normalized.png) : Cette visualisation est une version normalisée de la matrice de confusion. Elle représente les données en proportions plutôt qu'en comptes bruts. Ce format simplifie la comparaison des performances entre les classes.

• Étiquettes de batch de validation (val_batchX_labels.jpg) : Ces images décrivent les étiquettes de vérité terrain pour des batchs distincts du jeu de données de validation. Elles donnent une image claire de ce que sont les objets et de leurs emplacements respectifs selon le jeu de données.

• Prédictions de batch de validation (val_batchX_pred.jpg) : Contrastant avec les images d'étiquettes, ces visuels affichent les prédictions faites par le modèle YOLO26 pour les batchs respectifs. En les comparant aux images d'étiquettes, tu peux facilement évaluer dans quelle mesure le modèle détecte et classe les objets visuellement.

Pour les tâches de detection, segmentation et pose, les tracés de courbes sont préfixés par le type de métrique : la détection écrit les courbes Box*, la segmentation écrit les courbes Box* et Mask*, et la pose écrit les courbes Box* et Pose*.

Stockage des résultats#

Pour référence future, les résultats sont enregistrés dans un répertoire, généralement nommé runs/detect/val.

Choisir les bonnes métriques#

Choisir les bonnes métriques à évaluer dépend souvent de l'application spécifique.

• mAP : Adapté à une évaluation large de la performance du modèle.

• IoU : Essentiel lorsque la localisation précise de l'objet est cruciale.

• Précision : Important lorsque minimiser les fausses détections est une priorité.

• Rappel : Vital lorsqu'il est important de détecter chaque instance d'un objet.

• Score F1 : Utile lorsqu'un équilibre entre précision et rappel est nécessaire.

Pour les applications en temps réel, les métriques de vitesse comme les FPS (images par seconde) et la latence sont cruciales pour assurer des résultats opportuns.

Interprétation des résultats#

Il est important de comprendre les métriques. Voici ce que certains scores bas fréquemment observés pourraient suggérer :

• mAP faible : Indique que le modèle pourrait avoir besoin de raffinements généraux.

• IoU faible : Le modèle pourrait peiner à localiser précisément les objets. Différentes méthodes de bounding box pourraient aider.

• Précision faible : Le modèle pourrait détecter trop d'objets inexistants. Ajuster les seuils de confiance pourrait réduire cela.

• Rappel faible : Le modèle pourrait rater de vrais objets. Améliorer l'feature extraction ou utiliser plus de données pourrait aider.

• Score F1 déséquilibré : Il y a une disparité entre la précision et le rappel.

• AP spécifique à une classe : Des scores bas ici peuvent mettre en évidence les classes avec lesquelles le modèle a des difficultés.

Études de cas#

Des exemples concrets peuvent aider à clarifier comment ces métriques fonctionnent en pratique.

Cas 1#

• Situation : La mAP et le Score F1 sont sous-optimaux, mais bien que le rappel soit bon, la précision ne l'est pas.

• Interprétation & Action : Il pourrait y avoir trop de détections incorrectes. Resserrer les seuils de confiance pourrait les réduire, bien que cela puisse aussi légèrement diminuer le rappel.

Cas 2#

• Situation : La mAP et le rappel sont acceptables, mais l'IoU fait défaut.

• Interprétation & Action : Le modèle détecte bien les objets mais pourrait ne pas les localiser précisément. Raffiner les prédictions de bounding box pourrait aider.

Cas 3#

• Situation : Certaines classes ont une AP beaucoup plus basse que d'autres, même avec une mAP globale correcte.

• Interprétation & Action : Ces classes pourraient être plus difficiles pour le modèle. Utiliser plus de données pour ces classes ou ajuster les poids des classes pendant l'entraînement pourrait être bénéfique.

Connecte-toi et collabore#

Puiser dans une communauté de passionnés et d'experts peut amplifier ton aventure avec YOLO26. Voici quelques avenues qui peuvent faciliter l'apprentissage, le dépannage et le réseautage.

Interagis avec la communauté au sens large#

• Problèmes GitHub : Le dépôt YOLO26 sur GitHub dispose d'un Issues tab où tu peux poser des questions, signaler des bugs et suggérer de nouvelles fonctionnalités. La communauté et les mainteneurs y sont actifs, et c'est un excellent endroit pour obtenir de l'aide sur des problèmes spécifiques.

• Serveur Discord d'Ultralytics : Ultralytics possède un Discord server où tu peux interagir avec d'autres utilisateurs et les développeurs.

Documentation officielle et ressources :#

• Documentation Ultralytics YOLO26 : La official documentation fournit un aperçu complet de YOLO26, ainsi que des guides sur l'installation, l'utilisation et le dépannage.

Utiliser ces ressources ne te guidera pas seulement à travers tes défis, mais te gardera également au courant des dernières tendances et meilleures pratiques dans la communauté YOLO26.

Conclusion#

Dans ce guide, nous avons examiné de près les métriques de performance essentielles pour YOLO26. Ces métriques sont clés pour comprendre à quel point un modèle est performant et sont vitales pour quiconque cherchant à affiner ses modèles. Elles offrent les informations nécessaires pour des améliorations et pour s'assurer que le modèle fonctionne efficacement dans des situations réelles.

Souviens-toi, la communauté YOLO26 et Ultralytics est un atout inestimable. S'impliquer avec d'autres développeurs et experts peut ouvrir des portes vers des idées et des solutions non trouvées dans la documentation standard. Au fur et à mesure que tu progresses dans la détection d'objets, garde l'esprit d'apprentissage vivant, expérimente avec de nouvelles stratégies et partage tes découvertes. En faisant ainsi, tu contribues à la sagesse collective de la communauté et assures sa croissance.

FAQ#