Interface graphique Explorer#
Depuis ultralytics>=8.3.12, Ultralytics Explorer a été supprimé. Pour utiliser Explorer, installe pip install ultralytics==8.3.11. Des fonctionnalités similaires (et étendues) d’exploration des jeux de données sont disponibles sur Ultralytics Platform.
L’interface graphique Explorer repose sur l’API Explorer d’Ultralytics. Elle te permet d’effectuer des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI, optimisée par des LLM.
Watch: Ultralytics Explorer Dashboard Overview
Installation#
pip install ultralytics[explorer]La fonctionnalité Ask AI utilise OpenAI. Tu seras donc invité à définir la clé API OpenAI lors de la première exécution de l’interface graphique.
Définis-la avec yolo settings openai_api_key="...".
Recherche de similarité sémantique vectorielle#
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle repose sur l’idée que des images similaires auront des représentations vectorielles similaires. Dans l’interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher les images qui leur ressemblent. Cela peut être utile lorsque tu souhaites trouver des images similaires à une image donnée ou à un ensemble d’images qui ne produisent pas les résultats attendus.
Par exemple, dans ce tableau de bord d’exploration VOC, l’utilisateur sélectionne quelques images d’avions :
Après avoir exécuté la recherche de similarité, tu devrais voir des résultats similaires :
Ask AI#
Cette fonctionnalité te permet de filtrer ton jeu de données en langage naturel, sans écrire de SQL. Le générateur de requêtes optimisé par l’IA convertit ton invite en requête et renvoie les résultats correspondants. Par exemple, tu peux demander : « affiche-moi 100 images contenant exactement une personne et 2 chiens. Il peut aussi y avoir d’autres objets » ; la requête sera générée et ces résultats seront affichés. Voici un exemple de résultat obtenu avec la demande : « Affiche 10 images contenant exactement 5 personnes » :
Remarque : cette fonctionnalité utilise des grands modèles de langage, les résultats sont donc probabilistes et peuvent être inexacts.
Exécuter des requêtes SQL sur tes jeux de données CV#
Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne également si tu fournis uniquement la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images qui contiennent au moins une personne et un chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démonstration a été créée avec l’API Explorer, que tu peux utiliser pour créer tes propres notebooks ou scripts d’exploration afin d’obtenir des informations sur tes jeux de données. Pour commencer, consulte la documentation de l’API Explorer.
FAQ#
L’interface graphique Ultralytics Explorer est une interface puissante qui offre des fonctionnalités avancées d’exploration des données grâce à l’API Explorer d’Ultralytics. Elle te permet d’effectuer des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI, optimisée par des grands modèles de langage (LLMs).
Pour installer l’interface graphique Explorer, tu peux utiliser pip :
pip install ultralytics[explorer]Remarque : pour utiliser la fonctionnalité Ask AI, tu dois définir la clé API OpenAI :
yolo settings openai_api_key="...".Oui, avec la fonctionnalité Ask AI optimisée par des grands modèles de langage (LLMs), tu peux filtrer tes jeux de données à l’aide de requêtes en langage naturel. Tu n’as pas besoin de maîtriser SQL. Par exemple, tu peux demander : « Affiche-moi 100 images contenant exactement une personne et 2 chiens. Il peut aussi y avoir d’autres objets », et l’IA générera la requête appropriée en arrière-plan pour fournir les résultats souhaités.
L’interface graphique Ultralytics Explorer te permet d’exécuter directement des requêtes SQL sur ton jeu de données afin de filtrer et de gérer efficacement les données. Pour exécuter une requête, accède à la section des requêtes SQL dans l’interface graphique et écris ta requête. Par exemple, pour afficher les images contenant au moins une personne et un chien, tu peux utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Tu peux également fournir uniquement la clause WHERE, ce qui rend le processus d’interrogation plus flexible.
Pour plus de détails, consulte la section consacrée aux requêtes SQL.
L’interface graphique Ultralytics Explorer améliore l’exploration des données grâce à des fonctionnalités telles que la recherche sémantique, l’interrogation SQL et les interactions en langage naturel via la fonctionnalité Ask AI. Ces fonctionnalités permettent de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les jeux de données à l’aide de requêtes SQL complexes.
- Utiliser l’IA pour effectuer des recherches en langage naturel, sans avoir besoin d’une expertise avancée en SQL.
Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les spécialistes des données qui souhaitent obtenir des informations plus approfondies sur leurs jeux de données.
Découvre plus en détail ces fonctionnalités dans la documentation de l’interface graphique Explorer.
La fonctionnalité de recherche sémantique de l’interface graphique Ultralytics Explorer te permet de trouver des images similaires à une image donnée en fonction de leurs représentations vectorielles. Cette technique est utile pour identifier et explorer des images présentant des similarités visuelles. Pour utiliser cette fonctionnalité, sélectionne une ou plusieurs images dans l’interface utilisateur, puis lance une recherche d’images similaires. Le résultat affiche des images qui ressemblent étroitement à celles sélectionnées, ce qui facilite l’exploration efficace des jeux de données et la détection des anomalies.
Pour en savoir plus sur la recherche sémantique et les autres fonctionnalités, consulte la section Présentation des fonctionnalités.