Interface graphique Explorer#
À partir de ultralytics>=8.3.12, Ultralytics Explorer a été supprimé. Pour utiliser Explorer, installe des pip install ultralytics==8.3.11. Des fonctionnalités d'exploration de jeux de données similaires (et étendues) sont disponibles dans Ultralytics Platform.
L'interface graphique Explorer GUI repose sur l'Ultralytics Explorer API. Elle te permet d'effectuer des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel grâce à la fonctionnalité Ask AI propulsée par des LLMs.
Watch: Ultralytics Explorer Dashboard Overview
Installation#
pip install ultralytics[explorer]La fonctionnalité Ask AI utilise OpenAI, tu seras donc invité à définir ta clé API OpenAI lors de ton premier lancement de l'interface graphique.
Définis-la avec yolo settings openai_api_key="...".
Recherche de similarité sémantique vectorielle#
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle repose sur l'idée que des images similaires possèdent des embeddings similaires. Dans l'interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher celles qui leur ressemblent. Cela peut s'avérer utile lorsque tu souhaites trouver des images similaires à une image donnée ou à un ensemble d'images qui ne fonctionnent pas comme prévu.
Par exemple, dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avions :
Après avoir exécuté la recherche de similarité, tu devrais voir des résultats similaires :
Ask AI#
Cette fonctionnalité te permet de filtrer ton jeu de données en utilisant le langage naturel, sans écrire de SQL. Le générateur de requêtes alimenté par l'IA convertit ta demande en une requête et renvoie les résultats correspondants. Par exemple, tu peux demander : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut y avoir d'autres objets aussi" et il générera la requête et affichera ces résultats. Voici un exemple de sortie quand on demande : "Montre 10 images avec exactement 5 personnes" :
Remarque : Cette fonctionnalité utilise des Large Language Models, les résultats sont donc probabilistes et peuvent être imprécis.
Exécute des requêtes SQL sur tes jeux de données CV#
Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne également si tu ne fournis que la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images qui contiennent au moins une personne et un chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démo a été conçue à l'aide de l'Explorer API, que tu peux utiliser pour créer tes propres notebooks d'exploration ou scripts afin d'obtenir des informations sur tes datasets. Pour commencer, consulte la documentation de l'Explorer API.
FAQ#
L'interface Ultralytics Explorer GUI est une interface puissante qui débloque des capacités avancées d'exploration de données à l'aide de l'Ultralytics Explorer API. Elle te permet d'exécuter des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel en utilisant la fonctionnalité Ask AI propulsée par des Large Language Models (LLMs).
Pour installer l'interface graphique Explorer, tu peux utiliser pip :
pip install ultralytics[explorer]Remarque : Pour utiliser la fonctionnalité Ask AI, tu dois définir la clé API OpenAI :
yolo settings openai_api_key="...".Oui, avec la fonctionnalité Ask AI propulsée par des large language models (LLMs), tu peux filtrer tes jeux de données en utilisant des requêtes en langage naturel. Tu n'as pas besoin d'être compétent en SQL. Par exemple, tu peux demander "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut y avoir d'autres objets aussi", et l'IA générera la requête appropriée en arrière-plan pour fournir les résultats souhaités.
L'interface graphique Ultralytics Explorer te permet d'exécuter des requêtes SQL directement sur ton jeu de données pour filtrer et gérer les données efficacement. Pour exécuter une requête, navigue vers la section de requête SQL dans l'interface graphique et écris ta requête. Par exemple, pour afficher les images avec au moins une personne et un chien, tu pourrais utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Tu peux également fournir uniquement la clause WHERE, rendant le processus de requête plus flexible.
Pour plus de détails, consulte la section SQL Queries Section.
L'interface graphique Ultralytics Explorer améliore l'exploration de données avec des fonctionnalités comme la recherche sémantique, les requêtes SQL et les interactions en langage naturel via la fonctionnalité Ask AI. Ces capacités permettent aux utilisateurs de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les jeux de données en utilisant des requêtes SQL complexes.
- Utiliser l'IA pour effectuer des recherches en langage naturel, éliminant le besoin d'une expertise SQL avancée.
Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les data scientists cherchant à obtenir des informations plus approfondies sur leurs jeux de données.
Découvre plus en détail ces fonctionnalités dans la documentation de l'Explorer GUI.
La fonctionnalité de recherche sémantique dans Ultralytics Explorer GUI te permet de trouver des images similaires à une image donnée en fonction de leurs embeddings. Cette technique est utile pour identifier et explorer des images qui partagent des similarités visuelles. Pour utiliser cette fonctionnalité, sélectionne une ou plusieurs images dans l'interface et lance une recherche d'images similaires. Le résultat affichera des images qui ressemblent étroitement à celles sélectionnées, facilitant ainsi l'exploration efficace du dataset et la détection d'anomalies.
Apprends-en davantage sur la recherche sémantique et les autres fonctionnalités en visitant la section Feature Overview.