Interface graphique Explorer

L'interface graphique Explorer est basée sur l'Ultralytics Explorer API. Elle te permet d'exécuter des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel en utilisant la fonctionnalité Ask AI propulsée par des LLM.

Installation

pip install ultralytics[explorer]

Recherche de similarité sémantique vectorielle

La recherche sémantique est une technique pour trouver des images similaires à une image donnée. Elle repose sur l'idée que des images similaires auront des embeddings similaires. Dans l'interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher celles qui leur sont similaires. Cela est utile lorsque tu souhaites trouver des images proches d'une image donnée ou d'un ensemble d'images qui ne fonctionnent pas comme prévu.

Par exemple, dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avions :

Après avoir lancé la recherche de similarité, tu devrais voir des résultats similaires :

Ask AI

Cette fonctionnalité te permet de filtrer ton jeu de données en utilisant le langage naturel, sans écrire de SQL. Le générateur de requêtes alimenté par l'IA convertit ton instruction en une requête et renvoie les résultats correspondants. Par exemple, tu peux demander : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut y avoir d'autres objets aussi" et il générera la requête et t'affichera ces résultats. Voici un exemple de résultat suite à la demande : "Montre 10 images avec exactement 5 personnes":

Remarque : Cette fonctionnalité utilise des modèles de langage étendus, les résultats sont donc probabilistes et peuvent être imprécis.

Exécute des requêtes SQL sur tes jeux de données de vision par ordinateur

Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne également si tu ne fournis que la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images qui contiennent au moins une personne et un chien :

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Cette démonstration a été construite en utilisant l'Explorer API, que tu peux utiliser pour créer tes propres notebooks exploratoires ou scripts afin d'obtenir des informations sur tes jeux de données. Pour commencer, consulte la documentation de l'Explorer API.

FAQ

Qu'est-ce que l'interface graphique Ultralytics Explorer et comment l'installer ?

L'interface graphique Ultralytics Explorer est une interface puissante qui débloque des capacités avancées d'exploration de données en utilisant l'Ultralytics Explorer API. Elle te permet d'exécuter des recherches de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel via la fonctionnalité Ask AI propulsée par des modèles de langage étendus (LLM).

Pour installer l'interface graphique Explorer, tu peux utiliser pip :

pip install ultralytics[explorer]

Remarque : Pour utiliser la fonctionnalité Ask AI, tu devras définir la clé API OpenAI : yolo settings openai_api_key="...".

Comment fonctionne la fonctionnalité de recherche sémantique dans l'interface graphique Ultralytics Explorer ?

La fonctionnalité de recherche sémantique dans l'interface graphique Ultralytics Explorer te permet de trouver des images similaires à une image donnée en fonction de leurs embeddings. Cette technique est utile pour identifier et explorer des images qui partagent des similitudes visuelles. Pour utiliser cette fonctionnalité, sélectionne une ou plusieurs images dans l'interface utilisateur et exécute une recherche d'images similaires. Le résultat affichera les images qui ressemblent étroitement à celles sélectionnées, facilitant une exploration efficace du jeu de données et la détection d'anomalies.

Apprends-en plus sur la recherche sémantique et d'autres fonctionnalités en visitant la section Aperçu des fonctionnalités.

Puis-je utiliser le langage naturel pour filtrer les jeux de données dans l'interface graphique Ultralytics Explorer ?

Oui, avec la fonctionnalité Ask AI alimentée par des modèles de langage étendus (LLM), tu peux filtrer tes jeux de données en utilisant des requêtes en langage naturel. Tu n'as pas besoin d'être un expert en SQL. Par exemple, tu peux demander "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut y avoir d'autres objets aussi", et l'IA générera la requête appropriée en arrière-plan pour te fournir les résultats souhaités.

Comment puis-je exécuter des requêtes SQL sur des jeux de données en utilisant l'interface graphique Ultralytics Explorer ?

L'interface graphique Ultralytics Explorer te permet d'exécuter des requêtes SQL directement sur ton jeu de données pour filtrer et gérer les données efficacement. Pour exécuter une requête, accède à la section des requêtes SQL dans l'interface graphique et rédige ta requête. Par exemple, pour afficher les images avec au moins une personne et un chien, tu pourrais utiliser :

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Tu peux également fournir uniquement la clause WHERE, ce qui rend le processus de requête plus flexible.

Pour plus de détails, reporte-toi à la section des requêtes SQL.

Quels sont les avantages de l'utilisation de l'interface graphique Ultralytics Explorer pour l'exploration de données ?

L'interface graphique Ultralytics Explorer améliore l'exploration de données avec des fonctionnalités comme la recherche sémantique, l'interrogation SQL et les interactions en langage naturel via la fonctionnalité Ask AI. Ces capacités permettent aux utilisateurs de :

• Trouver efficacement des images visuellement similaires.
• Filtrer les jeux de données en utilisant des requêtes SQL complexes.
• Utiliser l'IA pour effectuer des recherches en langage naturel, éliminant le besoin d'une expertise SQL avancée.

Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les scientifiques des données cherchant à obtenir des insights plus profonds sur leurs jeux de données.

Découvre plus de détails sur ces fonctionnalités dans la documentation de l'interface graphique Explorer.