Interface graphique Explorer
Note de la communauté ⚠️
À partir de ultralytics>=8.3.10, la prise en charge Ultralytics est obsolète. Des fonctionnalités similaires (et étendues) d'exploration des ensembles de données sont disponibles dans Ultralytics HUB.
L'interface graphique Explorer est basée sur l'APIUltralytics . Elle vous permet d'effectuer des recherches sémantiques/de similarité vectorielle, des requêtes SQL et des requêtes en langage naturel à l'aide de la fonctionnalité Ask AI optimisée par les LLM.
Regarder : Aperçu du tableau de bord Ultralytics Explorer
Installation
pip install ultralytics[explorer]
Remarque
La fonctionnalité Ask AI utilise OpenAI, vous serez donc invité à définir la clé API OpenAI lors de la première exécution de l'interface graphique.
Définissez-la avec yolo settings openai_api_key="...".
Recherche de similarité sémantique vectorielle
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle est basée sur l'idée que des images similaires auront des intégrations similaires. Dans l'interface utilisateur, vous pouvez sélectionner une ou plusieurs images et rechercher les images qui leur sont similaires. Cela peut être utile lorsque vous souhaitez trouver des images similaires à une image donnée ou à un ensemble d'images qui ne fonctionnent pas comme prévu.
Par exemple, dans ce tableau de bord VOC , l'utilisateur sélectionne quelques images d'avions :
Après avoir lancé la recherche par similarité, vous devriez obtenir des résultats similaires :
Demander à l'IA
Cette fonctionnalité vous permet de filtrer votre ensemble de données à l'aide du langage naturel, sans avoir à écrire de code SQL. Le générateur de requêtes alimenté par l'IA convertit votre invite en requête et renvoie les résultats correspondants. Par exemple, vous pouvez demander : « Montrez-moi 100 images avec exactement une personne et deux chiens. Il peut y avoir d'autres objets également », et il générera la requête et vous montrera ces résultats. Voici un exemple de résultat obtenu lorsque l'on demande : « Montrez-moi 10 images avec exactement 5 personnes » :
Remarque : cette fonctionnalité utilise des modèles linguistiques volumineux, les résultats sont donc probabilistes et peuvent être inexacts.
Exécuter des requêtes SQL sur vos ensembles de données CV
Vous pouvez exécuter des requêtes SQL sur votre ensemble de données pour le filtrer. Cela fonctionne également si vous fournissez uniquement la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images qui contiennent au moins une personne et un chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démo a été construite à l'aide de l'API Explorer, que vous pouvez utiliser pour créer vos propres notebooks ou scripts exploratoires afin d'obtenir des informations sur vos ensembles de données. Pour commencer, consultez la documentation de l'API Explorer.
FAQ
Qu'est-ce que l'interface graphique d'Ultralytics Explorer et comment l'installer ?
L'interface graphique Ultralytics Explorer est une interface puissante qui débloque des capacités avancées d'exploration de données à l'aide de l'API Ultralytics Explorer. Elle vous permet d'exécuter une recherche de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel à l'aide de la fonctionnalité Ask AI alimentée par des Large Language Models (LLM).
Pour installer l'interface graphique Explorer, vous pouvez utiliser pip :
pip install ultralytics[explorer]
Remarque : Pour utiliser la fonctionnalité Ask AI, vous devrez définir la clé API OpenAI : yolo settings openai_api_key="...".
Comment fonctionne la fonctionnalité de recherche sémantique dans l'interface graphique d'Ultralytics Explorer ?
La fonctionnalité de recherche sémantique de l'interface graphique Ultralytics Explorer vous permet de trouver des images similaires à une image donnée en fonction de leurs embeddings. Cette technique est utile pour identifier et explorer des images qui partagent des similarités visuelles. Pour utiliser cette fonctionnalité, sélectionnez une ou plusieurs images dans l'interface utilisateur et exécutez une recherche d'images similaires. Le résultat affichera les images qui ressemblent le plus à celles sélectionnées, facilitant ainsi l'exploration efficace de l'ensemble de données et la détection d'anomalies.
Pour en savoir plus sur la recherche sémantique et les autres fonctionnalités, consultez la section Présentation des fonctionnalités.
Puis-je utiliser le langage naturel pour filtrer les ensembles de données dans l'interface graphique d'Ultralytics Explorer ?
Oui, grâce à la fonctionnalité Ask AI, basée sur de grands modèles linguistiques (LLM), vous pouvez filtrer vos ensembles de données en utilisant des requêtes en langage naturel. Il n'est pas nécessaire d'être compétent en SQL. Par exemple, vous pouvez demander "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets", et l'IA générera la requête appropriée en arrière-plan pour fournir les résultats souhaités.
Comment exécuter des requêtes SQL sur des ensembles de données à l'aide de l'interface graphique Ultralytics Explorer ?
L'interface graphique d'Ultralytics Explorer vous permet d'exécuter directement des requêtes SQL sur votre ensemble de données afin de filtrer et de gérer efficacement les données. Pour exécuter une requête, accédez à la section des requêtes SQL dans l'interface graphique et écrivez votre requête. Par exemple, pour afficher les images avec au moins une personne et un chien, vous pouvez utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Vous pouvez également fournir uniquement la clause WHERE, ce qui rend le processus de requête plus flexible.
Pour plus de détails, consultez la Section Requêtes SQL.
Quels sont les avantages de l'utilisation de l'interface graphique Ultralytics Explorer pour l'exploration de données ?
L'interface graphique d'Ultralytics Explorer améliore l'exploration des données grâce à des fonctionnalités telles que la recherche sémantique, les requêtes SQL et les interactions en langage naturel via la fonctionnalité Ask AI. Ces fonctionnalités permettent aux utilisateurs de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les ensembles de données à l'aide de requêtes SQL complexes.
- Utiliser l'IA pour effectuer des recherches en langage naturel, éliminant ainsi le besoin d'une expertise avancée en SQL.
Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les data scientists qui cherchent à approfondir leurs connaissances sur leurs ensembles de données.
Pour en savoir plus sur ces fonctionnalités, consultez la Documentation de l'interface graphique Explorer.
