Interface graphique Explorer
Note de la communauté ⚠️
À partir de ultralytics>=8.3.10, la prise en charge de l'explorateur Ultralytics a été abandonnée. Mais ne vous inquiétez pas ! Vous pouvez désormais accéder à des fonctionnalités similaires, voire améliorées, via Ultralytics HUB, notre plateforme intuitive sans code conçue pour rationaliser votre flux de travail. Avec Ultralytics HUB, vous pouvez continuer à explorer, visualiser et gérer vos données sans effort, le tout sans écrire une seule ligne de code. N'oubliez pas d'y jeter un coup d'œil et de profiter de ses puissantes fonctionnalités !🚀
Explorer GUI est comme un terrain de jeu construit à l'aide de l'API Ultralytics Explorer. Il vous permet d'exécuter une recherche de similarité sémantique/vectorielle, des requêtes SQL et même de rechercher en utilisant le langage naturel grâce à notre fonctionnalité d'IA "ask" alimentée par des LLM.
Regarder : Aperçu du tableau de bord Ultralytics Explorer
Installation
pip install ultralytics[explorer]
Remarque
La fonctionnalité Ask AI fonctionne avec OpenAI, vous serez donc invité à définir la clé API pour OpenAI lors de la première exécution de l'interface graphique.
Vous pouvez la définir comme ceci : yolo settings openai_api_key="..."
Recherche de similarité sémantique vectorielle
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle est basée sur l'idée que des images similaires auront des intégrations similaires. Dans l'interface utilisateur, vous pouvez sélectionner une ou plusieurs images et rechercher les images qui leur sont similaires. Cela peut être utile lorsque vous souhaitez trouver des images similaires à une image donnée ou à un ensemble d'images qui ne fonctionnent pas comme prévu.
Par exemple : Dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avion comme ceci :
En effectuant une recherche de similarité, vous devriez voir un résultat similaire :
Demander à l'IA
Cela vous permet d'écrire comment vous souhaitez filtrer votre ensemble de données en utilisant le langage naturel. Vous n'avez pas besoin de maîtriser l'écriture de requêtes SQL. Notre générateur de requêtes basé sur l'IA le fera automatiquement en coulisses. Par exemple, vous pouvez dire : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets" et il générera en interne la requête et vous montrera ces résultats. Voici un exemple de résultat lorsque l'on demande d'afficher "Montre 10 images avec exactement 5 personnes" et vous verrez un résultat comme celui-ci :
Remarque : cela fonctionne en utilisant des grands modèles linguistiques sous le capot, de sorte que les résultats sont probabilistes et peuvent parfois se tromper
Exécuter des requêtes SQL sur vos ensembles de données CV
Vous pouvez exécuter des requêtes SQL sur votre ensemble de données pour le filtrer. Cela fonctionne également si vous ne fournissez que la clause WHERE. Un exemple de requête SQL afficherait uniquement les images qui contiennent au moins 1 personne et 1 chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démo a été construite à l'aide de l'API Explorer, que vous pouvez utiliser pour créer vos propres notebooks ou scripts exploratoires afin d'obtenir des informations sur vos ensembles de données. Pour commencer, consultez la documentation de l'API Explorer.
FAQ
Qu'est-ce que l'interface graphique d'Ultralytics Explorer et comment l'installer ?
L'interface graphique Ultralytics Explorer est une interface puissante qui débloque des capacités avancées d'exploration de données à l'aide de l'API Ultralytics Explorer. Elle vous permet d'exécuter une recherche de similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel à l'aide de la fonctionnalité Ask AI alimentée par des Large Language Models (LLM).
Pour installer l'interface graphique Explorer, vous pouvez utiliser pip :
pip install ultralytics[explorer]
Remarque : Pour utiliser la fonctionnalité Ask AI, vous devrez définir la clé API OpenAI : yolo settings openai_api_key="...".
Comment fonctionne la fonctionnalité de recherche sémantique dans l'interface graphique d'Ultralytics Explorer ?
La fonctionnalité de recherche sémantique de l'interface graphique Ultralytics Explorer vous permet de trouver des images similaires à une image donnée en fonction de leurs embeddings. Cette technique est utile pour identifier et explorer des images qui partagent des similarités visuelles. Pour utiliser cette fonctionnalité, sélectionnez une ou plusieurs images dans l'interface utilisateur et exécutez une recherche d'images similaires. Le résultat affichera les images qui ressemblent le plus à celles sélectionnées, facilitant ainsi l'exploration efficace de l'ensemble de données et la détection d'anomalies.
Pour en savoir plus sur la recherche sémantique et les autres fonctionnalités, consultez la section Présentation des fonctionnalités.
Puis-je utiliser le langage naturel pour filtrer les ensembles de données dans l'interface graphique d'Ultralytics Explorer ?
Oui, grâce à la fonctionnalité Ask AI, basée sur de grands modèles linguistiques (LLM), vous pouvez filtrer vos ensembles de données en utilisant des requêtes en langage naturel. Il n'est pas nécessaire d'être compétent en SQL. Par exemple, vous pouvez demander "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets", et l'IA générera la requête appropriée en arrière-plan pour fournir les résultats souhaités.
Comment exécuter des requêtes SQL sur des ensembles de données à l'aide de l'interface graphique Ultralytics Explorer ?
L'interface graphique d'Ultralytics Explorer vous permet d'exécuter directement des requêtes SQL sur votre ensemble de données afin de filtrer et de gérer efficacement les données. Pour exécuter une requête, accédez à la section des requêtes SQL dans l'interface graphique et écrivez votre requête. Par exemple, pour afficher les images avec au moins une personne et un chien, vous pouvez utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Vous pouvez également fournir uniquement la clause WHERE, ce qui rend le processus de requête plus flexible.
Pour plus de détails, consultez la Section Requêtes SQL.
Quels sont les avantages de l'utilisation de l'interface graphique Ultralytics Explorer pour l'exploration de données ?
L'interface graphique d'Ultralytics Explorer améliore l'exploration des données grâce à des fonctionnalités telles que la recherche sémantique, les requêtes SQL et les interactions en langage naturel via la fonctionnalité Ask AI. Ces fonctionnalités permettent aux utilisateurs de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les ensembles de données à l'aide de requêtes SQL complexes.
- Utiliser l'IA pour effectuer des recherches en langage naturel, éliminant ainsi le besoin d'une expertise avancée en SQL.
Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les data scientists qui cherchent à approfondir leurs connaissances sur leurs ensembles de données.
Pour en savoir plus sur ces fonctionnalités, consultez la Documentation de l'interface graphique Explorer.
