Interface graphique Explorer#
Depuis ultralytics>=8.3.12, Ultralytics Explorer a été supprimé. Pour utiliser Explorer, installe pip install ultralytics==8.3.11. Des fonctionnalités similaires (et étendues) d’exploration des jeux de données sont disponibles sur Ultralytics Platform.
L'interface graphique Explorer repose sur l'API Explorer d'Ultralytics. Elle te permet d'effectuer des recherches par similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel à l'aide de la fonctionnalité Ask AI, basée sur des LLM.
Regarder : Présentation du tableau de bord Ultralytics Explorer
Installation#
pip install "ultralytics[explorer]==8.3.11"La fonctionnalité Ask AI utilise OpenAI ; tu seras donc invité à définir la clé API OpenAI lors du premier lancement de l'interface graphique. Définis-la avec yolo settings openai_api_key="...".
Recherche par similarité sémantique vectorielle#
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle repose sur l'idée que des images similaires auront des embeddings similaires. Dans l'interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher celles qui leur ressemblent. Cette technique est utile pour trouver des images similaires à une image donnée ou à un ensemble d'images dont les performances ne sont pas celles attendues.
Par exemple, dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avions :
Après avoir lancé la recherche par similarité, tu devrais voir des résultats similaires :
Ask AI#
Cette fonctionnalité te permet de filtrer ton jeu de données en langage naturel, sans écrire de requête SQL. Le générateur de requêtes basé sur l'IA convertit ton prompt en requête et renvoie les résultats correspondants. Par exemple, tu peux demander : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets" ; la fonctionnalité génère alors la requête et affiche les résultats. Voici un exemple de résultat obtenu avec la demande : "Montre 10 images contenant exactement 5 personnes" :
Remarque : cette fonctionnalité utilise des grands modèles de langage ; les résultats sont donc probabilistes et peuvent être inexacts.
Exécuter des requêtes SQL sur tes jeux de données de vision par ordinateur#
Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne aussi si tu fournis uniquement la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images contenant au moins une personne et un chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démo a été créée avec l'API Explorer, que tu peux utiliser pour créer tes propres notebooks ou scripts d'exploration et obtenir des informations sur tes jeux de données. Pour commencer, consulte la documentation de l'API Explorer.
FAQ#
L'interface graphique Explorer d'Ultralytics est une puissante interface qui donne accès à des fonctionnalités avancées d'exploration des données grâce à l'API Explorer d'Ultralytics. Elle te permet d'effectuer des recherches par similarité sémantique/vectorielle, des requêtes SQL et des requêtes en langage naturel à l'aide de la fonctionnalité Ask AI, basée sur des grands modèles de langage (LLMs).
Pour installer l'interface graphique Explorer, tu peux utiliser pip :
pip install "ultralytics[explorer]==8.3.11"Remarque : pour utiliser la fonctionnalité Ask AI, tu dois définir la clé API OpenAI :
yolo settings openai_api_key="...".La recherche sémantique de l'interface graphique Explorer d'Ultralytics te permet de trouver des images similaires à une image donnée en fonction de leurs embeddings. Cette technique est utile pour identifier et explorer des images qui présentent des similitudes visuelles. Pour l'utiliser, sélectionne une ou plusieurs images dans l'interface utilisateur et lance une recherche d'images similaires. Les résultats afficheront des images qui ressemblent beaucoup à celles sélectionnées, ce qui facilitera l'exploration des jeux de données et la détection d'anomalies.
Pour en savoir plus sur la recherche sémantique et les autres fonctionnalités, consulte la section Aperçu des fonctionnalités.
Oui, grâce à la fonctionnalité Ask AI basée sur des grands modèles de langage (LLMs), tu peux filtrer tes jeux de données à l'aide de requêtes en langage naturel. Il n'est pas nécessaire de maîtriser SQL. Par exemple, tu peux demander : "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets." L'IA générera alors la requête appropriée en arrière-plan pour obtenir les résultats souhaités.
L'interface graphique Explorer d'Ultralytics te permet d'exécuter des requêtes SQL directement sur ton jeu de données afin de filtrer et de gérer efficacement les données. Pour lancer une requête, accède à la section des requêtes SQL de l'interface graphique et écris ta requête. Par exemple, pour afficher les images contenant au moins une personne et un chien, tu peux utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Tu peux également fournir uniquement la clause WHERE, ce qui rend le processus d'interrogation plus flexible.
Pour plus de détails, consulte la section consacrée aux requêtes SQL.
L'interface graphique Explorer d'Ultralytics améliore l'exploration des données grâce à des fonctionnalités telles que la recherche sémantique, les requêtes SQL et les interactions en langage naturel via Ask AI. Ces fonctionnalités permettent aux utilisateurs de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les jeux de données à l'aide de requêtes SQL complexes.
- Utiliser l'IA pour effectuer des recherches en langage naturel, sans avoir besoin de maîtriser SQL.
Ces fonctionnalités en font un outil polyvalent pour les développeurs, les chercheurs et les spécialistes des données qui souhaitent approfondir leur compréhension de leurs jeux de données.
Découvre plus en détail ces fonctionnalités dans la documentation de l'interface graphique Explorer.