Interface graphique Explorer
Depuis ultralytics>=8.3.12, Ultralytics Explorer a été supprimé. Pour utiliser Explorer, installe pip install ultralytics==8.3.11. Des fonctionnalités similaires (et étendues) d’exploration des jeux de données sont disponibles sur Ultralytics Platform.
L’interface graphique Explorer repose sur l’API Ultralytics Explorer. Elle te permet d’effectuer des recherches sémantiques/par similarité vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI propulsée par les LLM.
Regarder : Présentation du tableau de bord Ultralytics Explorer
Installation#
pip install "ultralytics[explorer]==8.3.11"La fonctionnalité Ask AI utilise OpenAI ; tu seras donc invité à définir la clé API OpenAI lors du premier lancement de l'interface graphique. Définis-la avec yolo settings openai_api_key="...".
Recherche par similarité sémantique vectorielle#
La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle repose sur l'idée que des images similaires auront des embeddings similaires. Dans l'interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher celles qui leur ressemblent. Cette technique est utile pour trouver des images similaires à une image donnée ou à un ensemble d'images dont les performances ne sont pas celles attendues.
Par exemple, dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avions :
Après avoir lancé la recherche par similarité, tu devrais voir des résultats similaires :
Ask AI#
Cette fonctionnalité te permet de filtrer ton jeu de données en langage naturel, sans écrire de requête SQL. Le générateur de requêtes basé sur l'IA convertit ton prompt en requête et renvoie les résultats correspondants. Par exemple, tu peux demander : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets" ; la fonctionnalité génère alors la requête et affiche les résultats. Voici un exemple de résultat obtenu avec la demande : "Montre 10 images contenant exactement 5 personnes" :
Remarque : cette fonctionnalité utilise de grands modèles de langage ; les résultats sont donc probabilistes et peuvent être inexacts.
Exécuter des requêtes SQL sur tes jeux de données de vision par ordinateur#
Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne aussi si tu fournis uniquement la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images contenant au moins une personne et un chien :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Cette démo a été créée avec l'API Explorer, que tu peux utiliser pour créer tes propres notebooks ou scripts d'exploration et obtenir des informations sur tes jeux de données. Pour commencer, consulte la documentation de l'API Explorer.
FAQ#
L’interface graphique Ultralytics Explorer est une interface de navigateur pour l’exploration de jeux de données, basée sur l’API Ultralytics Explorer. Elle te permet d’effectuer des recherches sémantiques/par similarité vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI propulsée par de grands modèles de langage (LLM).
Pour installer l'interface graphique Explorer, tu peux utiliser pip :
pip install "ultralytics[explorer]==8.3.11"Remarque : pour utiliser la fonctionnalité Ask AI, tu dois définir la clé API OpenAI :
yolo settings openai_api_key="...".La fonctionnalité de recherche sémantique de l’interface graphique Ultralytics Explorer te permet de trouver des images similaires à une image donnée en fonction de leurs plongements. Cette technique est utile pour identifier et explorer les images qui partagent des similitudes visuelles. Pour utiliser cette fonctionnalité, sélectionne une ou plusieurs images dans l’interface et lance une recherche d’images similaires. Les résultats affichent des images qui ressemblent étroitement à celles sélectionnées, ce qui facilite l’exploration efficace du jeu de données et la détection d’anomalies.
Oui, grâce à la fonctionnalité Ask AI basée sur des grands modèles de langage (LLMs), tu peux filtrer tes jeux de données à l'aide de requêtes en langage naturel. Il n'est pas nécessaire de maîtriser SQL. Par exemple, tu peux demander : "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets." L'IA générera alors la requête appropriée en arrière-plan pour obtenir les résultats souhaités.
L'interface graphique Explorer d'Ultralytics te permet d'exécuter des requêtes SQL directement sur ton jeu de données afin de filtrer et de gérer efficacement les données. Pour lancer une requête, accède à la section des requêtes SQL de l'interface graphique et écris ta requête. Par exemple, pour afficher les images contenant au moins une personne et un chien, tu peux utiliser :
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Tu peux également fournir uniquement la clause WHERE, ce qui rend le processus d'interrogation plus flexible.
Pour plus de détails, consulte la section consacrée aux requêtes SQL.
L'interface graphique Explorer d'Ultralytics améliore l'exploration des données grâce à des fonctionnalités telles que la recherche sémantique, les requêtes SQL et les interactions en langage naturel via Ask AI. Ces fonctionnalités permettent aux utilisateurs de :
- Trouver efficacement des images visuellement similaires.
- Filtrer les jeux de données à l'aide de requêtes SQL complexes.
- Utiliser l'IA pour effectuer des recherches en langage naturel, sans avoir besoin de maîtriser SQL.
Ces fonctionnalités aident les développeurs, les chercheurs et les spécialistes des données à comprendre et à organiser leurs jeux de données.
Commentaires7
Pose une question, partage tes résultats ou aide quelqu’un d’autre.
ws1065
I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?
Glenn JocherUltralytics(modifié)Note: Ultralytics Explorer was removed in
ultralytics>=8.3.12; to use it, installultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.@ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the
--portargument when launching the GUI. For example, you can tryyolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it withpip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.
hannaliavoshka
How can I run the Explorer GUI with my custom dataset and my own model?
jakhon37
Glenn JocherUltralytics(modifié)@jakhon37 the Ultralytics Explorer GUI has been removed as of
ultralytics>=8.3.12. However, you can use Ultralytics Platform for similar functionality, including data exploration and management. For more details, visit the Ultralytics Platform.
vonzo
How do I run this with my own data? and my own model?
Glenn JocherUltralytics(modifié)To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:
- Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
- Train your model using the
yolo traincommand, specifying your dataset and model configuration file. - After training, you can validate, make predictions, or use other features like tracking with your trained model.
Here's a quick example of how you might train your model:
from ultralytics import YOLO # Create a new YOLO model from your custom config model = YOLO('path/to/your/model.yaml') # Train the model on your custom dataset model.train(data='path/to/your/dataset.yaml')And to make predictions:
# Load your trained model model = YOLO('path/to/your/best.pt') # Predict on new images results = model.predict('path/to/your/images')Remember to replace
'path/to/your/...'with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊