Commencer

Interface graphique Explorer

Note de la communauté ⚠️

Depuis ultralytics>=8.3.12, Ultralytics Explorer a été supprimé. Pour utiliser Explorer, installe pip install ultralytics==8.3.11. Des fonctionnalités similaires (et étendues) d’exploration des jeux de données sont disponibles sur Ultralytics Platform.

L’interface graphique Explorer repose sur l’API Ultralytics Explorer. Elle te permet d’effectuer des recherches sémantiques/par similarité vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI propulsée par les LLM.

Ultralytics Explorer GUI main dashboard interface



Regarder : Présentation du tableau de bord Ultralytics Explorer

Installation#

pip install "ultralytics[explorer]==8.3.11"
Remarque

La fonctionnalité Ask AI utilise OpenAI ; tu seras donc invité à définir la clé API OpenAI lors du premier lancement de l'interface graphique. Définis-la avec yolo settings openai_api_key="...".

La recherche sémantique est une technique permettant de trouver des images similaires à une image donnée. Elle repose sur l'idée que des images similaires auront des embeddings similaires. Dans l'interface utilisateur, tu peux sélectionner une ou plusieurs images et rechercher celles qui leur ressemblent. Cette technique est utile pour trouver des images similaires à une image donnée ou à un ensemble d'images dont les performances ne sont pas celles attendues.

Par exemple, dans ce tableau de bord d'exploration VOC, l'utilisateur sélectionne quelques images d'avions :

Explorer selecting airplane images for similarity search

Après avoir lancé la recherche par similarité, tu devrais voir des résultats similaires :

Ultralytics Explorer semantic similarity search

Ask AI#

Cette fonctionnalité te permet de filtrer ton jeu de données en langage naturel, sans écrire de requête SQL. Le générateur de requêtes basé sur l'IA convertit ton prompt en requête et renvoie les résultats correspondants. Par exemple, tu peux demander : "montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets" ; la fonctionnalité génère alors la requête et affiche les résultats. Voici un exemple de résultat obtenu avec la demande : "Montre 10 images contenant exactement 5 personnes" :

Explorer Ask AI results for images with 5 persons

Remarque : cette fonctionnalité utilise de grands modèles de langage ; les résultats sont donc probabilistes et peuvent être inexacts.

Exécuter des requêtes SQL sur tes jeux de données de vision par ordinateur#

Tu peux exécuter des requêtes SQL sur ton jeu de données pour le filtrer. Cela fonctionne aussi si tu fournis uniquement la clause WHERE. Par exemple, la clause WHERE suivante renvoie les images contenant au moins une personne et un chien :

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Cette démo a été créée avec l'API Explorer, que tu peux utiliser pour créer tes propres notebooks ou scripts d'exploration et obtenir des informations sur tes jeux de données. Pour commencer, consulte la documentation de l'API Explorer.

FAQ#

  • L’interface graphique Ultralytics Explorer est une interface de navigateur pour l’exploration de jeux de données, basée sur l’API Ultralytics Explorer. Elle te permet d’effectuer des recherches sémantiques/par similarité vectorielle, des requêtes SQL et des requêtes en langage naturel avec la fonctionnalité Ask AI propulsée par de grands modèles de langage (LLM).

    Pour installer l'interface graphique Explorer, tu peux utiliser pip :

    pip install "ultralytics[explorer]==8.3.11"

    Remarque : pour utiliser la fonctionnalité Ask AI, tu dois définir la clé API OpenAI : yolo settings openai_api_key="...".

  • La fonctionnalité de recherche sémantique de l’interface graphique Ultralytics Explorer te permet de trouver des images similaires à une image donnée en fonction de leurs plongements. Cette technique est utile pour identifier et explorer les images qui partagent des similitudes visuelles. Pour utiliser cette fonctionnalité, sélectionne une ou plusieurs images dans l’interface et lance une recherche d’images similaires. Les résultats affichent des images qui ressemblent étroitement à celles sélectionnées, ce qui facilite l’exploration efficace du jeu de données et la détection d’anomalies.

  • Oui, grâce à la fonctionnalité Ask AI basée sur des grands modèles de langage (LLMs), tu peux filtrer tes jeux de données à l'aide de requêtes en langage naturel. Il n'est pas nécessaire de maîtriser SQL. Par exemple, tu peux demander : "Montre-moi 100 images avec exactement une personne et 2 chiens. Il peut aussi y avoir d'autres objets." L'IA générera alors la requête appropriée en arrière-plan pour obtenir les résultats souhaités.

  • L'interface graphique Explorer d'Ultralytics te permet d'exécuter des requêtes SQL directement sur ton jeu de données afin de filtrer et de gérer efficacement les données. Pour lancer une requête, accède à la section des requêtes SQL de l'interface graphique et écris ta requête. Par exemple, pour afficher les images contenant au moins une personne et un chien, tu peux utiliser :

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Tu peux également fournir uniquement la clause WHERE, ce qui rend le processus d'interrogation plus flexible.

    Pour plus de détails, consulte la section consacrée aux requêtes SQL.

  • L'interface graphique Explorer d'Ultralytics améliore l'exploration des données grâce à des fonctionnalités telles que la recherche sémantique, les requêtes SQL et les interactions en langage naturel via Ask AI. Ces fonctionnalités permettent aux utilisateurs de :

    • Trouver efficacement des images visuellement similaires.
    • Filtrer les jeux de données à l'aide de requêtes SQL complexes.
    • Utiliser l'IA pour effectuer des recherches en langage naturel, sans avoir besoin de maîtriser SQL.

    Ces fonctionnalités aident les développeurs, les chercheurs et les spécialistes des données à comprendre et à organiser leurs jeux de données.

Commentaires7

Pose une question, partage tes résultats ou aide quelqu’un d’autre.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(modifié)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(modifié)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊