Inizia

Interfaccia grafica di Explorer

Nota della community ⚠️

A partire da ultralytics>=8.3.12, Ultralytics Explorer è stato rimosso. Per usare Explorer, installa pip install ultralytics==8.3.11. Funzionalità simili (e ampliate) per esplorare i dataset sono disponibili su Ultralytics Platform.

L'interfaccia grafica di Explorer è basata sull'API Ultralytics Explorer. Ti consente di eseguire ricerche semantiche e per similarità vettoriale, query SQL e query in linguaggio naturale con la funzione Ask AI, basata su LLM.

Ultralytics Explorer GUI main dashboard interface



Guarda: Panoramica della dashboard Explorer di Ultralytics

Installazione#

pip install "ultralytics[explorer]==8.3.11"
Nota

La funzionalità Ask AI usa OpenAI, quindi al primo avvio dell'interfaccia grafica ti verrà chiesto di impostare la chiave API di OpenAI. Impostala con yolo settings openai_api_key="...".

La ricerca semantica è una tecnica per trovare immagini simili a un'immagine data. Si basa sull'idea che immagini simili abbiano embedding simili. Nell'interfaccia utente puoi selezionare una o più immagini e cercare quelle simili. Può essere utile quando vuoi trovare immagini simili a una determinata immagine o a un gruppo di immagini che non ottengono i risultati previsti.

Ad esempio, in questo dashboard di esplorazione VOC, l'utente seleziona alcune immagini di aeroplani:

Explorer selecting airplane images for similarity search

Dopo aver eseguito la ricerca di similarità, dovresti vedere risultati simili:

Ultralytics Explorer semantic similarity search

Ask AI#

Questa funzionalità ti consente di filtrare il dataset usando il linguaggio naturale, senza scrivere query SQL. Il generatore di query basato sull'IA converte il tuo prompt in una query e restituisce i risultati corrispondenti. Ad esempio, puoi chiedere: "mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e la funzionalità genererà la query e mostrerà i risultati. Ecco un esempio di output ottenuto chiedendo: "Mostrami 10 immagini con esattamente 5 persone":

Explorer Ask AI results for images with 5 persons

Nota: questa funzione usa modelli linguistici di grandi dimensioni, quindi i risultati sono probabilistici e potrebbero essere imprecisi.

Esegui query SQL sui tuoi dataset di visione artificiale#

Puoi eseguire query SQL sul tuo dataset per filtrarlo. Puoi anche fornire solo la clausola WHERE. Ad esempio, la seguente clausola WHERE restituisce le immagini che contengono almeno una persona e un cane:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Questa demo è stata realizzata con l'Explorer API, che puoi usare per creare notebook esplorativi o script personalizzati per ottenere informazioni sui tuoi dataset. Per iniziare, consulta la documentazione dell'Explorer API.

Domande frequenti#

  • L'interfaccia grafica di Ultralytics Explorer è un'interfaccia browser per esplorare i dataset, basata sull'API Ultralytics Explorer. Ti consente di eseguire ricerche semantiche e per similarità vettoriale, query SQL e query in linguaggio naturale con la funzione Ask AI, basata su modelli linguistici di grandi dimensioni (LLM).

    Per installare l'interfaccia grafica di Explorer, puoi usare pip:

    pip install "ultralytics[explorer]==8.3.11"

    Nota: per usare la funzionalità Ask AI, dovrai impostare la chiave API di OpenAI: yolo settings openai_api_key="...".

  • La funzione di ricerca semantica nell'interfaccia grafica di Ultralytics Explorer consente di trovare immagini simili a un'immagine data in base ai relativi embedding. Questa tecnica è utile per identificare ed esplorare immagini con somiglianze visive. Per usare questa funzione, seleziona una o più immagini nell'interfaccia ed esegui una ricerca di immagini simili. Il risultato mostrerà immagini molto simili a quelle selezionate, facilitando l'esplorazione efficiente del dataset e il rilevamento di anomalie.

  • Sì, con la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs), puoi filtrare i dataset usando query in linguaggio naturale. Non è necessario conoscere bene SQL. Ad esempio, puoi chiedere "Mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e l'IA genererà in background la query appropriata per restituire i risultati desiderati.

  • L'interfaccia grafica Ultralytics Explorer consente di eseguire query SQL direttamente sul dataset per filtrare e gestire i dati in modo efficiente. Per eseguire una query, vai alla sezione delle query SQL nell'interfaccia grafica e scrivi la query. Ad esempio, per mostrare le immagini con almeno una persona e un cane, puoi usare:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Puoi anche fornire solo la clausola WHERE, rendendo il processo di interrogazione più flessibile.

    Per ulteriori dettagli, consulta la sezione sulle query SQL.

  • L'interfaccia grafica Ultralytics Explorer migliora l'esplorazione dei dati con funzionalità come la ricerca semantica, le query SQL e le interazioni in linguaggio naturale tramite Ask AI. Queste funzionalità consentono agli utenti di:

    • Trovare in modo efficiente immagini visivamente simili.
    • Filtrare i dataset usando query SQL complesse.
    • Usare l'IA per eseguire ricerche in linguaggio naturale, senza bisogno di competenze avanzate in SQL.

    Queste funzionalità aiutano sviluppatori, ricercatori e data scientist a comprendere e curare i propri dataset.

Commenti7

Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(modificato)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(modificato)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊