Interfaccia grafica di Explorer
A partire da ultralytics>=8.3.12, Ultralytics Explorer è stato rimosso. Per usare Explorer, installa pip install ultralytics==8.3.11. Funzionalità simili (e ampliate) per esplorare i dataset sono disponibili su Ultralytics Platform.
L'interfaccia grafica di Explorer è basata sull'API Ultralytics Explorer. Ti consente di eseguire ricerche semantiche e per similarità vettoriale, query SQL e query in linguaggio naturale con la funzione Ask AI, basata su LLM.
Guarda: Panoramica della dashboard Explorer di Ultralytics
Installazione#
pip install "ultralytics[explorer]==8.3.11"La funzionalità Ask AI usa OpenAI, quindi al primo avvio dell'interfaccia grafica ti verrà chiesto di impostare la chiave API di OpenAI. Impostala con yolo settings openai_api_key="...".
Ricerca di similarità semantica vettoriale#
La ricerca semantica è una tecnica per trovare immagini simili a un'immagine data. Si basa sull'idea che immagini simili abbiano embedding simili. Nell'interfaccia utente puoi selezionare una o più immagini e cercare quelle simili. Può essere utile quando vuoi trovare immagini simili a una determinata immagine o a un gruppo di immagini che non ottengono i risultati previsti.
Ad esempio, in questo dashboard di esplorazione VOC, l'utente seleziona alcune immagini di aeroplani:
Dopo aver eseguito la ricerca di similarità, dovresti vedere risultati simili:
Ask AI#
Questa funzionalità ti consente di filtrare il dataset usando il linguaggio naturale, senza scrivere query SQL. Il generatore di query basato sull'IA converte il tuo prompt in una query e restituisce i risultati corrispondenti. Ad esempio, puoi chiedere: "mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e la funzionalità genererà la query e mostrerà i risultati. Ecco un esempio di output ottenuto chiedendo: "Mostrami 10 immagini con esattamente 5 persone":
Nota: questa funzione usa modelli linguistici di grandi dimensioni, quindi i risultati sono probabilistici e potrebbero essere imprecisi.
Esegui query SQL sui tuoi dataset di visione artificiale#
Puoi eseguire query SQL sul tuo dataset per filtrarlo. Puoi anche fornire solo la clausola WHERE. Ad esempio, la seguente clausola WHERE restituisce le immagini che contengono almeno una persona e un cane:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Questa demo è stata realizzata con l'Explorer API, che puoi usare per creare notebook esplorativi o script personalizzati per ottenere informazioni sui tuoi dataset. Per iniziare, consulta la documentazione dell'Explorer API.
Domande frequenti#
L'interfaccia grafica di Ultralytics Explorer è un'interfaccia browser per esplorare i dataset, basata sull'API Ultralytics Explorer. Ti consente di eseguire ricerche semantiche e per similarità vettoriale, query SQL e query in linguaggio naturale con la funzione Ask AI, basata su modelli linguistici di grandi dimensioni (LLM).
Per installare l'interfaccia grafica di Explorer, puoi usare pip:
pip install "ultralytics[explorer]==8.3.11"Nota: per usare la funzionalità Ask AI, dovrai impostare la chiave API di OpenAI:
yolo settings openai_api_key="...".La funzione di ricerca semantica nell'interfaccia grafica di Ultralytics Explorer consente di trovare immagini simili a un'immagine data in base ai relativi embedding. Questa tecnica è utile per identificare ed esplorare immagini con somiglianze visive. Per usare questa funzione, seleziona una o più immagini nell'interfaccia ed esegui una ricerca di immagini simili. Il risultato mostrerà immagini molto simili a quelle selezionate, facilitando l'esplorazione efficiente del dataset e il rilevamento di anomalie.
Sì, con la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs), puoi filtrare i dataset usando query in linguaggio naturale. Non è necessario conoscere bene SQL. Ad esempio, puoi chiedere "Mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e l'IA genererà in background la query appropriata per restituire i risultati desiderati.
L'interfaccia grafica Ultralytics Explorer consente di eseguire query SQL direttamente sul dataset per filtrare e gestire i dati in modo efficiente. Per eseguire una query, vai alla sezione delle query SQL nell'interfaccia grafica e scrivi la query. Ad esempio, per mostrare le immagini con almeno una persona e un cane, puoi usare:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Puoi anche fornire solo la clausola WHERE, rendendo il processo di interrogazione più flessibile.
Per ulteriori dettagli, consulta la sezione sulle query SQL.
L'interfaccia grafica Ultralytics Explorer migliora l'esplorazione dei dati con funzionalità come la ricerca semantica, le query SQL e le interazioni in linguaggio naturale tramite Ask AI. Queste funzionalità consentono agli utenti di:
- Trovare in modo efficiente immagini visivamente simili.
- Filtrare i dataset usando query SQL complesse.
- Usare l'IA per eseguire ricerche in linguaggio naturale, senza bisogno di competenze avanzate in SQL.
Queste funzionalità aiutano sviluppatori, ricercatori e data scientist a comprendere e curare i propri dataset.
Commenti7
Fai una domanda, condividi i tuoi risultati o aiuta qualcun altro.
ws1065
I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?
Glenn JocherUltralytics(modificato)Note: Ultralytics Explorer was removed in
ultralytics>=8.3.12; to use it, installultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.@ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the
--portargument when launching the GUI. For example, you can tryyolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it withpip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.
hannaliavoshka
How can I run the Explorer GUI with my custom dataset and my own model?
jakhon37
Glenn JocherUltralytics(modificato)@jakhon37 the Ultralytics Explorer GUI has been removed as of
ultralytics>=8.3.12. However, you can use Ultralytics Platform for similar functionality, including data exploration and management. For more details, visit the Ultralytics Platform.
vonzo
How do I run this with my own data? and my own model?
Glenn JocherUltralytics(modificato)To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:
- Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
- Train your model using the
yolo traincommand, specifying your dataset and model configuration file. - After training, you can validate, make predictions, or use other features like tracking with your trained model.
Here's a quick example of how you might train your model:
from ultralytics import YOLO # Create a new YOLO model from your custom config model = YOLO('path/to/your/model.yaml') # Train the model on your custom dataset model.train(data='path/to/your/dataset.yaml')And to make predictions:
# Load your trained model model = YOLO('path/to/your/best.pt') # Predict on new images results = model.predict('path/to/your/images')Remember to replace
'path/to/your/...'with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊