GUI di Explorer
Nota della community ⚠️
A partire da ultralytics>=8.3.10Il supporto per Ultralytics è deprecato. Funzionalità simili (e ampliate) per l'esplorazione dei set di dati sono disponibili in Ultralytics HUB.
Explorer GUI è basato sull'APIUltralytics . Consente di eseguire ricerche semantiche/di similarità vettoriale, query SQL e query in linguaggio naturale utilizzando la funzione Ask AI basata su LLM.
Guarda: Panoramica della dashboard di Ultralytics Explorer
Installazione
pip install ultralytics[explorer]
Nota
La funzione Ask AI utilizza OpenAI, quindi ti verrà richiesto di impostare la chiave API OpenAI al primo avvio della GUI.
Impostala con yolo settings openai_api_key="...".
Ricerca di similarità semantica vettoriale
La ricerca semantica è una tecnica per trovare immagini simili a un'immagine data. Si basa sull'idea che immagini simili avranno incorporamenti simili. Nell'interfaccia utente, puoi selezionare una o più immagini e cercare le immagini simili a esse. Questo può essere utile quando vuoi trovare immagini simili a un'immagine data o a un insieme di immagini che non funzionano come previsto.
Ad esempio, in questa dashboard VOC , l'utente seleziona alcune immagini di aeroplani:
Dopo aver eseguito la ricerca per somiglianza, dovresti vedere risultati simili:
Chiedi all'AI
Questa funzione consente di filtrare il set di dati utilizzando il linguaggio naturale, senza scrivere SQL. Il generatore di query basato sull'intelligenza artificiale converte il prompt in una query e restituisce i risultati corrispondenti. Ad esempio, è possibile chiedere: "mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e il generatore creerà la query e mostrerà i risultati. Ecco un esempio di output quando viene chiesto: "Mostra 10 immagini con esattamente 5 persone":
Nota: questa funzione utilizza modelli linguistici di grandi dimensioni, pertanto i risultati sono probabilistici e potrebbero essere imprecisi.
Esegui query SQL sui tuoi set di dati CV
È possibile eseguire query SQL sul set di dati per filtrarlo. Funziona anche se si fornisce solo la clausola WHERE. Ad esempio, la seguente clausola WHERE restituisce immagini che contengono almeno una persona e un cane:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Questa demo è stata creata utilizzando l'API Explorer, che puoi utilizzare per creare i tuoi notebook o script esplorativi per ottenere informazioni dettagliate sui tuoi set di dati. Per iniziare, consulta la documentazione dell'API Explorer.
FAQ
Cos'è l'interfaccia grafica di Ultralytics Explorer e come posso installarla?
L'interfaccia GUI di Ultralytics Explorer è una potente interfaccia che sblocca funzionalità avanzate di esplorazione dei dati utilizzando l'API Ultralytics Explorer. Consente di eseguire ricerche di similarità semantica/vettoriale, query SQL e query in linguaggio naturale utilizzando la funzione Ask AI basata su Large Language Models (LLM).
Per installare l'Explorer GUI, puoi usare pip:
pip install ultralytics[explorer]
Nota: Per utilizzare la funzione Chiedi all'AI, è necessario impostare la chiave API di OpenAI: yolo settings openai_api_key="...".
Come funziona la funzionalità di ricerca semantica nella GUI di Ultralytics Explorer?
La funzione di ricerca semantica nella GUI di Ultralytics Explorer ti consente di trovare immagini simili a un'immagine data in base ai loro embedding. Questa tecnica è utile per identificare ed esplorare immagini che condividono somiglianze visive. Per utilizzare questa funzione, seleziona una o più immagini nell'interfaccia utente ed esegui una ricerca di immagini simili. Il risultato mostrerà immagini che assomigliano da vicino a quelle selezionate, facilitando l'esplorazione efficiente del dataset e il rilevamento di anomalie.
Scopri di più sulla ricerca semantica e altre funzionalità visitando la sezione Panoramica delle funzionalità.
Posso utilizzare il linguaggio naturale per filtrare i set di dati nella GUI di Ultralytics Explorer?
Sì, con la funzione Ask AI basata su modelli linguistici di grandi dimensioni (LLM), puoi filtrare i tuoi set di dati utilizzando query in linguaggio naturale. Non è necessario essere esperti in SQL. Ad esempio, puoi chiedere "Mostrami 100 immagini con esattamente una persona e 2 cani. Ci possono essere anche altri oggetti" e l'AI genererà la query appropriata sotto il cofano per fornire i risultati desiderati.
Come posso eseguire query SQL sui dataset utilizzando l'interfaccia grafica di Ultralytics Explorer?
L'interfaccia GUI di Ultralytics Explorer consente di eseguire query SQL direttamente sul dataset per filtrare e gestire i dati in modo efficiente. Per eseguire una query, accedere alla sezione delle query SQL nella GUI e scrivere la query. Ad esempio, per visualizzare le immagini con almeno una persona e un cane, è possibile utilizzare:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Puoi anche fornire solo la clausola WHERE, rendendo il processo di interrogazione più flessibile.
Per maggiori dettagli, consulta la sezione Query SQL.
Quali sono i vantaggi dell'utilizzo della GUI di Ultralytics Explorer per l'esplorazione dei dati?
L'interfaccia GUI di Ultralytics Explorer migliora l'esplorazione dei dati con funzionalità quali la ricerca semantica, le query SQL e le interazioni in linguaggio naturale tramite la funzione Ask AI. Queste funzionalità consentono agli utenti di:
- Trova in modo efficiente immagini visivamente simili.
- Filtra i dataset utilizzando query SQL complesse.
- Utilizza l'AI per eseguire ricerche in linguaggio naturale, eliminando la necessità di competenze avanzate in SQL.
Queste caratteristiche lo rendono uno strumento versatile per sviluppatori, ricercatori e data scientist che desiderano ottenere informazioni più approfondite sui propri set di dati.
Scopri maggiori informazioni su queste funzionalità nella Documentazione della GUI Explorer.
