Interfaccia grafica di Explorer#
A partire da ultralytics>=8.3.12, Ultralytics Explorer è stato rimosso. Per usare Explorer, installa pip install ultralytics==8.3.11. Funzionalità simili (e ampliate) per esplorare i dataset sono disponibili su Ultralytics Platform.
L'interfaccia grafica di Explorer è basata sull'API Ultralytics Explorer. Consente di eseguire ricerche di similarità semantica/vettoriale, query SQL e query in linguaggio naturale tramite la funzionalità Ask AI basata sugli LLM.
Guarda: Panoramica della dashboard Explorer di Ultralytics
Installazione#
pip install "ultralytics[explorer]==8.3.11"La funzionalità Ask AI usa OpenAI, quindi al primo avvio dell'interfaccia grafica ti verrà chiesto di impostare la chiave API di OpenAI. Impostala con yolo settings openai_api_key="...".
Ricerca di similarità semantica vettoriale#
La ricerca semantica è una tecnica per trovare immagini simili a un'immagine data. Si basa sull'idea che immagini simili abbiano embedding simili. Nell'interfaccia utente puoi selezionare una o più immagini e cercare quelle simili. Può essere utile quando vuoi trovare immagini simili a una determinata immagine o a un gruppo di immagini che non ottengono i risultati previsti.
Ad esempio, in questo dashboard di esplorazione VOC, l'utente seleziona alcune immagini di aeroplani:
Dopo aver eseguito la ricerca di similarità, dovresti vedere risultati simili:
Ask AI#
Questa funzionalità ti consente di filtrare il dataset usando il linguaggio naturale, senza scrivere query SQL. Il generatore di query basato sull'IA converte il tuo prompt in una query e restituisce i risultati corrispondenti. Ad esempio, puoi chiedere: "mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e la funzionalità genererà la query e mostrerà i risultati. Ecco un esempio di output ottenuto chiedendo: "Mostrami 10 immagini con esattamente 5 persone":
Nota: questa funzionalità usa modelli linguistici di grandi dimensioni, quindi i risultati sono probabilistici e potrebbero essere imprecisi.
Esegui query SQL sui tuoi dataset di visione artificiale#
Puoi eseguire query SQL sul tuo dataset per filtrarlo. Puoi anche fornire solo la clausola WHERE. Ad esempio, la seguente clausola WHERE restituisce le immagini che contengono almeno una persona e un cane:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Questa demo è stata realizzata con l'Explorer API, che puoi usare per creare notebook esplorativi o script personalizzati per ottenere informazioni sui tuoi dataset. Per iniziare, consulta la documentazione dell'Explorer API.
Domande frequenti#
L'interfaccia grafica Ultralytics Explorer è una potente interfaccia che offre funzionalità avanzate di esplorazione dei dati tramite l'API Ultralytics Explorer. Consente di eseguire ricerche di similarità semantica/vettoriale, query SQL e query in linguaggio naturale tramite la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs).
Per installare l'interfaccia grafica di Explorer, puoi usare pip:
pip install "ultralytics[explorer]==8.3.11"Nota: per usare la funzionalità Ask AI, dovrai impostare la chiave API di OpenAI:
yolo settings openai_api_key="...".La ricerca semantica nell'interfaccia grafica Ultralytics Explorer ti consente di trovare immagini simili a un'immagine data in base ai relativi embedding. Questa tecnica è utile per identificare ed esplorare immagini che condividono somiglianze visive. Per usare questa funzionalità, seleziona una o più immagini nell'interfaccia utente ed esegui una ricerca di immagini simili. Il risultato mostrerà immagini molto simili a quelle selezionate, facilitando l'esplorazione efficiente dei dataset e il rilevamento delle anomalie.
Scopri di più sulla ricerca semantica e sulle altre funzionalità consultando la panoramica delle funzionalità.
Sì, con la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs), puoi filtrare i dataset usando query in linguaggio naturale. Non è necessario conoscere bene SQL. Ad esempio, puoi chiedere "Mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e l'IA genererà in background la query appropriata per restituire i risultati desiderati.
L'interfaccia grafica Ultralytics Explorer consente di eseguire query SQL direttamente sul dataset per filtrare e gestire i dati in modo efficiente. Per eseguire una query, vai alla sezione delle query SQL nell'interfaccia grafica e scrivi la query. Ad esempio, per mostrare le immagini con almeno una persona e un cane, puoi usare:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Puoi anche fornire solo la clausola WHERE, rendendo il processo di interrogazione più flessibile.
Per ulteriori dettagli, consulta la sezione sulle query SQL.
L'interfaccia grafica Ultralytics Explorer migliora l'esplorazione dei dati con funzionalità come la ricerca semantica, le query SQL e le interazioni in linguaggio naturale tramite Ask AI. Queste funzionalità consentono agli utenti di:
- Trovare in modo efficiente immagini visivamente simili.
- Filtrare i dataset usando query SQL complesse.
- Usare l'IA per eseguire ricerche in linguaggio naturale, senza bisogno di competenze avanzate in SQL.
Queste funzionalità ne fanno uno strumento versatile per sviluppatori, ricercatori e data scientist che vogliono ottenere informazioni più approfondite sui propri dataset.
Scopri di più su queste funzionalità nella documentazione dell'interfaccia grafica di Explorer.