Interfaccia GUI di Explorer#
A partire da ultralytics>=8.3.12, Ultralytics Explorer è stato rimosso. Per usare Explorer, installa pip install ultralytics==8.3.11. Funzionalità simili (ed estese) per l'esplorazione dei dataset sono disponibili in Ultralytics Platform.
L'interfaccia GUI di Explorer è basata sull'API Explorer di Ultralytics. Ti consente di eseguire ricerche di similarità semantica/vettoriale, query SQL e query in linguaggio naturale tramite la funzionalità Ask AI basata su LLM.
Watch: Ultralytics Explorer Dashboard Overview
Installazione#
pip install ultralytics[explorer]La funzionalità Ask AI utilizza OpenAI, quindi al primo avvio della GUI ti verrà chiesto di impostare la chiave API di OpenAI.
Impostala con yolo settings openai_api_key="...".
Ricerca di similarità semantica vettoriale#
La ricerca semantica è una tecnica per trovare immagini simili a un'immagine fornita. Si basa sull'idea che immagini simili abbiano embedding simili. Nell'interfaccia utente puoi selezionare una o più immagini e cercare quelle simili. Questa funzionalità può essere utile quando vuoi trovare immagini simili a una determinata immagine o a un insieme di immagini che non producono i risultati attesi.
Ad esempio, in questa dashboard di esplorazione VOC, l'utente seleziona alcune immagini di aeroplani:
Dopo aver eseguito la ricerca di similarità, dovresti visualizzare risultati simili:
Chiedi all'IA#
Questa funzionalità ti consente di filtrare il tuo dataset usando il linguaggio naturale, senza scrivere SQL. Il generatore di query basato sull'AI converte il tuo prompt in una query e restituisce i risultati corrispondenti. Ad esempio, puoi chiedere: "mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti" e la funzionalità genererà la query e ti mostrerà quei risultati. Ecco un esempio di output alla richiesta: "Mostra 10 immagini con esattamente 5 persone":
Nota: questa funzionalità utilizza modelli linguistici di grandi dimensioni, quindi i risultati sono probabilistici e potrebbero essere inaccurati.
Esegui query SQL sui tuoi dataset CV#
Puoi eseguire query SQL sul tuo dataset per filtrarlo. Funziona anche se fornisci solo la clausola WHERE. Ad esempio, la clausola WHERE seguente restituisce le immagini che contengono almeno una persona e un cane:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Questa demo è stata realizzata utilizzando l'API Explorer, che puoi usare per creare i tuoi notebook o script esplorativi e ottenere informazioni dettagliate sui tuoi dataset. Per iniziare, consulta la documentazione dell'API Explorer.
FAQ#
L'interfaccia GUI Ultralytics Explorer è un'interfaccia potente che offre funzionalità avanzate di esplorazione dei dati tramite l'API Explorer di Ultralytics. Ti consente di eseguire ricerche di similarità semantica/vettoriale, query SQL e query in linguaggio naturale tramite la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs).
Per installare la GUI di Explorer, puoi usare pip:
pip install ultralytics[explorer]Nota: per usare la funzionalità Ask AI, devi impostare la chiave API di OpenAI:
yolo settings openai_api_key="...".La funzionalità di ricerca semantica nella GUI Ultralytics Explorer ti consente di trovare immagini simili a un'immagine fornita in base ai relativi embedding. Questa tecnica è utile per identificare ed esplorare immagini che condividono somiglianze visive. Per usare questa funzionalità, seleziona una o più immagini nell'interfaccia utente ed esegui una ricerca di immagini simili. Il risultato mostrerà immagini molto simili a quelle selezionate, facilitando l'esplorazione efficiente del dataset e il rilevamento delle anomalie.
Scopri di più sulla ricerca semantica e sulle altre funzionalità visitando la sezione Panoramica delle funzionalità.
Sì, con la funzionalità Ask AI basata su modelli linguistici di grandi dimensioni (LLMs), puoi filtrare i tuoi dataset usando query in linguaggio naturale. Non è necessario avere competenze avanzate in SQL. Ad esempio, puoi chiedere "Mostrami 100 immagini con esattamente una persona e 2 cani. Possono esserci anche altri oggetti", e l'AI genererà la query appropriata in background per restituire i risultati desiderati.
La GUI Ultralytics Explorer ti consente di eseguire query SQL direttamente sul tuo dataset per filtrare e gestire i dati in modo efficiente. Per eseguire una query, vai alla sezione delle query SQL nella GUI e scrivi la query. Ad esempio, per mostrare le immagini con almeno una persona e un cane, puoi usare:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Puoi anche fornire solo la clausola WHERE, rendendo il processo di interrogazione più flessibile.
Per ulteriori dettagli, consulta la sezione sulle query SQL.
La GUI Ultralytics Explorer migliora l'esplorazione dei dati con funzionalità come la ricerca semantica, le query SQL e le interazioni in linguaggio naturale tramite la funzionalità Ask AI. Queste funzionalità consentono agli utenti di:
- Trovare in modo efficiente immagini visivamente simili.
- Filtrare i dataset usando query SQL complesse.
- Utilizzare l'AI per eseguire ricerche in linguaggio naturale, eliminando la necessità di competenze avanzate in SQL.
Queste funzionalità rendono lo strumento versatile per sviluppatori, ricercatori e data scientist che desiderano ottenere informazioni più approfondite sui propri dataset.
Scopri di più su queste funzionalità nella documentazione della GUI Explorer.