GUI do Explorer#
A partir de ultralytics>=8.3.12, o Ultralytics Explorer foi removido. Para usar o Explorer, instale o pip install ultralytics==8.3.11. Recursos de exploração de conjuntos de dados semelhantes (e expandidos) estão disponíveis no Ultralytics Platform.
A Explorer GUI é desenvolvida sobre a Ultralytics Explorer API. Ela permite executar pesquisas de semelhança semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI alimentado por LLMs.
Watch: Ultralytics Explorer Dashboard Overview
Instalação#
pip install ultralytics[explorer]O recurso Ask AI usa a OpenAI, portanto, será solicitado que definas a chave da API da OpenAI ao executar a GUI pela primeira vez.
Define-a com yolo settings openai_api_key="...".
Busca de Similaridade Semântica Vetorial#
A Pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma dada imagem. Baseia-se na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface do usuário, podes selecionar uma ou mais imagens e pesquisar por imagens semelhantes a elas. Isto pode ser útil quando queres encontrar imagens semelhantes a uma dada imagem ou a um conjunto de imagens que não têm o desempenho esperado.
Por exemplo, neste dashboard de exploração do VOC, o usuário seleciona algumas imagens de aviões:
Após executar a busca de similaridade, você verá resultados parecidos:
Ask AI#
Este recurso permite filtrar o seu dataset usando linguagem natural, sem precisar escrever SQL. O gerador de consultas alimentado por IA converte seu prompt em uma consulta e retorna os resultados correspondentes. Por exemplo, você pode perguntar: "mostre-me 100 imagens com exatamente uma pessoa e 2 cães. Pode haver outros objetos também" e ele gerará a consulta e exibirá os resultados. Aqui está um exemplo de saída quando solicitado: "Mostre 10 imagens com exatamente 5 pessoas":
Nota: Este recurso utiliza Large Language Models, portanto os resultados são probabilísticos e podem ser imprecisos.
Execute consultas SQL nos seus datasets de CV#
Você pode executar consultas SQL no seu dataset para filtrá-lo. Também funciona se você fornecer apenas a cláusula WHERE. Por exemplo, a cláusula WHERE a seguir retorna imagens que contêm pelo menos uma pessoa e um cão:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demonstração foi criada usando a Explorer API, que podes usar para criar os teus próprios notebooks ou scripts de exploração para obter insights sobre os teus conjuntos de dados. Para começar, consulta a Documentação da Explorer API.
FAQ#
A Ultralytics Explorer GUI é uma interface poderosa que desbloqueia recursos avançados de exploração de dados usando a Ultralytics Explorer API. Ela permite executar pesquisas de semelhança semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI alimentado por Large Language Models (LLMs).
Para instalar a GUI do Explorer, você pode usar o pip:
pip install ultralytics[explorer]Nota: Para usar o recurso Ask AI, precisas de definir a chave da API da OpenAI:
yolo settings openai_api_key="...".O recurso de pesquisa semântica na Ultralytics Explorer GUI permite encontrar imagens semelhantes a uma dada imagem com base nos seus embeddings. Esta técnica é útil para identificar e explorar imagens que partilham semelhanças visuais. Para usar este recurso, seleciona uma ou mais imagens na interface do usuário e executa uma pesquisa por imagens semelhantes. O resultado exibirá imagens que se parecem muito com as selecionadas, facilitando a exploração eficiente do conjunto de dados e a detecção de anomalias.
Sabe mais sobre a pesquisa semântica e outros recursos visitando a seção Visão Geral dos Recursos.
Sim, com o recurso Ask AI alimentado por Large Language Models (LLMs), você pode filtrar seus datasets usando consultas em linguagem natural. Você não precisa ser proficiente em SQL. Por exemplo, você pode pedir "Mostre-me 100 imagens com exatamente uma pessoa e 2 cães. Pode haver outros objetos também", e a IA gerará a consulta apropriada nos bastidores para fornecer os resultados desejados.
A GUI do Ultralytics Explorer permite que você execute consultas SQL diretamente no seu dataset para filtrar e gerenciar dados de forma eficiente. Para executar uma consulta, navegue até a seção de consultas SQL na GUI e escreva sua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cão, você poderia usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Você também pode fornecer apenas a cláusula WHERE, tornando o processo de consulta mais flexível.
Para mais detalhes, consulta a Seção de Consultas SQL.
A GUI do Ultralytics Explorer aprimora a exploração de dados com recursos como busca semântica, consultas SQL e interações em linguagem natural através do recurso Ask AI. Essas capacidades permitem aos usuários:
- Encontrar imagens visualmente semelhantes de forma eficiente.
- Filtrar datasets usando consultas SQL complexas.
- Utilizar IA para realizar buscas em linguagem natural, eliminando a necessidade de conhecimento avançado em SQL.
Esses recursos tornam a ferramenta versátil para desenvolvedores, pesquisadores e cientistas de dados que buscam obter insights mais profundos sobre seus datasets.
Explora mais sobre estes recursos na Documentação da Explorer GUI.