Salta para o conteúdo

GUI do Explorer

O Explorer GUI é como um parque infantil construído com a APIUltralytics Explorer. Permite-te fazer pesquisas semânticas/vectoriais por semelhança, consultas SQL e até pesquisas em linguagem natural utilizando a nossa funcionalidade ask AI alimentada por LLMs.

Painel de controlo do Explorer Screenshot 1



Observa: Ultralytics Visão geral do painel do Explorer

Instalação

pip install ultralytics[explorer]

Nota

A funcionalidade Perguntar à IA funciona utilizando o OpenAI, pelo que te será pedido que definas a chave api para o OpenAI quando executares o GUI pela primeira vez. Podes defini-lo da seguinte forma - yolo settings openai_api_key="..."

A pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma determinada imagem. Baseia-se na ideia de que as imagens semelhantes terão ligações semelhantes. Na IU, podes selecionar uma ou mais imagens e procurar as imagens semelhantes a elas. Isto pode ser útil quando queres encontrar imagens semelhantes a uma determinada imagem ou um conjunto de imagens que não têm o desempenho esperado.

Por exemplo: Neste painel de controlo do VOC Exploration, o utilizador selecciona algumas imagens de aviões como esta:

Painel de controlo do Explorer Screenshot 2

Ao fazeres uma pesquisa por semelhança, deves ver um resultado semelhante:

Painel de controlo do Explorer Screenshot 3

Pergunta à IA

Isto permite-te escrever como queres filtrar o teu conjunto de dados utilizando linguagem natural. Não tens de saber escrever consultas SQL. O nosso gerador de consultas com IA faz isso automaticamente. Por exemplo, podes dizer - "mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também pode haver outros objectos" e ele vai gerar internamente a consulta e mostrar-te os resultados. Aqui está um exemplo de saída quando se pede para "Mostrar 10 imagens com exatamente 5 pessoas" e verás um resultado como este:

Painel de controlo do Explorer Screenshot 4

Nota: Isto funciona utilizando LLMs, pelo que os resultados são probabilísticos e, por vezes, podem estar errados

Executa consultas SQL nos conjuntos de dados do teu CV

Podes executar consultas SQL no teu conjunto de dados para o filtrar. Também funciona se forneceres apenas a cláusula WHERE. Um exemplo de consulta SQL mostraria apenas as imagens que têm pelo menos 1 pessoa e 1 cão:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Painel de controlo do Explorer Captura de ecrã 5

Esta é uma construção de demonstração que utiliza a API Explorer. Podes utilizar a API para criar os teus próprios blocos de notas exploratórios ou scripts para obteres informações sobre os teus conjuntos de dados. Saiba mais sobre a API Explorer aqui.



Criado em 2024-01-08, Atualizado em 2024-02-10
Autores: chr043416@gmail.com (3), glenn-jocher (4), AyushExel (1)

Comentários