Interface gráfica do Explorer#
A partir de ultralytics>=8.3.12, o Ultralytics Explorer foi removido. Para usar o Explorer, instala pip install ultralytics==8.3.11. Recursos semelhantes (e ampliados) para explorar conjuntos de dados estão disponíveis na Ultralytics Platform.
A interface gráfica do Explorer baseia-se na API Ultralytics Explorer. Permite fazer pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural através da funcionalidade Ask AI, que utiliza LLMs.
Assista: Visão geral do painel do Ultralytics Explorer
Instalação#
pip install "ultralytics[explorer]==8.3.11"A funcionalidade Ask AI usa o OpenAI, por isso, ser-te-á pedido que definas a chave da API OpenAI quando iniciares a interface gráfica pela primeira vez. Define-a com yolo settings openai_api_key="...".
Pesquisa de similaridade semântica vetorial#
A pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma imagem específica. Baseia-se na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface, podes selecionar uma ou mais imagens e pesquisar imagens semelhantes a elas. Isto pode ser útil quando quiseres encontrar imagens semelhantes a uma imagem específica ou a um conjunto de imagens que não apresentam os resultados esperados.
Por exemplo, neste painel de exploração VOC, o utilizador seleciona algumas imagens de aviões:
Depois de executar a pesquisa por similaridade, deverás ver resultados semelhantes:
Ask AI#
Esta funcionalidade permite filtrar o teu conjunto de dados usando linguagem natural, sem escrever SQL. O gerador de consultas com tecnologia de IA converte o teu pedido numa consulta e devolve os resultados correspondentes. Por exemplo, podes perguntar: "mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também podem aparecer outros objetos" e a funcionalidade gerará a consulta e mostrará esses resultados. Aqui está um exemplo do resultado gerado quando se pede: "Mostra 10 imagens com exatamente 5 pessoas":
Nota: Esta funcionalidade usa modelos de linguagem de grande escala, por isso, os resultados são probabilísticos e podem ser imprecisos.
Executar consultas SQL nos teus conjuntos de dados de visão computacional#
Podes executar consultas SQL no teu conjunto de dados para o filtrar. Também funciona se forneceres apenas a cláusula WHERE. Por exemplo, a seguinte cláusula WHERE devolve imagens que contêm pelo menos uma pessoa e um cão:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demonstração foi criada com a API Explorer, que podes usar para criar os teus próprios notebooks ou scripts de exploração e obter informações sobre os teus conjuntos de dados. Para começares, consulta a documentação da API Explorer.
Perguntas frequentes#
A interface gráfica Ultralytics Explorer é uma interface poderosa que desbloqueia capacidades avançadas de exploração de dados através da API Ultralytics Explorer. Permite fazer pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural através da funcionalidade Ask AI, que utiliza modelos de linguagem de grande escala (LLMs).
Para instalar a interface gráfica Explorer, podes usar o pip:
pip install "ultralytics[explorer]==8.3.11"Nota: Para usares a funcionalidade Ask AI, tens de definir a chave da API OpenAI:
yolo settings openai_api_key="...".A funcionalidade de pesquisa semântica na interface gráfica Ultralytics Explorer permite encontrar imagens semelhantes a uma imagem específica com base nos respetivos embeddings. Esta técnica é útil para identificar e explorar imagens com semelhanças visuais. Para usares esta funcionalidade, seleciona uma ou mais imagens na interface e executa uma pesquisa por imagens semelhantes. O resultado mostrará imagens muito parecidas com as selecionadas, facilitando a exploração eficiente do conjunto de dados e a deteção de anomalias.
Sabe mais sobre a pesquisa semântica e outras funcionalidades na secção Visão geral das funcionalidades.
Sim, com a funcionalidade Ask AI baseada em modelos de linguagem de grande escala (LLMs), podes filtrar os teus conjuntos de dados usando consultas em linguagem natural. Não precisas de dominar SQL. Por exemplo, podes perguntar "Mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também podem aparecer outros objetos" e a IA gerará a consulta adequada nos bastidores para apresentar os resultados pretendidos.
A interface gráfica Ultralytics Explorer permite executar consultas SQL diretamente no teu conjunto de dados para filtrar e gerir dados de forma eficiente. Para executar uma consulta, navega até à secção de consultas SQL na interface gráfica e escreve a tua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cão, podes usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Também podes fornecer apenas a cláusula WHERE, o que torna o processo de consulta mais flexível.
Para veres mais detalhes, consulta a secção Consultas SQL.
A interface gráfica Ultralytics Explorer melhora a exploração de dados com funcionalidades como pesquisa semântica, consultas SQL e interações em linguagem natural através da funcionalidade Ask AI. Estas capacidades permitem:
- Encontrar imagens visualmente semelhantes com eficiência.
- Filtrar conjuntos de dados com consultas SQL complexas.
- Usar IA para fazer pesquisas em linguagem natural, sem precisar de conhecimentos avançados de SQL.
Estas funcionalidades tornam-na uma ferramenta versátil para programadores, investigadores e cientistas de dados que pretendem obter informações mais aprofundadas sobre os seus conjuntos de dados.
Explora estas funcionalidades na documentação da interface gráfica Explorer.