GUI do Explorer
Nota da Comunidade ⚠️
A partir de ultralytics>=8.3.10, o suporte Ultralytics está obsoleto. Recursos semelhantes (e ampliados) de exploração de conjuntos de dados estão disponíveis em Ultralytics HUB.
A GUI do Explorer é construída com base na APIUltralytics . Ela permite que você execute pesquisas semânticas/de similaridade vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, desenvolvido pela LLMs.
Assista: Visão Geral do Painel do Ultralytics Explorer
Instalação
pip install ultralytics[explorer]
Nota
O recurso Ask AI usa o OpenAI, portanto, será solicitado que defina a chave API do OpenAI ao executar a GUI pela primeira vez.
Defina-a com yolo settings openai_api_key="...".
Pesquisa de Similaridade Semântica Vetorial
Pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma determinada imagem. Baseia-se na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface do usuário, você pode selecionar uma ou mais imagens e procurar as imagens semelhantes a elas. Isso pode ser útil quando você deseja encontrar imagens semelhantes a uma determinada imagem ou a um conjunto de imagens que não estão funcionando como esperado.
Por exemplo, neste painel VOC , o utilizador seleciona algumas imagens de aviões:
Após executar a pesquisa de similaridade, deverá ver resultados semelhantes:
Pergunte à IA
Esta funcionalidade permite filtrar o seu conjunto de dados usando linguagem natural, sem escrever SQL. O gerador de consultas com tecnologia de IA converte o seu prompt numa consulta e retorna resultados correspondentes. Por exemplo, pode perguntar: «Mostre-me 100 imagens com exatamente uma pessoa e dois cães. Também podem haver outros objetos» e ele irá gerar a consulta e mostrar esses resultados. Aqui está um exemplo de resultado quando perguntado: «Mostre 10 imagens com exatamente cinco pessoas»:
Nota: Esta funcionalidade utiliza modelos linguísticos de grande dimensão, pelo que os resultados são probabilísticos e podem ser imprecisos.
Execute consultas SQL em seus conjuntos de dados de CV
Pode executar consultas SQL no seu conjunto de dados para filtrá-lo. Também funciona se fornecer apenas a cláusula WHERE. Por exemplo, a seguinte cláusula WHERE retorna imagens que contêm pelo menos uma pessoa e um cão:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demonstração foi construída usando a API Explorer, que você pode usar para criar seus próprios notebooks ou scripts exploratórios para obter insights sobre seus conjuntos de dados. Para começar, consulte a documentação da API Explorer.
FAQ
O que é a GUI do Ultralytics Explorer e como instalá-la?
A GUI do Ultralytics Explorer é uma interface poderosa que desbloqueia capacidades avançadas de exploração de dados usando a API do Ultralytics Explorer. Ela permite que você execute pesquisa de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, alimentado por Modelos de Linguagem Grandes (LLMs).
Para instalar a GUI do Explorer, você pode usar o pip:
pip install ultralytics[explorer]
Observação: Para usar o recurso Ask AI, você precisará definir a chave da API OpenAI: yolo settings openai_api_key="...".
Como funciona o recurso de pesquisa semântica na GUI do Ultralytics Explorer?
O recurso de pesquisa semântica na GUI do Ultralytics Explorer permite que você encontre imagens semelhantes a uma determinada imagem com base em seus embeddings. Esta técnica é útil para identificar e explorar imagens que compartilham semelhanças visuais. Para usar este recurso, selecione uma ou mais imagens na UI e execute uma pesquisa por imagens semelhantes. O resultado exibirá imagens que se assemelham muito às selecionadas, facilitando a exploração eficiente do conjunto de dados e a detecção de anomalias.
Saiba mais sobre pesquisa semântica e outros recursos visitando a seção Visão Geral dos Recursos.
Posso usar linguagem natural para filtrar conjuntos de dados na GUI do Ultralytics Explorer?
Sim, com o recurso Ask AI, alimentado por grandes modelos de linguagem (LLMs), você pode filtrar seus conjuntos de dados usando consultas em linguagem natural. Não é necessário ser proficiente em SQL. Por exemplo, você pode perguntar "Mostre-me 100 imagens com exatamente uma pessoa e 2 cães. Pode haver outros objetos também", e a IA irá gerar a consulta apropriada nos bastidores para fornecer os resultados desejados.
Como executar consultas SQL em conjuntos de dados usando a GUI do Ultralytics Explorer?
A GUI do Ultralytics Explorer permite que você execute consultas SQL diretamente em seu conjunto de dados para filtrar e gerenciar dados de forma eficiente. Para executar uma consulta, navegue até a seção de consulta SQL na GUI e escreva sua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cachorro, você pode usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Você também pode fornecer apenas a cláusula WHERE, tornando o processo de consulta mais flexível.
Para mais detalhes, consulte a Seção de Consultas SQL.
Quais são os benefícios de usar a GUI do Ultralytics Explorer para exploração de dados?
A GUI do Ultralytics Explorer aprimora a exploração de dados com recursos como pesquisa semântica, consulta SQL e interações em linguagem natural por meio do recurso Ask AI. Essas capacidades permitem aos usuários:
- Encontre imagens visualmente semelhantes de forma eficiente.
- Filtre conjuntos de dados usando consultas SQL complexas.
- Utilize IA para realizar buscas em linguagem natural, eliminando a necessidade de expertise avançada em SQL.
Esses recursos a tornam uma ferramenta versátil para desenvolvedores, pesquisadores e cientistas de dados que buscam obter insights mais profundos sobre seus conjuntos de dados.
Explore mais sobre esses recursos na Documentação da GUI do Explorer.
