GUI do Explorer
A partir da versão ultralytics>=8.3.12, o Ultralytics Explorer foi removido. Para utilizar o Explorer, instale pip install ultralytics==8.3.11. Funcionalidades de exploração de datasets semelhantes (e expandidas) estão disponíveis na Ultralytics Platform.
A GUI do Explorer foi desenvolvida com base na Ultralytics Explorer API. Ela permite executar pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, que é potencializado por LLMs.
Watch: Ultralytics Explorer Dashboard Overview
Instalação
pip install ultralytics[explorer]O recurso Ask AI usa a OpenAI, então será solicitado que você configure a chave da API da OpenAI ao executar a GUI pela primeira vez.
Defina-a com yolo settings openai_api_key="...".
Pesquisa de Similaridade Semântica Vetorial
A pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma determinada imagem. Ela se baseia na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface do usuário, você pode selecionar uma ou mais imagens e pesquisar por imagens semelhantes a elas. Isso pode ser útil quando você deseja encontrar imagens semelhantes a uma determinada imagem ou a um conjunto de imagens que não apresentam o desempenho esperado.
Por exemplo, neste painel de exploração VOC, o usuário seleciona algumas imagens de aviões:
Após executar a pesquisa de similaridade, você deverá ver resultados semelhantes:
Ask AI
Este recurso permite filtrar seu conjunto de dados usando linguagem natural, sem precisar escrever SQL. O gerador de consultas impulsionado por IA converte seu prompt em uma consulta e retorna os resultados correspondentes. Por exemplo, você pode perguntar: "mostre-me 100 imagens com exatamente uma pessoa e 2 cães. Pode haver outros objetos também" e ele gerará a consulta e mostrará esses resultados. Aqui está um exemplo de saída ao perguntar: "Mostre 10 imagens com exatamente 5 pessoas":
Nota: Este recurso usa Large Language Models, portanto, os resultados são probabilísticos e podem ser imprecisos.
Execute consultas SQL em seus conjuntos de dados de CV
Você pode executar consultas SQL em seu conjunto de dados para filtrá-lo. Também funciona se você fornecer apenas a cláusula WHERE. Por exemplo, a cláusula WHERE a seguir retorna imagens que contêm pelo menos uma pessoa e um cão:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demonstração foi criada usando a Explorer API, que você pode usar para criar seus próprios notebooks exploratórios ou scripts para obter insights sobre seus conjuntos de dados. Para começar, confira a documentação da Explorer API.
FAQ
O que é a Ultralytics Explorer GUI e como eu a instalo?
A Ultralytics Explorer GUI é uma interface poderosa que desbloqueia recursos avançados de exploração de dados usando a Ultralytics Explorer API. Ela permite que você execute pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, alimentado por Large Language Models (LLMs).
Para instalar a Explorer GUI, você pode usar o pip:
pip install ultralytics[explorer]Nota: Para usar o recurso Ask AI, você precisará definir a chave da API da OpenAI: yolo settings openai_api_key="...".
Como funciona o recurso de pesquisa semântica na Ultralytics Explorer GUI?
O recurso de pesquisa semântica na Ultralytics Explorer GUI permite encontrar imagens semelhantes a uma imagem específica com base em seus embeddings. Essa técnica é útil para identificar e explorar imagens que compartilham semelhanças visuais. Para usar esse recurso, selecione uma ou mais imagens na interface e execute uma pesquisa por imagens semelhantes. O resultado exibirá imagens que se assemelham muito às selecionadas, facilitando a exploração eficiente do conjunto de dados e a detecção de anomalias.
Saiba mais sobre a pesquisa semântica e outros recursos visitando a seção Visão Geral de Recursos.
Posso usar linguagem natural para filtrar conjuntos de dados na Ultralytics Explorer GUI?
Sim, com o recurso Ask AI impulsionado por grandes modelos de linguagem (LLMs), você pode filtrar seus conjuntos de dados usando consultas em linguagem natural. Você não precisa ser proficiente em SQL. Por exemplo, você pode pedir "Mostre-me 100 imagens com exatamente uma pessoa e 2 cães. Pode haver outros objetos também", e a IA gerará a consulta apropriada nos bastidores para fornecer os resultados desejados.
Como executo consultas SQL em conjuntos de dados usando a Ultralytics Explorer GUI?
A Ultralytics Explorer GUI permite que você execute consultas SQL diretamente em seu conjunto de dados para filtrar e gerenciar dados de forma eficiente. Para executar uma consulta, navegue até a seção de consulta SQL na GUI e escreva sua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cão, você poderia usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Você também pode fornecer apenas a cláusula WHERE, tornando o processo de consulta mais flexível.
Para mais detalhes, consulte a Seção de Consultas SQL.
Quais são os benefícios de usar a Ultralytics Explorer GUI para exploração de dados?
A Ultralytics Explorer GUI aprimora a exploração de dados com recursos como pesquisa semântica, consulta SQL e interações em linguagem natural por meio do recurso Ask AI. Essas capacidades permitem que os usuários:
- Encontrem eficientemente imagens visualmente semelhantes.
- Filtrar conjuntos de dados usando consultas SQL complexas.
- Utilizem IA para realizar pesquisas em linguagem natural, eliminando a necessidade de especialização avançada em SQL.
Esses recursos a tornam uma ferramenta versátil para desenvolvedores, pesquisadores e cientistas de dados que buscam obter insights mais profundos sobre seus conjuntos de dados.
Explore mais sobre esses recursos na Documentação da Explorer GUI.