GUI do Explorer#
A partir de ultralytics>=8.3.12, o Ultralytics Explorer foi removido. Para utilizar o Explorer, instala pip install ultralytics==8.3.11. Funcionalidades semelhantes (e ampliadas) de exploração de conjuntos de dados estão disponíveis na Ultralytics Platform.
A GUI do Explorer é desenvolvida com base na API do Ultralytics Explorer. Ela permite executar pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, desenvolvido com LLMs.
Watch: Ultralytics Explorer Dashboard Overview
Instalação#
pip install ultralytics[explorer]O recurso Ask AI usa a OpenAI, por isso será solicitado que definas a chave da API da OpenAI quando executares a GUI pela primeira vez.
Define-a com yolo settings openai_api_key="...".
Pesquisa de similaridade semântica vetorial#
A pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma determinada imagem. Baseia-se na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface, podes selecionar uma ou mais imagens e pesquisar imagens semelhantes a elas. Isto pode ser útil quando queres encontrar imagens semelhantes a uma determinada imagem ou a um conjunto de imagens que não apresentam o desempenho esperado.
Por exemplo, neste dashboard de exploração do VOC, o utilizador seleciona algumas imagens de aviões:
Depois de executares a pesquisa de similaridade, deverás ver resultados semelhantes:
Perguntar à IA#
Este recurso permite filtrar o teu dataset usando linguagem natural, sem escrever SQL. O gerador de consultas baseado em IA converte o teu prompt numa consulta e devolve os resultados correspondentes. Por exemplo, podes perguntar: "mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também pode haver outros objetos" e ele irá gerar a consulta e mostrar esses resultados. Aqui está um exemplo de resultado quando perguntas: "Mostra 10 imagens com exatamente 5 pessoas":
Nota: este recurso usa Modelos de linguagem de grande escala, por isso os resultados são probabilísticos e podem ser imprecisos.
Executar consultas SQL nos teus datasets de CV#
Podes executar consultas SQL no teu dataset para o filtrar. Também funciona se forneceres apenas a cláusula WHERE. Por exemplo, a seguinte cláusula WHERE devolve imagens que contêm pelo menos uma pessoa e um cão:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demonstração foi criada usando a API do Explorer, que podes utilizar para criar os teus próprios notebooks ou scripts exploratórios para obter insights dos teus datasets. Para começar, consulta a documentação da API do Explorer.
Perguntas frequentes#
A GUI do Ultralytics Explorer é uma interface avançada que disponibiliza recursos avançados de exploração de dados usando a API do Ultralytics Explorer. Ela permite executar pesquisas de similaridade semântica/vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, desenvolvido com Modelos de linguagem de grande escala (LLMs).
Para instalar a GUI do Explorer, podes usar o pip:
pip install ultralytics[explorer]Nota: para usar o recurso Ask AI, tens de definir a chave da API da OpenAI:
yolo settings openai_api_key="...".O recurso de pesquisa semântica na GUI do Ultralytics Explorer permite encontrar imagens semelhantes a uma determinada imagem com base nos respetivos embeddings. Esta técnica é útil para identificar e explorar imagens que partilham semelhanças visuais. Para usar este recurso, seleciona uma ou mais imagens na interface e executa uma pesquisa por imagens semelhantes. O resultado apresenta imagens muito semelhantes às selecionadas, facilitando a exploração eficiente do dataset e a deteção de anomalias.
Sabe mais sobre a pesquisa semântica e outros recursos na secção Visão geral dos recursos.
Sim, com o recurso Ask AI, desenvolvido com modelos de linguagem de grande escala (LLMs), podes filtrar os teus datasets usando consultas em linguagem natural. Não precisas de ter conhecimentos avançados de SQL. Por exemplo, podes perguntar "Mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também pode haver outros objetos" e a IA irá gerar a consulta adequada internamente para apresentar os resultados pretendidos.
A GUI do Ultralytics Explorer permite executar consultas SQL diretamente no teu dataset para filtrar e gerir dados de forma eficiente. Para executar uma consulta, acede à secção de consultas SQL na GUI e escreve a tua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cão, podes usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Também podes fornecer apenas a cláusula WHERE, tornando o processo de consulta mais flexível.
Para mais informações, consulta a Secção de consultas SQL.
A GUI do Ultralytics Explorer melhora a exploração de dados com recursos como pesquisa semântica, consultas SQL e interações em linguagem natural através do recurso Ask AI. Estes recursos permitem aos utilizadores:
- Encontrar eficientemente imagens visualmente semelhantes.
- Filtrar datasets usando consultas SQL complexas.
- Usar a IA para realizar pesquisas em linguagem natural, eliminando a necessidade de conhecimentos avançados de SQL.
Estes recursos tornam-na uma ferramenta versátil para programadores, investigadores e cientistas de dados que procuram obter insights mais profundos dos seus datasets.
Explora mais estes recursos na Documentação da GUI do Explorer.