Começar

Interface gráfica do Explorer

Nota da comunidade ⚠️

A partir de ultralytics>=8.3.12, o Ultralytics Explorer foi removido. Para usar o Explorer, instala pip install ultralytics==8.3.11. Recursos semelhantes (e ampliados) para explorar conjuntos de dados estão disponíveis na Ultralytics Platform.

A GUI do Explorer é criada sobre a API do Ultralytics Explorer. Ela permite executar buscas semânticas/por similaridade vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, desenvolvido com LLMs.

Ultralytics Explorer GUI main dashboard interface



Assista: Visão geral do painel do Ultralytics Explorer

Instalação#

pip install "ultralytics[explorer]==8.3.11"
Nota

A funcionalidade Ask AI usa o OpenAI, por isso, ser-te-á pedido que definas a chave da API OpenAI quando iniciares a interface gráfica pela primeira vez. Define-a com yolo settings openai_api_key="...".

A pesquisa semântica é uma técnica para encontrar imagens semelhantes a uma imagem específica. Baseia-se na ideia de que imagens semelhantes terão embeddings semelhantes. Na interface, podes selecionar uma ou mais imagens e pesquisar imagens semelhantes a elas. Isto pode ser útil quando quiseres encontrar imagens semelhantes a uma imagem específica ou a um conjunto de imagens que não apresentam os resultados esperados.

Por exemplo, neste painel de exploração VOC, o utilizador seleciona algumas imagens de aviões:

Explorer selecting airplane images for similarity search

Depois de executar a pesquisa por similaridade, deverás ver resultados semelhantes:

Ultralytics Explorer semantic similarity search

Ask AI#

Esta funcionalidade permite filtrar o teu conjunto de dados usando linguagem natural, sem escrever SQL. O gerador de consultas com tecnologia de IA converte o teu pedido numa consulta e devolve os resultados correspondentes. Por exemplo, podes perguntar: "mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também podem aparecer outros objetos" e a funcionalidade gerará a consulta e mostrará esses resultados. Aqui está um exemplo do resultado gerado quando se pede: "Mostra 10 imagens com exatamente 5 pessoas":

Explorer Ask AI results for images with 5 persons

Observação: esse recurso usa modelos de linguagem grandes, então os resultados são probabilísticos e podem ser imprecisos.

Executar consultas SQL nos teus conjuntos de dados de visão computacional#

Podes executar consultas SQL no teu conjunto de dados para o filtrar. Também funciona se forneceres apenas a cláusula WHERE. Por exemplo, a seguinte cláusula WHERE devolve imagens que contêm pelo menos uma pessoa e um cão:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Esta demonstração foi criada com a API Explorer, que podes usar para criar os teus próprios notebooks ou scripts de exploração e obter informações sobre os teus conjuntos de dados. Para começares, consulta a documentação da API Explorer.

Perguntas frequentes#

  • A GUI do Ultralytics Explorer é uma interface de navegador para explorar conjuntos de dados, criada sobre a API do Ultralytics Explorer. Ela permite executar buscas semânticas/por similaridade vetorial, consultas SQL e consultas em linguagem natural usando o recurso Ask AI, desenvolvido com modelos de linguagem grandes (LLMs).

    Para instalar a interface gráfica Explorer, podes usar o pip:

    pip install "ultralytics[explorer]==8.3.11"

    Nota: Para usares a funcionalidade Ask AI, tens de definir a chave da API OpenAI: yolo settings openai_api_key="...".

  • O recurso de busca semântica da GUI do Ultralytics Explorer permite encontrar imagens semelhantes a uma imagem fornecida com base em suas incorporações. Essa técnica é útil para identificar e explorar imagens com semelhanças visuais. Para usar esse recurso, selecione uma ou mais imagens na interface e execute uma busca por imagens semelhantes. O resultado exibirá imagens muito parecidas com as selecionadas, facilitando a exploração eficiente do conjunto de dados e a detecção de anomalias.

  • Sim, com a funcionalidade Ask AI baseada em modelos de linguagem de grande escala (LLMs), podes filtrar os teus conjuntos de dados usando consultas em linguagem natural. Não precisas de dominar SQL. Por exemplo, podes perguntar "Mostra-me 100 imagens com exatamente uma pessoa e 2 cães. Também podem aparecer outros objetos" e a IA gerará a consulta adequada nos bastidores para apresentar os resultados pretendidos.

  • A interface gráfica Ultralytics Explorer permite executar consultas SQL diretamente no teu conjunto de dados para filtrar e gerir dados de forma eficiente. Para executar uma consulta, navega até à secção de consultas SQL na interface gráfica e escreve a tua consulta. Por exemplo, para mostrar imagens com pelo menos uma pessoa e um cão, podes usar:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Também podes fornecer apenas a cláusula WHERE, o que torna o processo de consulta mais flexível.

    Para veres mais detalhes, consulta a secção Consultas SQL.

  • A interface gráfica Ultralytics Explorer melhora a exploração de dados com funcionalidades como pesquisa semântica, consultas SQL e interações em linguagem natural através da funcionalidade Ask AI. Estas capacidades permitem:

    • Encontrar imagens visualmente semelhantes com eficiência.
    • Filtrar conjuntos de dados com consultas SQL complexas.
    • Usar IA para fazer pesquisas em linguagem natural, sem precisar de conhecimentos avançados de SQL.

    Esses recursos ajudam desenvolvedores, pesquisadores e cientistas de dados a entender e organizar seus conjuntos de dados.

Comentários7

Faz uma pergunta, partilha os teus resultados ou ajuda alguém.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(editado)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(editado)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊