Начать

Графический интерфейс Explorer

Примечание сообщества ⚠️

Начиная с версии ultralytics>=8.3.12, Ultralytics Explorer удалён. Чтобы использовать Explorer, установи pip install ultralytics==8.3.11. Аналогичные (и расширенные) возможности исследования наборов данных доступны на платформе Ultralytics.

Графический интерфейс Explorer построен на основе Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по сходству векторов, SQL-запросы, а также запросы на естественном языке с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM).

Ultralytics Explorer GUI main dashboard interface



Смотри: Обзор панели управления Ultralytics Explorer

Установка#

pip install "ultralytics[explorer]==8.3.11"
Примечание

Функция Ask AI использует OpenAI, поэтому при первом запуске графического интерфейса появится запрос на ввод ключа API OpenAI. Задай ключ с помощью yolo settings openai_api_key="...".

Семантический поиск — это способ находить изображения, похожие на заданное изображение. Он основан на идее, что похожие изображения имеют похожие эмбеддинги. В интерфейсе можно выбрать одно или несколько изображений и найти похожие на них. Это пригодится, если нужно найти изображения, похожие на заданное, или изображения из набора, которые работают не так, как ожидалось.

Например, на этой панели для изучения VOC пользователь выбирает несколько изображений с самолетами:

Explorer selecting airplane images for similarity search

После выполнения поиска по сходству отобразятся похожие результаты:

Ultralytics Explorer semantic similarity search

Ask AI#

Эта функция позволяет фильтровать датасет на естественном языке без написания SQL-запросов. Генератор запросов на базе ИИ преобразует запрос в команду и возвращает подходящие результаты. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и система сгенерирует запрос и покажет результаты. Вот пример результатов для запроса: «Покажи 10 изображений, на которых ровно 5 человек»:

Explorer Ask AI results for images with 5 persons

Примечание: эта функция использует большие языковые модели, поэтому результаты вероятностные и могут быть неточными.

Выполняй SQL-запросы к датасетам компьютерного зрения#

Ты можешь фильтровать датасет с помощью SQL-запросов. Для этого достаточно указать только условие WHERE. Например, следующая часть запроса WHERE возвращает изображения, на которых есть как минимум один человек и одна собака:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

Эта демонстрация создана с помощью API Explorer. Используй его, чтобы создавать собственные исследовательские блокноты или скрипты и получать полезные сведения о своих датасетах. Чтобы начать, ознакомься с документацией по API Explorer.

Часто задаваемые вопросы#

  • Графический интерфейс Ultralytics Explorer — это браузерный инструмент для изучения датасетов, построенный на основе Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по сходству векторов, SQL-запросы, а также запросы на естественном языке с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM).

    Чтобы установить графический интерфейс Explorer, используй pip:

    pip install "ultralytics[explorer]==8.3.11"

    Примечание: чтобы использовать функцию Ask AI, нужно задать ключ API OpenAI: yolo settings openai_api_key="...".

  • Функция семантического поиска в графическом интерфейсе Ultralytics Explorer позволяет находить изображения, похожие на заданное, по их эмбеддингам. Этот метод полезен для поиска и изучения изображений со схожими визуальными характеристиками. Чтобы воспользоваться этой функцией, выбери одно или несколько изображений в интерфейсе и запусти поиск похожих изображений. В результатах появятся изображения, близкие к выбранным, что упростит эффективное изучение датасета и обнаружение аномалий.

  • Да. Функция Ask AI на базе больших языковых моделей (LLMs) позволяет фильтровать датасеты с помощью запросов на естественном языке. Тебе не нужно хорошо знать SQL. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и ИИ сгенерирует подходящий запрос и вернет нужные результаты.

  • Графический интерфейс Ultralytics Explorer позволяет запускать SQL-запросы непосредственно к датасету, чтобы эффективно фильтровать данные и управлять ими. Чтобы выполнить запрос, открой в интерфейсе раздел SQL-запросов и введи запрос. Например, чтобы отобразить изображения, на которых есть как минимум один человек и одна собака, можно использовать:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    Также можно указать только условие WHERE, что делает составление запросов более гибким.

    Подробнее см. в разделе SQL-запросов.

  • Графический интерфейс Ultralytics Explorer расширяет возможности изучения данных благодаря семантическому поиску, SQL-запросам и взаимодействию на естественном языке через функцию Ask AI. С их помощью можно:

    • Быстро находить визуально похожие изображения.
    • Фильтровать датасеты с помощью сложных SQL-запросов.
    • Использовать ИИ для поиска на естественном языке, не обладая глубокими знаниями SQL.

    Эти функции помогают разработчикам, исследователям и специалистам по данным понимать и курировать свои датасеты.

Комментарии7

Задай вопрос, поделись результатами или помоги кому-нибудь.

  1. ws1065GitHub

    I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?

    1. Glenn JocherUltralytics(изменено)

      Note: Ultralytics Explorer was removed in ultralytics>=8.3.12; to use it, install ultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.

      @ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the --port argument when launching the GUI. For example, you can try yolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it with pip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.

    1. Glenn JocherUltralytics(изменено)

      To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:

      1. Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
      2. Train your model using the yolo train command, specifying your dataset and model configuration file.
      3. After training, you can validate, make predictions, or use other features like tracking with your trained model.

      Here's a quick example of how you might train your model:

      from ultralytics import YOLO
      
      # Create a new YOLO model from your custom config
      model = YOLO('path/to/your/model.yaml')
      
      # Train the model on your custom dataset
      model.train(data='path/to/your/dataset.yaml')

      And to make predictions:

      # Load your trained model
      model = YOLO('path/to/your/best.pt')
      
      # Predict on new images
      results = model.predict('path/to/your/images')

      Remember to replace 'path/to/your/...' with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊