Explorer GUI
Примечание сообщества ⚠️
По состоянию на ultralytics>=8.3.10, поддержка Ultralytics explorer была прекращена. Но не волнуйтесь! Теперь вы можете получить доступ к аналогичным и даже расширенным функциям через Ultralytics HUB, нашу интуитивно понятную платформу без кода, предназначенную для оптимизации вашего рабочего процесса. С Ultralytics HUB вы можете продолжать исследовать, визуализировать и управлять своими данными без особых усилий, и все это без написания единой строки кода. Обязательно ознакомьтесь с ним и воспользуйтесь его мощными функциями!🚀
Explorer GUI — это своего рода игровая площадка, построенная с использованием Ultralytics Explorer API. Она позволяет выполнять семантический поиск/поиск векторного сходства, SQL-запросы и даже поиск с использованием естественного языка с помощью нашей функции Ask AI на базе LLM.
Смотреть: Обзор панели управления Ultralytics Explorer
Установка
pip install ultralytics[explorer]
Примечание
Функция Ask AI работает с использованием OpenAI, поэтому при первом запуске GUI вам будет предложено установить ключ API для OpenAI.
Вы можете установить его следующим образом - yolo settings openai_api_key="..."
Векторный семантический поиск по сходству
Семантический поиск - это метод поиска изображений, похожих на данное изображение. Он основан на идее, что похожие изображения будут иметь похожие вложения. В пользовательском интерфейсе вы можете выбрать одно или несколько изображений и выполнить поиск изображений, похожих на них. Это может быть полезно, когда вы хотите найти изображения, похожие на данное изображение или набор изображений, которые работают не так, как ожидалось.
Например: На этой панели VOC Exploration пользователь выбирает несколько изображений самолетов, как показано здесь:
При выполнении поиска по сходству вы должны увидеть похожий результат:
Ask AI
Это позволяет вам описывать желаемые фильтры для вашего набора данных, используя естественный язык. Вам не обязательно уметь писать SQL-запросы. Наш генератор запросов на базе ИИ автоматически сделает это за вас. Например, вы можете сказать: «Покажи мне 100 изображений, на которых ровно один человек и две собаки. Могут быть и другие объекты», и он автоматически сгенерирует запрос и покажет вам эти результаты. Вот пример вывода, когда задан вопрос «Покажи 10 изображений с ровно 5 людьми», и вы увидите результат, подобный этому:
Примечание: Это работает с использованием Больших языковых моделей под капотом, поэтому результаты являются вероятностными и иногда могут быть неверными.
Выполнение SQL-запросов к наборам данных CV
Вы можете выполнять SQL-запросы к своему набору данных для его фильтрации. Это также работает, если вы предоставляете только предложение WHERE. Пример SQL-запроса, который покажет только изображения, на которых есть как минимум 1 человек и 1 собака:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация была создана с использованием Explorer API, который вы можете использовать для создания собственных исследовательских блокнотов или скриптов для получения информации о ваших наборах данных. Чтобы начать, ознакомьтесь с документацией Explorer API.
Часто задаваемые вопросы
Что такое Ultralytics Explorer GUI и как его установить?
Ultralytics Explorer GUI — это мощный интерфейс, который открывает расширенные возможности исследования данных с помощью Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск по сходству, SQL-запросы и запросы на естественном языке с помощью функции Ask AI, основанной на больших языковых моделях (LLM).
Чтобы установить Explorer GUI, вы можете использовать pip:
pip install ultralytics[explorer]
Примечание: чтобы использовать функцию Ask AI, вам необходимо установить ключ API OpenAI: yolo settings openai_api_key="...".
Как работает функция семантического поиска в Ultralytics Explorer GUI?
Функция семантического поиска в Ultralytics Explorer GUI позволяет находить изображения, похожие на заданное изображение, на основе их эмбеддингов. Этот метод полезен для выявления и изучения изображений, имеющих визуальное сходство. Чтобы использовать эту функцию, выберите одно или несколько изображений в пользовательском интерфейсе и выполните поиск похожих изображений. В результате будут отображены изображения, которые близко напоминают выбранные, что облегчает эффективное исследование набора данных и обнаружение аномалий.
Узнайте больше о семантическом поиске и других функциях, посетив раздел Обзор функций.
Могу ли я использовать естественный язык для фильтрации наборов данных в Ultralytics Explorer GUI?
Да, с помощью функции Ask AI, основанной на больших языковых моделях (LLM), вы можете фильтровать свои наборы данных, используя запросы на естественном языке. Вам не нужно хорошо знать SQL. Например, вы можете спросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Могут быть и другие объекты», и ИИ сгенерирует соответствующий запрос, чтобы предоставить желаемые результаты.
Как выполнять SQL-запросы к наборам данных с помощью Ultralytics Explorer GUI?
Ultralytics Explorer GUI позволяет выполнять SQL-запросы непосредственно к вашему набору данных для эффективной фильтрации и управления данными. Чтобы выполнить запрос, перейдите в раздел SQL-запросов в GUI и напишите свой запрос. Например, чтобы показать изображения как минимум с одним человеком и одной собакой, вы можете использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Вы также можете предоставить только предложение WHERE, что делает процесс запроса более гибким.
Для получения более подробной информации обратитесь к разделу SQL-запросы.
Каковы преимущества использования Ultralytics Explorer GUI для исследования данных?
Ultralytics Explorer GUI расширяет возможности исследования данных с помощью таких функций, как семантический поиск, SQL-запросы и взаимодействие на естественном языке через функцию Ask AI. Эти возможности позволяют пользователям:
- Эффективно находить визуально похожие изображения.
- Фильтровать наборы данных с помощью сложных SQL-запросов.
- Использовать ИИ для выполнения поиска на естественном языке, устраняя необходимость в продвинутых знаниях SQL.
Эти функции делают его универсальным инструментом для разработчиков, исследователей и специалистов по данным, стремящихся получить более глубокое понимание своих наборов данных.
Узнайте больше об этих функциях в документации Explorer GUI.
