Explorer GUI
Примечание сообщества ⚠️
По состоянию на ultralytics>=8.3.10, поддержка Ultralytics Explorer устарела. Аналогичные (и расширенные) функции исследования наборов данных доступны в Ultralytics Platform.
Графический интерфейс Explorer построен на базе Ultralytics Explorer API. Он позволяет выполнять поиск семантического/векторного сходства, SQL-запросы и запросы на естественном языке с использованием функции Ask AI, работающей на основе LLM.
Смотреть: Обзор панели управления Ultralytics Explorer
Установка
pip install ultralytics[explorer]
Примечание
Функция Ask AI использует OpenAI, поэтому при первом запуске графического интерфейса вам будет предложено установить ключ API OpenAI.
Установите его с помощью yolo settings openai_api_key="...".
Векторный семантический поиск по сходству
Семантический поиск - это метод поиска изображений, похожих на данное изображение. Он основан на идее, что похожие изображения будут иметь похожие вложения. В пользовательском интерфейсе вы можете выбрать одно или несколько изображений и выполнить поиск изображений, похожих на них. Это может быть полезно, когда вы хотите найти изображения, похожие на данное изображение или набор изображений, которые работают не так, как ожидалось.
Например, на этой панели исследования VOC пользователь выбирает несколько изображений самолетов:
После выполнения поиска сходства вы должны увидеть похожие результаты:
Ask AI
Эта функция позволяет фильтровать ваш набор данных с помощью естественного языка, не прибегая к написанию SQL-запросов. Генератор запросов на базе ИИ преобразует ваш запрос в SQL-запрос и возвращает соответствующие результаты. Например, вы можете спросить: «покажи мне 100 изображений ровно с одним человеком и 2 собаками. Могут быть и другие объекты» — и он сгенерирует запрос и покажет вам эти результаты. Вот пример вывода при запросе: «Покажи 10 изображений ровно с 5 людьми»:
Примечание: Эта функция использует большие языковые модели, поэтому результаты являются вероятностными и могут быть неточными.
Выполнение SQL-запросов к наборам данных CV
Вы можете выполнять SQL-запросы к своему набору данных для его фильтрации. Это также работает, если вы предоставляете только условие WHERE. Например, следующее условие WHERE возвращает изображения, которые содержат как минимум одного человека и одну собаку:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация была создана с использованием Explorer API, который вы можете использовать для создания собственных исследовательских блокнотов или скриптов для получения информации о ваших наборах данных. Чтобы начать, ознакомьтесь с документацией Explorer API.
Часто задаваемые вопросы
Что такое Ultralytics Explorer GUI и как его установить?
Ultralytics Explorer GUI — это мощный интерфейс, который открывает расширенные возможности исследования данных с помощью Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск по сходству, SQL-запросы и запросы на естественном языке с помощью функции Ask AI, основанной на больших языковых моделях (LLM).
Чтобы установить Explorer GUI, вы можете использовать pip:
pip install ultralytics[explorer]
Примечание: чтобы использовать функцию Ask AI, вам необходимо установить ключ API OpenAI: yolo settings openai_api_key="...".
Как работает функция семантического поиска в Ultralytics Explorer GUI?
Функция семантического поиска в Ultralytics Explorer GUI позволяет находить изображения, похожие на заданное изображение, на основе их эмбеддингов. Этот метод полезен для выявления и изучения изображений, имеющих визуальное сходство. Чтобы использовать эту функцию, выберите одно или несколько изображений в пользовательском интерфейсе и выполните поиск похожих изображений. В результате будут отображены изображения, которые близко напоминают выбранные, что облегчает эффективное исследование набора данных и обнаружение аномалий.
Узнайте больше о семантическом поиске и других функциях, посетив раздел Обзор функций.
Могу ли я использовать естественный язык для фильтрации наборов данных в Ultralytics Explorer GUI?
Да, с помощью функции Ask AI, основанной на больших языковых моделях (LLM), вы можете фильтровать свои наборы данных, используя запросы на естественном языке. Вам не нужно хорошо знать SQL. Например, вы можете спросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Могут быть и другие объекты», и ИИ сгенерирует соответствующий запрос, чтобы предоставить желаемые результаты.
Как выполнять SQL-запросы к наборам данных с помощью Ultralytics Explorer GUI?
Ultralytics Explorer GUI позволяет выполнять SQL-запросы непосредственно к вашему набору данных для эффективной фильтрации и управления данными. Чтобы выполнить запрос, перейдите в раздел SQL-запросов в GUI и напишите свой запрос. Например, чтобы показать изображения как минимум с одним человеком и одной собакой, вы можете использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Вы также можете предоставить только предложение WHERE, что делает процесс запроса более гибким.
Для получения более подробной информации обратитесь к разделу SQL-запросы.
Каковы преимущества использования Ultralytics Explorer GUI для исследования данных?
Ultralytics Explorer GUI расширяет возможности исследования данных с помощью таких функций, как семантический поиск, SQL-запросы и взаимодействие на естественном языке через функцию Ask AI. Эти возможности позволяют пользователям:
- Эффективно находить визуально похожие изображения.
- Фильтровать наборы данных с помощью сложных SQL-запросов.
- Использовать ИИ для выполнения поиска на естественном языке, устраняя необходимость в продвинутых знаниях SQL.
Эти функции делают его универсальным инструментом для разработчиков, исследователей и специалистов по данным, стремящихся получить более глубокое понимание своих наборов данных.
Узнайте больше об этих функциях в документации Explorer GUI.
