Link to this sectionГрафический интерфейс Explorer#

Графический интерфейс Explorer построен на базе Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с использованием функции Ask AI, работающей на базе LLM.

Link to this sectionУстановка#

pip install ultralytics[explorer]

Link to this sectionВекторный семантический поиск сходства#

Семантический поиск — это метод поиска изображений, похожих на заданное. Он основан на идее, что похожие изображения будут иметь похожие эмбеддинги. В пользовательском интерфейсе ты можешь выбрать одно или несколько изображений и найти похожие на них. Это полезно, когда ты хочешь найти изображения, похожие на конкретный образец или набор изображений, которые работают не так, как ожидалось.

Например, на этой панели управления VOC Exploration пользователь выбирает несколько изображений самолетов:

После запуска поиска сходства ты увидишь похожие результаты:

Link to this sectionAsk AI#

Эта функция позволяет фильтровать датасет на естественном языке без написания SQL. Генератор запросов на базе ИИ преобразует твой промпт в запрос и возвращает соответствующие результаты. Например, ты можешь попросить: "show me 100 images with exactly one person and 2 dogs. There can be other objects too" (покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Там могут быть и другие объекты), и он создаст запрос и покажет тебе эти результаты. Вот пример вывода по запросу: "Show 10 images with exactly 5 persons" (Показать 10 изображений, на которых ровно 5 человек):

Примечание: эта функция использует большие языковые модели, поэтому результаты являются вероятностными и могут быть неточными.

Link to this sectionВыполняй SQL-запросы к своим датасетам компьютерного зрения#

Ты можешь выполнять SQL-запросы к своему датасету для его фильтрации. Это также работает, если ты указываешь только предложение WHERE. Например, следующее предложение WHERE возвращает изображения, содержащие как минимум одного человека и одну собаку:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Эта демонстрация была создана с помощью Explorer API, который ты можешь использовать для создания собственных исследовательских блокнотов или скриптов для получения информации о своих датасетах. Чтобы начать, ознакомься с документацией Explorer API.

Link to this sectionЧасто задаваемые вопросы (FAQ)#

Link to this sectionЧто такое Ultralytics Explorer GUI и как его установить?#

Ultralytics Explorer GUI — это мощный интерфейс, который открывает расширенные возможности исследования данных с помощью Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с использованием функции Ask AI, работающей на базе больших языковых моделей (LLM).

Для установки Explorer GUI ты можешь использовать pip:

pip install ultralytics[explorer]

Примечание: чтобы использовать функцию Ask AI, тебе нужно задать ключ API OpenAI: yolo settings openai_api_key="...".

Link to this sectionКак работает функция семантического поиска в Ultralytics Explorer GUI?#

Функция семантического поиска в Ultralytics Explorer GUI позволяет находить изображения, похожие на заданное, основываясь на их эмбеддингах. Этот метод полезен для выявления и изучения изображений, имеющих визуальное сходство. Чтобы использовать эту функцию, выбери одно или несколько изображений в интерфейсе и выполни поиск похожих изображений. Результат отобразит изображения, максимально похожие на выбранные, что упрощает эффективное исследование датасета и обнаружение аномалий.

Узнай больше о семантическом поиске и других функциях, посетив раздел Обзор функций.

Link to this sectionМогу ли я использовать естественный язык для фильтрации датасетов в Ultralytics Explorer GUI?#

Да, с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM), ты можешь фильтровать свои датасеты, используя запросы на естественном языке. Тебе не нужно быть экспертом в SQL. Например, ты можешь попросить: "Show me 100 images with exactly one person and 2 dogs. There can be other objects too" (Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Там могут быть и другие объекты), и ИИ сгенерирует соответствующий запрос, чтобы предоставить нужные результаты.

Link to this sectionКак мне выполнять SQL-запросы к датасетам с помощью Ultralytics Explorer GUI?#

Ultralytics Explorer GUI позволяет выполнять SQL-запросы непосредственно к твоему датасету для эффективной фильтрации и управления данными. Чтобы выполнить запрос, перейди в раздел SQL-запросов в GUI и напиши свой запрос. Например, чтобы показать изображения как минимум с одним человеком и одной собакой, ты можешь использовать:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Ты также можешь указать только предложение WHERE, что делает процесс запроса более гибким.

Для получения более подробной информации обратись к разделу SQL-запросов.

Link to this sectionКаковы преимущества использования Ultralytics Explorer GUI для исследования данных?#

Ultralytics Explorer GUI улучшает исследование данных благодаря таким функциям, как семантический поиск, SQL-запросы и взаимодействие на естественном языке через Ask AI. Эти возможности позволяют пользователям:

• Эффективно находить визуально похожие изображения.
• Фильтровать датасеты с помощью сложных SQL-запросов.
• Использовать ИИ для выполнения поисковых запросов на естественном языке, исключая необходимость в глубоких знаниях SQL.

Эти функции делают его универсальным инструментом для разработчиков, исследователей и специалистов по данным, стремящихся получить более глубокое понимание своих датасетов.

Узнай больше об этих функциях в документации Explorer GUI.