GUI Explorer#
Начиная с ultralytics>=8.3.12, Ultralytics Explorer удалён. Чтобы использовать Explorer, установи pip install ultralytics==8.3.11. Аналогичные (и расширенные) возможности исследования наборов данных доступны в Ultralytics Platform.
GUI Explorer построен на основе Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по векторному сходству, SQL-запросы и запросы на естественном языке с помощью функции Ask AI, работающей на базе LLM.
Watch: Ultralytics Explorer Dashboard Overview
Установка#
pip install ultralytics[explorer]Функция Ask AI использует OpenAI, поэтому при первом запуске GUI тебе будет предложено указать ключ API OpenAI.
Задай его с помощью yolo settings openai_api_key="...".
Векторный семантический поиск сходства#
Семантический поиск — это метод поиска изображений, похожих на заданное изображение. Он основан на идее, что похожие изображения будут иметь похожие эмбеддинги. В интерфейсе можно выбрать одно или несколько изображений и найти похожие на них изображения. Это может быть полезно, когда нужно найти изображения, похожие на заданное изображение или набор изображений, которые работают не так, как ожидалось.
Например, на этой панели исследования VOC пользователь выбирает несколько изображений самолётов:
После выполнения поиска по сходству ты увидишь похожие результаты:
Запрос к AI#
Эта функция позволяет фильтровать набор данных с помощью естественного языка без написания SQL. Генератор запросов на основе AI преобразует твой запрос в запрос к данным и возвращает соответствующие результаты. Например, можно спросить: «покажи мне 100 изображений ровно с одним человеком и 2 собаками. На них также могут быть другие объекты», — и функция сгенерирует запрос и покажет эти результаты. Вот пример результата для запроса: «Покажи 10 изображений ровно с 5 людьми»:
Примечание: эта функция использует большие языковые модели, поэтому результаты вероятностны и могут быть неточными.
Выполнение SQL-запросов для наборов данных компьютерного зрения#
Ты можешь выполнять SQL-запросы для фильтрации набора данных. Это также работает, если указать только предложение WHERE. Например, следующее предложение WHERE возвращает изображения, содержащие хотя бы одного человека и одну собаку:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация создана с использованием Explorer API, который можно применять для создания собственных исследовательских ноутбуков или скриптов, чтобы получать аналитические сведения о наборах данных. Чтобы начать работу, ознакомься с документацией Explorer API.
Часто задаваемые вопросы#
GUI Explorer от Ultralytics — это мощный интерфейс, открывающий доступ к расширенным возможностям исследования данных с помощью Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по векторному сходству, SQL-запросы и запросы на естественном языке с помощью функции Ask AI, работающей на базе больших языковых моделей (LLMs).
Чтобы установить GUI Explorer, можно использовать pip:
pip install ultralytics[explorer]Примечание: для использования функции Ask AI нужно задать ключ API OpenAI:
yolo settings openai_api_key="...".Функция семантического поиска в GUI Explorer от Ultralytics позволяет находить изображения, похожие на заданное изображение, на основе их эмбеддингов. Этот метод полезен для выявления и исследования изображений с визуальным сходством. Чтобы воспользоваться этой функцией, выбери одно или несколько изображений в интерфейсе и запусти поиск похожих изображений. В результате отобразятся изображения, максимально похожие на выбранные, что упростит исследование набора данных и обнаружение аномалий.
Узнай больше о семантическом поиске и других функциях в разделе Обзор функций.
Да, с помощью функции Ask AI, работающей на базе больших языковых моделей (LLMs), можно фильтровать наборы данных с помощью запросов на естественном языке. Тебе не нужно хорошо знать SQL. Например, можно спросить: «Покажи мне 100 изображений ровно с одним человеком и 2 собаками. На них также могут быть другие объекты», — и AI незаметно для тебя сгенерирует подходящий запрос, чтобы предоставить нужные результаты.
GUI Explorer от Ultralytics позволяет выполнять SQL-запросы непосредственно для набора данных, чтобы эффективно фильтровать данные и управлять ими. Чтобы выполнить запрос, перейди в раздел SQL-запросов в GUI и напиши запрос. Например, чтобы показать изображения хотя бы с одним человеком и одной собакой, можно использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Можно также указать только предложение WHERE, что делает процесс выполнения запросов более гибким.
Подробнее см. в разделе SQL-запросов.
GUI Explorer от Ultralytics расширяет возможности исследования данных благодаря таким функциям, как семантический поиск, выполнение SQL-запросов и взаимодействие на естественном языке через функцию Ask AI. Эти возможности позволяют:
- Эффективно находить визуально похожие изображения.
- Фильтровать наборы данных с помощью сложных SQL-запросов.
- Использовать AI для поиска на естественном языке без необходимости глубоко разбираться в SQL.
Эти функции делают инструмент универсальным решением для разработчиков, исследователей и специалистов по анализу данных, стремящихся получить более глубокие сведения о своих наборах данных.
Подробнее об этих функциях см. в документации по GUI Explorer.