Графический интерфейс Explorer#
Начиная с версии ultralytics>=8.3.12, Ultralytics Explorer удалён. Чтобы использовать Explorer, установи pip install ultralytics==8.3.11. Аналогичные (и расширенные) возможности исследования наборов данных доступны на платформе Ultralytics.
Графический интерфейс Explorer построен на основе API Ultralytics Explorer. Он позволяет выполнять семантический поиск и поиск по векторному сходству, запускать SQL-запросы и задавать запросы на естественном языке с помощью функции Ask AI на базе больших языковых моделей.
Смотри: Обзор панели управления Ultralytics Explorer
Установка#
pip install "ultralytics[explorer]==8.3.11"Функция Ask AI использует OpenAI, поэтому при первом запуске графического интерфейса появится запрос на ввод ключа API OpenAI. Задай ключ с помощью yolo settings openai_api_key="...".
Семантический поиск по векторному сходству#
Семантический поиск — это способ находить изображения, похожие на заданное изображение. Он основан на идее, что похожие изображения имеют похожие эмбеддинги. В интерфейсе можно выбрать одно или несколько изображений и найти похожие на них. Это пригодится, если нужно найти изображения, похожие на заданное, или изображения из набора, которые работают не так, как ожидалось.
Например, на этой панели для изучения VOC пользователь выбирает несколько изображений с самолетами:
После выполнения поиска по сходству отобразятся похожие результаты:
Ask AI#
Эта функция позволяет фильтровать датасет на естественном языке без написания SQL-запросов. Генератор запросов на базе ИИ преобразует запрос в команду и возвращает подходящие результаты. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и система сгенерирует запрос и покажет результаты. Вот пример результатов для запроса: «Покажи 10 изображений, на которых ровно 5 человек»:
Примечание: эта функция использует большие языковые модели, поэтому результаты вероятностные и могут быть неточными.
Выполняй SQL-запросы к датасетам компьютерного зрения#
Ты можешь фильтровать датасет с помощью SQL-запросов. Для этого достаточно указать только условие WHERE. Например, следующая часть запроса WHERE возвращает изображения, на которых есть как минимум один человек и одна собака:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация создана с помощью API Explorer. Используй его, чтобы создавать собственные исследовательские блокноты или скрипты и получать полезные сведения о своих датасетах. Чтобы начать, ознакомься с документацией по API Explorer.
Часто задаваемые вопросы#
Графический интерфейс Ultralytics Explorer — это мощный инструмент для расширенного изучения данных с помощью API Ultralytics Explorer. Он позволяет выполнять семантический поиск и поиск по векторному сходству, запускать SQL-запросы и задавать запросы на естественном языке с помощью функции Ask AI на базе больших языковых моделей (LLMs).
Чтобы установить графический интерфейс Explorer, используй pip:
pip install "ultralytics[explorer]==8.3.11"Примечание: чтобы использовать функцию Ask AI, нужно задать ключ API OpenAI:
yolo settings openai_api_key="...".Функция семантического поиска в графическом интерфейсе Ultralytics Explorer позволяет находить изображения, похожие на заданное, на основе их эмбеддингов. Этот метод помогает выявлять и изучать изображения со схожими визуальными характеристиками. Чтобы воспользоваться этой функцией, выбери одно или несколько изображений в интерфейсе и запусти поиск похожих изображений. В результатах отобразятся изображения, наиболее похожие на выбранные, что упростит изучение датасета и обнаружение аномалий.
Подробнее о семантическом поиске и других функциях см. в разделе «Обзор функций».
Да. Функция Ask AI на базе больших языковых моделей (LLMs) позволяет фильтровать датасеты с помощью запросов на естественном языке. Тебе не нужно хорошо знать SQL. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и ИИ сгенерирует подходящий запрос и вернет нужные результаты.
Графический интерфейс Ultralytics Explorer позволяет запускать SQL-запросы непосредственно к датасету, чтобы эффективно фильтровать данные и управлять ими. Чтобы выполнить запрос, открой в интерфейсе раздел SQL-запросов и введи запрос. Например, чтобы отобразить изображения, на которых есть как минимум один человек и одна собака, можно использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Также можно указать только условие WHERE, что делает составление запросов более гибким.
Подробнее см. в разделе SQL-запросов.
Графический интерфейс Ultralytics Explorer расширяет возможности изучения данных благодаря семантическому поиску, SQL-запросам и взаимодействию на естественном языке через функцию Ask AI. С их помощью можно:
- Быстро находить визуально похожие изображения.
- Фильтровать датасеты с помощью сложных SQL-запросов.
- Использовать ИИ для поиска на естественном языке, не обладая глубокими знаниями SQL.
Эти функции делают графический интерфейс универсальным инструментом для разработчиков, исследователей и специалистов по данным, которым нужно глубже изучить свои датасеты.
Подробнее об этих функциях см. в документации по графическому интерфейсу Explorer.