Графический интерфейс Explorer
Начиная с ultralytics>=8.3.12, инструмент Ultralytics Explorer был удален. Чтобы воспользоваться Explorer, установи пакет pip install ultralytics==8.3.11. Похожие (и расширенные) функции для исследования датасетов доступны в Ultralytics Platform.
Графический интерфейс Explorer построен на базе Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с использованием функции Ask AI, работающей на базе LLM.
Watch: Ultralytics Explorer Dashboard Overview
Установка
pip install ultralytics[explorer]Функция Ask AI использует OpenAI, поэтому при первом запуске графического интерфейса тебе будет предложено задать ключ API OpenAI.
Задай его с помощью команды yolo settings openai_api_key="...".
Векторный семантический поиск сходства
Семантический поиск — это метод поиска изображений, похожих на заданное. Он основан на идее, что похожие изображения будут иметь похожие эмбеддинги. В пользовательском интерфейсе ты можешь выбрать одно или несколько изображений и найти похожие на них. Это полезно, когда ты хочешь найти изображения, похожие на конкретный образец или набор изображений, которые работают не так, как ожидалось.
Например, на этой панели управления VOC Exploration пользователь выбирает несколько изображений самолетов:
После запуска поиска сходства ты увидишь похожие результаты:
Ask AI
Эта функция позволяет фильтровать датасет на естественном языке без написания SQL. Генератор запросов на базе ИИ преобразует твой промпт в запрос и возвращает соответствующие результаты. Например, ты можешь попросить: "show me 100 images with exactly one person and 2 dogs. There can be other objects too" (покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Там могут быть и другие объекты), и он создаст запрос и покажет тебе эти результаты. Вот пример вывода по запросу: "Show 10 images with exactly 5 persons" (Показать 10 изображений, на которых ровно 5 человек):
Примечание: эта функция использует большие языковые модели, поэтому результаты являются вероятностными и могут быть неточными.
Выполняй SQL-запросы к своим датасетам компьютерного зрения
Ты можешь выполнять SQL-запросы к своему датасету для его фильтрации. Это также работает, если ты указываешь только предложение WHERE. Например, следующее предложение WHERE возвращает изображения, содержащие как минимум одного человека и одну собаку:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация была создана с помощью Explorer API, который ты можешь использовать для создания собственных исследовательских блокнотов или скриптов для получения информации о своих датасетах. Чтобы начать, ознакомься с документацией Explorer API.
Часто задаваемые вопросы (FAQ)
Что такое Ultralytics Explorer GUI и как его установить?
Ultralytics Explorer GUI — это мощный интерфейс, который открывает расширенные возможности исследования данных с помощью Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с использованием функции Ask AI, работающей на базе больших языковых моделей (LLM).
Для установки Explorer GUI ты можешь использовать pip:
pip install ultralytics[explorer]Примечание: чтобы использовать функцию Ask AI, тебе нужно задать ключ API OpenAI: yolo settings openai_api_key="...".
Как работает функция семантического поиска в Ultralytics Explorer GUI?
Функция семантического поиска в Ultralytics Explorer GUI позволяет находить изображения, похожие на заданное, основываясь на их эмбеддингах. Этот метод полезен для выявления и изучения изображений, имеющих визуальное сходство. Чтобы использовать эту функцию, выбери одно или несколько изображений в интерфейсе и выполни поиск похожих изображений. Результат отобразит изображения, максимально похожие на выбранные, что упрощает эффективное исследование датасета и обнаружение аномалий.
Узнай больше о семантическом поиске и других функциях, посетив раздел Обзор функций.
Могу ли я использовать естественный язык для фильтрации датасетов в Ultralytics Explorer GUI?
Да, с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM), ты можешь фильтровать свои датасеты, используя запросы на естественном языке. Тебе не нужно быть экспертом в SQL. Например, ты можешь попросить: "Show me 100 images with exactly one person and 2 dogs. There can be other objects too" (Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Там могут быть и другие объекты), и ИИ сгенерирует соответствующий запрос, чтобы предоставить нужные результаты.
Как мне выполнять SQL-запросы к датасетам с помощью Ultralytics Explorer GUI?
Ultralytics Explorer GUI позволяет выполнять SQL-запросы непосредственно к твоему датасету для эффективной фильтрации и управления данными. Чтобы выполнить запрос, перейди в раздел SQL-запросов в GUI и напиши свой запрос. Например, чтобы показать изображения как минимум с одним человеком и одной собакой, ты можешь использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Ты также можешь указать только предложение WHERE, что делает процесс запроса более гибким.
Для получения более подробной информации обратись к разделу SQL-запросов.
Каковы преимущества использования Ultralytics Explorer GUI для исследования данных?
Ultralytics Explorer GUI улучшает исследование данных благодаря таким функциям, как семантический поиск, SQL-запросы и взаимодействие на естественном языке через Ask AI. Эти возможности позволяют пользователям:
- Эффективно находить визуально похожие изображения.
- Фильтровать датасеты с помощью сложных SQL-запросов.
- Использовать ИИ для выполнения поисковых запросов на естественном языке, исключая необходимость в глубоких знаниях SQL.
Эти функции делают его универсальным инструментом для разработчиков, исследователей и специалистов по данным, стремящихся получить более глубокое понимание своих датасетов.
Узнай больше об этих функциях в документации Explorer GUI.