Explorer GUI#
Начиная с ultralytics>=8.3.12, Ultralytics Explorer удален. Чтобы использовать Explorer, установи pip install ultralytics==8.3.11. Похожие (и расширенные) функции исследования датасетов доступны в Ultralytics Platform.
Explorer GUI создан на базе Ultralytics Explorer API. Он позволяет выполнять семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с помощью функции Ask AI на базе LLM.
Watch: Ultralytics Explorer Dashboard Overview
Установка#
pip install ultralytics[explorer]Функция Ask AI использует OpenAI, поэтому при первом запуске GUI тебе будет предложено указать ключ OpenAI API.
Установи его с помощью yolo settings openai_api_key="...".
Векторный поиск семантического сходства#
Семантический поиск — это метод поиска изображений, похожих на заданное. Он основан на идее, что похожие изображения имеют похожие эмбеддинги. В интерфейсе ты можешь выбрать одно или несколько изображений и выполнить поиск похожих. Это может быть полезно, когда нужно найти изображения, похожие на данное, или на набор изображений, которые работают не так, как ожидалось.
Например, на этой панели исследования VOC пользователь выбирает несколько изображений самолетов:
После запуска поиска сходства ты должен увидеть похожие результаты:
Ask AI#
Эта функция позволяет фильтровать набор данных с помощью естественного языка без написания SQL. Генератор запросов на базе ИИ преобразует твой запрос в SQL и возвращает соответствующие результаты. Например, ты можешь спросить: "show me 100 images with exactly one person and 2 dogs. There can be other objects too" («покажи мне 100 изображений с ровно одним человеком и 2 собаками. Могут быть и другие объекты»), и он сгенерирует запрос и покажет результаты. Вот пример вывода при запросе: "Show 10 images with exactly 5 persons":
Примечание: эта функция использует большие языковые модели, поэтому результаты носят вероятностный характер и могут быть неточными.
Выполняй SQL-запросы к своим CV-наборам данных#
Ты можешь выполнять SQL-запросы к своему набору данных для фильтрации. Это также работает, если ты предоставляешь только предложение WHERE. Например, следующее предложение WHERE возвращает изображения, содержащие как минимум одного человека и одну собаку:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демо-версия создана с использованием Explorer API, который можно применять для создания собственных исследовательских блокнотов или скриптов для получения аналитики по твоим датасетам. Чтобы начать, ознакомься с документацией по Explorer API.
FAQ#
Ultralytics Explorer GUI — это мощный интерфейс, открывающий возможности расширенного исследования данных с помощью Ultralytics Explorer API. Он позволяет запускать семантический/векторный поиск сходства, SQL-запросы и запросы на естественном языке с помощью функции Ask AI на базе больших языковых моделей (LLM).
Чтобы установить Explorer GUI, ты можешь использовать pip:
pip install ultralytics[explorer]Примечание: чтобы использовать функцию Ask AI, тебе нужно указать ключ OpenAI API:
yolo settings openai_api_key="...".Функция семантического поиска в Ultralytics Explorer GUI позволяет находить изображения, похожие на заданное, на основе их эмбеддингов. Этот метод полезен для поиска и изучения изображений, имеющих визуальное сходство. Чтобы использовать эту функцию, выбери одно или несколько изображений в интерфейсе и выполни поиск похожих изображений. В результате будут показаны изображения, которые тесно связаны с выбранными, что упрощает исследование датасетов и обнаружение аномалий.
Узнай больше о семантическом поиске и других функциях в разделе Обзор функций.
Да, с помощью функции Ask AI на базе больших языковых моделей (LLMs) ты можешь фильтровать свои наборы данных, используя запросы на естественном языке. Тебе не нужно знать SQL. Например, ты можешь спросить "Show me 100 images with exactly one person and 2 dogs. There can be other objects too", и ИИ сгенерирует соответствующий запрос, чтобы предоставить нужные результаты.
Ultralytics Explorer GUI позволяет выполнять SQL-запросы напрямую к твоему набору данных для эффективной фильтрации и управления данными. Чтобы выполнить запрос, перейди в раздел SQL-запросов в GUI и напиши свой запрос. Например, чтобы показать изображения как минимум с одним человеком и одной собакой, ты можешь использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Ты также можешь предоставить только предложение WHERE, что делает процесс формирования запросов более гибким.
Подробности см. в разделе SQL-запросы.
Ultralytics Explorer GUI улучшает исследование данных с помощью таких функций, как семантический поиск, SQL-запросы и взаимодействие на естественном языке через функцию Ask AI. Эти возможности позволяют пользователям:
- Эффективно находить визуально похожие изображения.
- Фильтровать наборы данных с помощью сложных SQL-запросов.
- Использовать ИИ для выполнения поиска на естественном языке, устраняя необходимость в продвинутых знаниях SQL.
Эти функции делают его универсальным инструментом для разработчиков, исследователей и специалистов по данным, стремящихся получить более глубокое представление о своих наборах данных.
Узнай больше об этих функциях в документации по Explorer GUI.