Графический интерфейс Explorer
Начиная с версии ultralytics>=8.3.12, Ultralytics Explorer удалён. Чтобы использовать Explorer, установи pip install ultralytics==8.3.11. Аналогичные (и расширенные) возможности исследования наборов данных доступны на платформе Ultralytics.
Графический интерфейс Explorer построен на основе Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по сходству векторов, SQL-запросы, а также запросы на естественном языке с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM).
Смотри: Обзор панели управления Ultralytics Explorer
Установка#
pip install "ultralytics[explorer]==8.3.11"Функция Ask AI использует OpenAI, поэтому при первом запуске графического интерфейса появится запрос на ввод ключа API OpenAI. Задай ключ с помощью yolo settings openai_api_key="...".
Семантический поиск по векторному сходству#
Семантический поиск — это способ находить изображения, похожие на заданное изображение. Он основан на идее, что похожие изображения имеют похожие эмбеддинги. В интерфейсе можно выбрать одно или несколько изображений и найти похожие на них. Это пригодится, если нужно найти изображения, похожие на заданное, или изображения из набора, которые работают не так, как ожидалось.
Например, на этой панели для изучения VOC пользователь выбирает несколько изображений с самолетами:
После выполнения поиска по сходству отобразятся похожие результаты:
Ask AI#
Эта функция позволяет фильтровать датасет на естественном языке без написания SQL-запросов. Генератор запросов на базе ИИ преобразует запрос в команду и возвращает подходящие результаты. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и система сгенерирует запрос и покажет результаты. Вот пример результатов для запроса: «Покажи 10 изображений, на которых ровно 5 человек»:
Примечание: эта функция использует большие языковые модели, поэтому результаты вероятностные и могут быть неточными.
Выполняй SQL-запросы к датасетам компьютерного зрения#
Ты можешь фильтровать датасет с помощью SQL-запросов. Для этого достаточно указать только условие WHERE. Например, следующая часть запроса WHERE возвращает изображения, на которых есть как минимум один человек и одна собака:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Эта демонстрация создана с помощью API Explorer. Используй его, чтобы создавать собственные исследовательские блокноты или скрипты и получать полезные сведения о своих датасетах. Чтобы начать, ознакомься с документацией по API Explorer.
Часто задаваемые вопросы#
Графический интерфейс Ultralytics Explorer — это браузерный инструмент для изучения датасетов, построенный на основе Ultralytics Explorer API. Он позволяет выполнять семантический поиск и поиск по сходству векторов, SQL-запросы, а также запросы на естественном языке с помощью функции Ask AI, работающей на базе больших языковых моделей (LLM).
Чтобы установить графический интерфейс Explorer, используй pip:
pip install "ultralytics[explorer]==8.3.11"Примечание: чтобы использовать функцию Ask AI, нужно задать ключ API OpenAI:
yolo settings openai_api_key="...".Функция семантического поиска в графическом интерфейсе Ultralytics Explorer позволяет находить изображения, похожие на заданное, по их эмбеддингам. Этот метод полезен для поиска и изучения изображений со схожими визуальными характеристиками. Чтобы воспользоваться этой функцией, выбери одно или несколько изображений в интерфейсе и запусти поиск похожих изображений. В результатах появятся изображения, близкие к выбранным, что упростит эффективное изучение датасета и обнаружение аномалий.
Да. Функция Ask AI на базе больших языковых моделей (LLMs) позволяет фильтровать датасеты с помощью запросов на естественном языке. Тебе не нужно хорошо знать SQL. Например, можно попросить: «Покажи мне 100 изображений, на которых ровно один человек и 2 собаки. Другие объекты тоже могут присутствовать», — и ИИ сгенерирует подходящий запрос и вернет нужные результаты.
Графический интерфейс Ultralytics Explorer позволяет запускать SQL-запросы непосредственно к датасету, чтобы эффективно фильтровать данные и управлять ими. Чтобы выполнить запрос, открой в интерфейсе раздел SQL-запросов и введи запрос. Например, чтобы отобразить изображения, на которых есть как минимум один человек и одна собака, можно использовать:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'Также можно указать только условие WHERE, что делает составление запросов более гибким.
Подробнее см. в разделе SQL-запросов.
Графический интерфейс Ultralytics Explorer расширяет возможности изучения данных благодаря семантическому поиску, SQL-запросам и взаимодействию на естественном языке через функцию Ask AI. С их помощью можно:
- Быстро находить визуально похожие изображения.
- Фильтровать датасеты с помощью сложных SQL-запросов.
- Использовать ИИ для поиска на естественном языке, не обладая глубокими знаниями SQL.
Эти функции помогают разработчикам, исследователям и специалистам по данным понимать и курировать свои датасеты.
Комментарии7
Задай вопрос, поделись результатами или помоги кому-нибудь.
ws1065
I executed yolo Explorer to try to open Explorer dashboard, but it shows that it should be a port monitoring error? I don't know what port it is listening on, and yolo explorer doesn't have a help command?
Glenn JocherUltralytics(изменено)Note: Ultralytics Explorer was removed in
ultralytics>=8.3.12; to use it, installultralytics==8.3.11. Similar dataset exploration features are available in Ultralytics Platform.@ws1065 it sounds like you're encountering a port conflict issue when trying to run the Explorer dashboard. By default, the Explorer GUI listens on port 8080. You can specify a different port by using the
--portargument when launching the GUI. For example, you can tryyolo explorer --port 8081. If the issue persists, please ensure you are using the latest version of the package by updating it withpip install --upgrade ultralytics[explorer]. For further details, you can refer to the Ultralytics Explorer documentation.
hannaliavoshka
How can I run the Explorer GUI with my custom dataset and my own model?
jakhon37
Glenn JocherUltralytics(изменено)@jakhon37 the Ultralytics Explorer GUI has been removed as of
ultralytics>=8.3.12. However, you can use Ultralytics Platform for similar functionality, including data exploration and management. For more details, visit the Ultralytics Platform.
vonzo
How do I run this with my own data? and my own model?
Glenn JocherUltralytics(изменено)To run Ultralytics YOLO with your own data and model, you'll need to follow these steps:
- Prepare your dataset in a format that YOLO can understand, typically consisting of images and corresponding annotation files.
- Train your model using the
yolo traincommand, specifying your dataset and model configuration file. - After training, you can validate, make predictions, or use other features like tracking with your trained model.
Here's a quick example of how you might train your model:
from ultralytics import YOLO # Create a new YOLO model from your custom config model = YOLO('path/to/your/model.yaml') # Train the model on your custom dataset model.train(data='path/to/your/dataset.yaml')And to make predictions:
# Load your trained model model = YOLO('path/to/your/best.pt') # Predict on new images results = model.predict('path/to/your/images')Remember to replace
'path/to/your/...'with the actual paths to your files. If you need more detailed guidance, our documentation is a great place to start. 😊