Explorer GUI
社区提示 ⚠️
截至 ultralytics>=8.3.10,Ultralytics Explorer 支持已弃用。类似(且已扩展)的数据集探索功能可在 Ultralytics HUB.
Explorer GUI基于Ultralytics Explorer API构建。它允许您运行语义/向量相似性搜索、SQL查询,以及使用由LLM驱动的“询问AI”功能进行自然语言查询。

观看: Ultralytics Explorer 仪表板概述
安装
pip install ultralytics[explorer]
注意
Ask AI 功能使用 OpenAI,因此当您首次运行 GUI 时,系统会提示您设置 OpenAI API 密钥。
使用以下方式设置: yolo settings openai_api_key="...".
向量语义相似度搜索
语义搜索 是一种查找与给定图像相似的图像的技术。它基于相似的图像将具有相似的 嵌入 的思想。在 UI 中,您可以选择一个或多个图像并搜索与其相似的图像。当您想要查找与给定图像或一组未按预期执行的图像相似的图像时,这非常有用。
例如,在此 VOC 探索仪表板中,用户选择了几张飞机图像:

运行相似性搜索后,您应该会看到类似的结果:

询问 AI
此功能允许您使用自然语言过滤数据集,无需编写SQL。AI驱动的查询生成器将您的提示转换为查询并返回匹配结果。例如,您可以询问:“给我展示100张恰好包含一个人和2只狗的图像。也可以有其他对象”,它将生成查询并显示这些结果。以下是当被问及:“显示10张恰好包含5个人的图像”时的示例输出:

注意:此功能使用大型语言模型,因此结果具有概率性,可能不准确。
在您的 CV 数据集上运行 SQL 查询
您可以在数据集上运行SQL查询来筛选它。如果您只提供WHERE子句,它也同样有效。例如,以下WHERE子句返回包含至少一个人和一只狗的图像:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

此演示是使用 Explorer API 构建的,您可以使用它来创建自己的探索性笔记本或脚本,以深入了解您的数据集。要开始使用,请查看Explorer API 文档。
常见问题
什么是 Ultralytics Explorer GUI?如何安装它?
Ultralytics Explorer GUI 是一个强大的界面,可以使用 Ultralytics Explorer API 释放高级数据探索功能。它允许您使用由大型语言模型 (LLM) 提供支持的 Ask AI 功能运行语义/向量相似性搜索、SQL 查询和自然语言查询。
要安装 Explorer GUI,您可以使用 pip:
pip install ultralytics[explorer]
注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥: yolo settings openai_api_key="...".
Ultralytics Explorer GUI 中的语义搜索功能是如何工作的?
Ultralytics Explorer GUI 中的语义搜索功能允许您根据图像的嵌入查找与给定图像相似的图像。此技术对于识别和探索共享视觉相似性的图像非常有用。要使用此功能,请在 UI 中选择一个或多个图像,然后执行搜索以查找相似的图像。结果将显示与所选图像非常相似的图像,从而有助于高效的数据集探索和异常检测。
访问功能概述部分,了解更多关于语义搜索和其他功能的信息。
我可以使用自然语言在Ultralytics Explorer GUI中过滤数据集吗?
是的,借助由大型语言模型 (LLM) 提供支持的 Ask AI 功能,您可以使用自然语言查询来过滤数据集。您无需精通 SQL。例如,您可以提问“显示 100 张恰好有一个人和 2 条狗的图像。也可以有其他对象”,AI 将在后台生成适当的查询以提供所需的结果。
如何使用 Ultralytics Explorer GUI 在数据集上运行 SQL 查询?
Ultralytics Explorer GUI 允许您直接在数据集上运行 SQL 查询,以高效地过滤和管理数据。要运行查询,请导航到 GUI 中的 SQL 查询部分并编写您的查询。例如,要显示至少有一个人和一条狗的图像,您可以使用:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
您也可以只提供 WHERE 子句,从而使查询过程更加灵活。
有关更多详细信息,请参阅SQL 查询部分。
使用 Ultralytics Explorer GUI 进行数据探索有哪些好处?
Ultralytics Explorer GUI 通过语义搜索、SQL 查询以及通过 Ask AI 功能进行自然语言交互等功能增强了数据探索。这些功能允许用户:
- 高效查找视觉上相似的图像。
- 使用复杂的 SQL 查询来过滤数据集。
- 利用 AI 执行自然语言搜索,无需高级 SQL 专业知识。
这些功能使其成为开发人员、研究人员和数据科学家深入了解其数据集的多功能工具。
在Explorer GUI 文档中,了解更多关于这些功能的信息。