Explorer GUI
社区提示 ⚠️
截至 ultralytics>=8.3.10Ultralytics 的支持已弃用。类似(且功能更强大的)数据集探索功能可在 Ultralytics HUB.
Explorer GUIUltralytics API构建。它支持通过Ask AI功能(由大型语言模型驱动)执行语义/向量相似性搜索、SQL查询以及自然语言查询。

观看: Ultralytics Explorer 仪表板概述
安装
pip install ultralytics[explorer]
注意
"询问AI"功能使用OpenAI,因此首次运行图形界面时,系统将提示您设置OpenAI API密钥。
请通过以下方式设置: yolo settings openai_api_key="...".
向量语义相似度搜索
语义搜索 是一种查找与给定图像相似的图像的技术。它基于相似的图像将具有相似的 嵌入 的思想。在 UI 中,您可以选择一个或多个图像并搜索与其相似的图像。当您想要查找与给定图像或一组未按预期执行的图像相似的图像时,这非常有用。
例如,在这个VOC 仪表板中,用户选择了几张飞机图像:

执行相似性搜索后,您应该会看到相似的结果:

询问 AI
此功能允许您使用自然语言过滤数据集,无需编写SQL语句。人工智能驱动的查询生成器会将您的提示转换为查询语句并返回匹配结果。例如,您可以询问:"请展示100张图片,每张图片中必须包含1人及2只狗,其他物体也可存在",系统将自动生成查询并呈现相应结果。以下是查询"请展示10张图片,每张图片中必须包含5人"时的输出示例:

注意:此功能采用大型语言模型,因此结果具有概率性,可能存在不准确之处。
在您的 CV 数据集上运行 SQL 查询
您可以在数据集上运行SQL查询进行筛选。仅提供WHERE子句同样有效。例如,以下WHERE子句将返回包含至少一名人物和一只狗的图像:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

此演示是使用 Explorer API 构建的,您可以使用它来创建自己的探索性笔记本或脚本,以深入了解您的数据集。要开始使用,请查看Explorer API 文档。
常见问题
什么是 Ultralytics Explorer GUI?如何安装它?
Ultralytics Explorer GUI 是一个强大的界面,可以使用 Ultralytics Explorer API 释放高级数据探索功能。它允许您使用由大型语言模型 (LLM) 提供支持的 Ask AI 功能运行语义/向量相似性搜索、SQL 查询和自然语言查询。
要安装 Explorer GUI,您可以使用 pip:
pip install ultralytics[explorer]
注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥: yolo settings openai_api_key="...".
Ultralytics Explorer GUI 中的语义搜索功能是如何工作的?
Ultralytics Explorer GUI 中的语义搜索功能允许您根据图像的嵌入查找与给定图像相似的图像。此技术对于识别和探索共享视觉相似性的图像非常有用。要使用此功能,请在 UI 中选择一个或多个图像,然后执行搜索以查找相似的图像。结果将显示与所选图像非常相似的图像,从而有助于高效的数据集探索和异常检测。
访问功能概述部分,了解更多关于语义搜索和其他功能的信息。
我可以使用自然语言在Ultralytics Explorer GUI中过滤数据集吗?
是的,借助由大型语言模型 (LLM) 提供支持的 Ask AI 功能,您可以使用自然语言查询来过滤数据集。您无需精通 SQL。例如,您可以提问“显示 100 张恰好有一个人和 2 条狗的图像。也可以有其他对象”,AI 将在后台生成适当的查询以提供所需的结果。
如何使用 Ultralytics Explorer GUI 在数据集上运行 SQL 查询?
Ultralytics Explorer GUI 允许您直接在数据集上运行 SQL 查询,以高效地过滤和管理数据。要运行查询,请导航到 GUI 中的 SQL 查询部分并编写您的查询。例如,要显示至少有一个人和一条狗的图像,您可以使用:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
您也可以只提供 WHERE 子句,从而使查询过程更加灵活。
有关更多详细信息,请参阅SQL 查询部分。
使用 Ultralytics Explorer GUI 进行数据探索有哪些好处?
Ultralytics Explorer GUI 通过语义搜索、SQL 查询以及通过 Ask AI 功能进行自然语言交互等功能增强了数据探索。这些功能允许用户:
- 高效查找视觉上相似的图像。
- 使用复杂的 SQL 查询来过滤数据集。
- 利用 AI 执行自然语言搜索,无需高级 SQL 专业知识。
这些功能使其成为开发人员、研究人员和数据科学家深入了解其数据集的多功能工具。
在Explorer GUI 文档中,了解更多关于这些功能的信息。