Explorer GUI#
截至 ultralytics>=8.3.12,Ultralytics Explorer 已被移除。要使用 Explorer,请安装 pip install ultralytics==8.3.11。类似(且功能更丰富)的数据集探索功能现已在 Ultralytics Platform 中提供。
Explorer GUI 构建于 Ultralytics Explorer API 之上。你可以使用它运行语义/向量相似度搜索、SQL 查询,以及通过 LLM 驱动的 Ask AI 功能执行自然语言查询。
Watch: Ultralytics Explorer Dashboard Overview
安装#
pip install ultralytics[explorer]Ask AI 功能使用 OpenAI,因此你首次运行 GUI 时,系统会提示你设置 OpenAI API 密钥。
使用 yolo settings openai_api_key="..." 进行设置。
向量语义相似度搜索#
语义搜索 是一种用于查找与给定图像相似图像的技术。它基于这样一个理念:相似的图像会具有相似的嵌入。在界面中,你可以选择一个或多个图像,并搜索与它们相似的图像。当你想查找与某个图像或一组表现未达预期的图像相似的图像时,这项功能会很有用。
例如,在这个 VOC 探索仪表板中,用户选择了几张飞机图像:
运行相似度搜索后,你应该会看到相似的结果:
询问 AI#
此功能让你无需编写 SQL,即可使用自然语言筛选数据集。AI 驱动的查询生成器会将你的提示转换为查询,并返回匹配的结果。例如,你可以询问:“显示 100 张恰好包含 1 个人和 2 只狗的图像。也可以包含其他对象”,它会生成查询并显示这些结果。以下是询问“显示 10 张恰好包含 5 个人的图像”时的示例输出:
注意:此功能使用大型语言模型,因此结果具有概率性,可能不准确。
在你的 CV 数据集上运行 SQL 查询#
你可以在数据集上运行 SQL 查询来筛选数据集。即使只提供 WHERE 子句,也同样有效。例如,以下 WHERE 子句会返回至少包含 1 个人和 1 只狗的图像:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
此演示使用 Explorer API 构建,你可以利用它创建自己的探索型 notebook 或脚本,以深入了解数据集。要开始使用,请查看 Explorer API 文档。
常见问题#
Ultralytics Explorer GUI 是一个功能强大的界面,通过 Ultralytics Explorer API 解锁高级数据探索功能。你可以使用它运行语义/向量相似度搜索、SQL 查询,以及通过大型语言模型 (LLMs) 驱动的 Ask AI 功能执行自然语言查询。
要安装 Explorer GUI,你可以使用 pip:
pip install ultralytics[explorer]注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥:
yolo settings openai_api_key="..."。可以,借助大型语言模型 (LLMs) 驱动的 Ask AI 功能,你可以使用自然语言查询筛选数据集。你不需要精通 SQL。例如,你可以询问“显示 100 张恰好包含 1 个人和 2 只狗的图像。也可以包含其他对象”,AI 会在后台生成适当的查询,以返回所需结果。
Ultralytics Explorer GUI 允许你直接在数据集上运行 SQL 查询,从而高效地筛选和管理数据。要运行查询,请在 GUI 中进入 SQL 查询部分并编写查询。例如,要显示至少包含 1 个人和 1 只狗的图像,你可以使用:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'你也可以只提供 WHERE 子句,使查询过程更加灵活。
如需更多详细信息,请参阅 SQL 查询部分。
Ultralytics Explorer GUI 通过语义搜索、SQL 查询以及 Ask AI 功能提供的自然语言交互等功能,增强了数据探索能力。这些功能让用户能够:
- 高效查找视觉上相似的图像。
- 使用复杂的 SQL 查询筛选数据集。
- 利用 AI 执行自然语言搜索,无需具备高级 SQL 专业知识。
这些功能使其成为开发者、研究人员和数据科学家深入了解数据集的多用途工具。
在 Explorer GUI 文档 中进一步了解这些功能。