Explorer GUI#
自 ultralytics>=8.3.12 起,Ultralytics Explorer 已被移除。要使用 Explorer,请安装 pip install ultralytics==8.3.11。你可以在 Ultralytics Platform 使用类似(且功能更丰富)的数据集探索功能。
Explorer GUI 基于 Ultralytics Explorer API 构建。它支持你运行语义/向量相似度搜索和 SQL 查询,还能通过由 LLM 驱动的 Ask AI 功能执行自然语言查询。
观看: Ultralytics Explorer 仪表板概览
安装#
pip install "ultralytics[explorer]==8.3.11"Ask AI 功能使用 OpenAI,因此你首次运行 GUI 时,系统会提示你设置 OpenAI API 密钥。 使用 yolo settings openai_api_key="..." 进行设置。
向量语义相似度搜索#
语义搜索是一种根据给定图像查找相似图像的技术。它基于这样一个理念:相似的图像会有相似的嵌入。在 UI 中,你可以选择一张或多张图像,然后搜索与这些图像相似的图像。当你想查找与某张图像或一组表现不如预期的图像相似的图像时,这项功能会很有用。
例如,在这个 VOC 探索仪表板中,用户选择了几张飞机图像:
运行相似度搜索后,你应该会看到相似的结果:
Ask AI#
这项功能让你无需编写 SQL,就能使用自然语言筛选数据集。AI 驱动的查询生成器会将你的提示转换为查询,并返回匹配的结果。例如,你可以这样提问:“给我显示 100 张恰好有一个人和 2 只狗的图像。也可以有其他物体”,它就会生成查询并显示相应结果。以下是提问“显示 10 张恰好有 5 个人的图像”时的输出示例:
注意:此功能使用大型语言模型,因此结果具有概率性,可能不准确。
在你的 CV 数据集上运行 SQL 查询#
你可以在数据集上运行 SQL 查询来筛选数据。也可以只提供 WHERE 子句。例如,以下 WHERE 子句会返回至少包含一个人和一只狗的图像:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
这个演示使用 Explorer API 构建,你可以用它创建自己的探索笔记本或脚本,从数据集中获取洞见。要开始使用,请查看 Explorer API 文档。
常见问题#
Ultralytics Explorer GUI 是一个功能强大的界面,通过 Ultralytics Explorer API 解锁高级数据探索能力。它支持你运行语义/向量相似度搜索和 SQL 查询,还能通过由大型语言模型 (LLMs) 驱动的 Ask AI 功能执行自然语言查询。
你可以使用 pip 安装 Explorer GUI:
pip install "ultralytics[explorer]==8.3.11"注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥:
yolo settings openai_api_key="..."。可以。借助由大型语言模型 (LLMs) 驱动的 Ask AI 功能,你可以使用自然语言查询筛选数据集。你不需要精通 SQL。例如,你可以提问:“给我显示 100 张恰好有一个人和 2 只狗的图像。也可以有其他物体”,AI 就会在后台生成合适的查询并返回所需结果。
Ultralytics Explorer GUI 支持你直接在数据集上运行 SQL 查询,从而高效筛选和管理数据。要运行查询,请在 GUI 中打开 SQL 查询部分并编写查询。例如,要显示至少包含一个人和一只狗的图像,可以使用:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'你也可以只提供 WHERE 子句,让查询过程更加灵活。
更多详情请参阅 SQL 查询部分。
Ultralytics Explorer GUI 通过语义搜索、SQL 查询和 Ask AI 自然语言交互等功能,增强了数据探索能力。这些功能让用户能够:
- 高效查找视觉上相似的图像。
- 使用复杂的 SQL 查询筛选数据集。
- 利用 AI 执行自然语言搜索,无需具备高级 SQL 专业知识。
对于希望深入了解数据集的开发者、研究人员和数据科学家来说,这些功能让它成为一款用途广泛的工具。
在 Explorer GUI 文档中进一步了解这些功能。