跳至内容

资源管理器图形用户界面

Explorer GUI 就像一个使用Ultralytics Explorer API 构建的游乐场。它允许您运行语义/矢量相似性搜索、SQL 查询,甚至使用由 LLMs 支持的 ask AI 功能使用自然语言进行搜索。

资源管理器仪表板截图 1



观看: Ultralytics 资源管理器仪表板概述

安装

pip install ultralytics[explorer]

备注

Ask AI 功能使用 OpenAI 工作,因此当你第一次运行图形用户界面时,系统会提示你设置 OpenAI 的 api 密钥。 你可以这样设置 yolo settings openai_api_key="..."

语义搜索是一种查找与给定图像相似的图像的技术。它基于相似图像会有相似嵌入的理念。在用户界面中,您可以选择一幅或多幅图像,然后搜索与之相似的图像。当你想找到与给定图片相似的图片或一组表现不尽如人意的图片时,这将非常有用。

例如 在这个 VOC 探索仪表板中,用户选择了几张飞机图片,就像这样:

资源管理器仪表板截图 2

在进行相似性搜索时,您应该会看到类似的结果:

资源管理器仪表板截图 3

询问人工智能

这样,您就可以使用自然语言编写过滤数据集的方法。您不必精通编写 SQL 查询。我们的人工智能查询生成器会自动完成这项工作。例如,您可以说:"给我看 100 张图片,其中正好有一个人和两条狗。也可以有其他对象",然后它就会在内部生成查询并向您显示这些结果。下面是一个输出示例,当要求 "显示 10 张图片,其中正好有 5 个人 "时,你会看到这样的结果:

资源管理器仪表板截图 4

注:这是在引擎盖下使用 LLM 工作,因此结果是概率性的,有时可能会出错。

在简历数据集上运行 SQL 查询

您可以在数据集上运行 SQL 查询来过滤数据集。如果您只提供 WHERE 子句,它也同样有效。示例 SQL 查询将只显示至少有一人一狗的图片:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

资源管理器仪表板屏幕截图 5

这是使用 Explorer API 构建的演示版。您可以使用 API 构建自己的探索性笔记本或脚本,以便深入了解您的数据集。点击此处了解有关 Explorer API 的更多信息。



创建于 2024-01-08,更新于 2024-03-03
作者:glenn-jocher(5)、RizwanMunawar(3)、AyushExel(1)

评论