跳至内容

资源管理器图形用户界面

Explorer GUI 就像一个使用Ultralytics Explorer API 构建的游乐场。它允许您运行语义/矢量相似性搜索、SQL 查询,甚至使用由 LLMs 支持的 ask AI 功能使用自然语言进行搜索。

资源管理器仪表板截图 1



观看: Ultralytics 资源管理器仪表板概述

安装

pip install ultralytics[explorer]

备注

Ask AI 功能使用 OpenAI 工作,因此当你第一次运行图形用户界面时,系统会提示你设置 OpenAI 的 api 密钥。 你可以这样设置 yolo settings openai_api_key="..."

语义搜索是一种查找与给定图像相似的图像的技术。它基于相似图像会有相似嵌入的理念。在用户界面中,您可以选择一幅或多幅图像,然后搜索与之相似的图像。当你想找到与给定图片相似的图片或一组表现不尽如人意的图片时,这将非常有用。

例如 在这个 VOC 探索仪表板中,用户选择了几张飞机图片,就像这样:

资源管理器仪表板截图 2

在进行相似性搜索时,您应该会看到类似的结果:

资源管理器仪表板截图 3

询问人工智能

这样,您就可以使用自然语言编写过滤数据集的方法。您不必精通编写 SQL 查询。我们的人工智能查询生成器会自动完成这项工作。例如,您可以说:"给我看 100 张图片,其中正好有一个人和两条狗。也可以有其他对象",然后它就会在内部生成查询并向您显示这些结果。下面是一个输出示例,当要求 "显示 10 张图片,其中正好有 5 个人 "时,你会看到这样的结果:

资源管理器仪表板截图 4

注:这是在引擎盖下使用 LLM 工作,因此结果是概率性的,有时可能会出错。

在简历数据集上运行 SQL 查询

您可以在数据集上运行 SQL 查询来过滤数据集。如果您只提供 WHERE 子句,它也同样有效。示例 SQL 查询将只显示至少有一人一狗的图片:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

资源管理器仪表板屏幕截图 5

这是使用 Explorer API 构建的演示版。您可以使用 API 构建自己的探索性笔记本或脚本,以便深入了解您的数据集。点击此处了解有关 Explorer API 的更多信息。

常见问题

Ultralytics Explorer GUI 是什么,如何安装?

Ultralytics Explorer GUI 是一个功能强大的界面,可使用Ultralytics Explorer API 释放高级数据探索功能。它允许您使用由大型语言模型 (LLM) 支持的 Ask AI 功能运行语义/矢量相似性搜索、SQL 查询和自然语言查询。

要安装资源管理器图形用户界面,可以使用 pip:

pip install ultralytics[explorer]

注意:要使用 Ask AI 功能,需要设置 OpenAI API 密钥: yolo settings openai_api_key="...".

Ultralytics Explorer GUI 中的语义搜索功能是如何工作的?

Ultralytics Explorer GUI 中的语义搜索功能可让您根据给定图像的嵌入找到与其相似的图像。这种技术对于识别和探索具有视觉相似性的图像非常有用。要使用此功能,请在用户界面中选择一个或多个图像,然后执行搜索相似图像。搜索结果将显示与所选图像非常相似的图像,从而提高数据集探索和异常检测的效率。

访问功能概述部分,了解有关语义搜索和其他功能的更多信息。

能否在Ultralytics Explorer GUI 中使用自然语言过滤数据集?

是的,有了由大型语言模型 (LLM) 支持的 Ask AI 功能,您就可以使用自然语言查询过滤数据集。您不需要精通 SQL。例如,您可以询问 "给我看 100 张图片,其中正好有一个人和两只狗。也可以有其他对象",人工智能就会在引擎盖下生成适当的查询,从而提供所需的结果。

在此查看自然语言查询示例。

如何使用Ultralytics Explorer GUI 在数据集上运行 SQL 查询?

Ultralytics 资源管理器图形用户界面允许您直接在数据集上运行 SQL 查询,以便有效地过滤和管理数据。要运行查询,请导航到图形用户界面的 SQL 查询部分并编写查询。例如,要显示至少有一个人和一只狗的图片,可以使用

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

您也可以只提供 WHERE 子句,使查询过程更加灵活。

有关详细信息,请参阅SQL 查询部分

使用Ultralytics Explorer 图形用户界面探索数据有什么好处?

Ultralytics 资源管理器图形用户界面通过语义搜索、SQL 查询和 Ask AI 自然语言交互等功能增强了数据探索能力。这些功能可让用户 - 有效查找视觉上相似的图像。 - 使用复杂的 SQL 查询过滤数据集。 - 利用人工智能执行自然语言搜索,无需高级 SQL 专业知识。

这些功能使其成为开发人员、研究人员和数据科学家深入了解数据集的多功能工具。

有关这些功能的更多信息,请参阅资源管理器图形用户界面文档



创建于 2024-01-08,更新于 2024-07-04
作者:glenn-jocher(7)、RizwanMunawar(3)、AyushExel(1)

评论