跳转至内容

Explorer GUI

社区提示 ⚠️

截至 ultralytics>=8.3.10,Ultralytics explorer 支持已弃用。但是不用担心!您现在可以通过以下方式访问类似甚至增强的功能 Ultralytics HUB,我们直观的无代码平台旨在简化您的工作流程。借助 Ultralytics HUB,您可以继续轻松地探索、可视化和管理您的数据,而无需编写任何代码。请务必查看并利用其强大的功能!🚀

Explorer GUI 就像一个使用 Ultralytics Explorer API 构建的游乐场。它允许您运行语义/向量相似性搜索、SQL 查询,甚至可以使用由 LLM 提供支持的 AI 提问功能,通过自然语言进行搜索。

Explorer 仪表盘截图 1



观看: Ultralytics Explorer 仪表板概述

安装

pip install ultralytics[explorer]

注意

“Ask AI”功能使用 OpenAI,因此首次运行 GUI 时,系统会提示您设置 OpenAI 的 API 密钥。 您可以这样设置: yolo settings openai_api_key="..."

语义搜索 是一种查找与给定图像相似的图像的技术。它基于相似的图像将具有相似的 嵌入 的思想。在 UI 中,您可以选择一个或多个图像并搜索与其相似的图像。当您想要查找与给定图像或一组未按预期执行的图像相似的图像时,这非常有用。

例如: 在这个VOC Exploration仪表板中,用户选择了几个像这样的飞机图像:

Explorer 仪表盘截图 2

执行相似性搜索时,您应该会看到类似的结果:

Explorer 仪表盘截图 3

询问 AI

这允许您使用自然语言编写如何过滤数据集。您无需精通编写SQL查询。我们的AI驱动的查询生成器将在后台自动执行此操作。例如,您可以说-“向我展示100张只有一个人和2条狗的图像。也可以有其他物体”,它将在内部生成查询并向您显示这些结果。这是一个示例输出,当要求“显示10张恰好有5个人的图像”时,您将看到这样的结果:

Explorer 仪表盘截图 4

注意:这在底层使用大型语言模型,因此结果是概率性的,有时可能会出错

在您的 CV 数据集上运行 SQL 查询

您可以在数据集上运行 SQL 查询来对其进行过滤。 如果您只提供 WHERE 子句,它也有效。 示例 SQL 查询将仅显示至少有 1 个人和 1 只狗的图像:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer 仪表盘截图 5

此演示是使用 Explorer API 构建的,您可以使用它来创建自己的探索性笔记本或脚本,以深入了解您的数据集。要开始使用,请查看Explorer API 文档

常见问题

什么是 Ultralytics Explorer GUI?如何安装它?

Ultralytics Explorer GUI 是一个强大的界面,可以使用 Ultralytics Explorer API 释放高级数据探索功能。它允许您使用由大型语言模型 (LLM) 提供支持的 Ask AI 功能运行语义/向量相似性搜索、SQL 查询和自然语言查询。

要安装 Explorer GUI,您可以使用 pip:

pip install ultralytics[explorer]

注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥: yolo settings openai_api_key="...".

Ultralytics Explorer GUI 中的语义搜索功能是如何工作的?

Ultralytics Explorer GUI 中的语义搜索功能允许您根据图像的嵌入查找与给定图像相似的图像。此技术对于识别和探索共享视觉相似性的图像非常有用。要使用此功能,请在 UI 中选择一个或多个图像,然后执行搜索以查找相似的图像。结果将显示与所选图像非常相似的图像,从而有助于高效的数据集探索和异常检测

访问功能概述部分,了解更多关于语义搜索和其他功能的信息。

我可以使用自然语言在Ultralytics Explorer GUI中过滤数据集吗?

是的,借助由大型语言模型 (LLM) 提供支持的 Ask AI 功能,您可以使用自然语言查询来过滤数据集。您无需精通 SQL。例如,您可以提问“显示 100 张恰好有一个人和 2 条狗的图像。也可以有其他对象”,AI 将在后台生成适当的查询以提供所需的结果。

如何使用 Ultralytics Explorer GUI 在数据集上运行 SQL 查询?

Ultralytics Explorer GUI 允许您直接在数据集上运行 SQL 查询,以高效地过滤和管理数据。要运行查询,请导航到 GUI 中的 SQL 查询部分并编写您的查询。例如,要显示至少有一个人和一条狗的图像,您可以使用:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

您也可以只提供 WHERE 子句,从而使查询过程更加灵活。

有关更多详细信息,请参阅SQL 查询部分

使用 Ultralytics Explorer GUI 进行数据探索有哪些好处?

Ultralytics Explorer GUI 通过语义搜索、SQL 查询以及通过 Ask AI 功能进行自然语言交互等功能增强了数据探索。这些功能允许用户:

  • 高效查找视觉上相似的图像。
  • 使用复杂的 SQL 查询来过滤数据集。
  • 利用 AI 执行自然语言搜索,无需高级 SQL 专业知识。

这些功能使其成为开发人员、研究人员和数据科学家深入了解其数据集的多功能工具。

Explorer GUI 文档中,了解更多关于这些功能的信息。



📅 创建于 1 年前 ✏️ 更新于 4 个月前

评论