Meet YOLO26: next-gen vision AI.

Link to this sectionExplorer GUI#

社区提示 ⚠️

ultralytics>=8.3.12 起,Ultralytics Explorer 已被移除。若要使用 Explorer,请安装 pip install ultralytics==8.3.11。类似的(以及扩展后的)数据集探索功能可在 Ultralytics Platform 中找到。

Explorer GUI 是基于 Ultralytics Explorer API 构建的。它允许你运行语义/向量相似度搜索、SQL 查询,并使用由 LLMs 驱动的 Ask AI 功能进行自然语言查询。

Ultralytics Explorer GUI main dashboard interface



Watch: Ultralytics Explorer Dashboard Overview

Link to this section安装#

pip install ultralytics[explorer]
注意

Ask AI 功能使用 OpenAI,因此当你首次运行 GUI 时,系统会提示你设置 OpenAI API 密钥。 请使用 yolo settings openai_api_key="..." 进行设置。

Link to this section向量语义相似度搜索#

语义搜索 是一种用于查找与给定图像相似的图像的技术。它基于相似图像具有相似 嵌入 (embeddings) 的理念。在 UI 中,你可以选择一张或多张图像,并搜索与它们相似的图像。当你想要查找与给定图像或一组表现不如预期的图像相似的图像时,这非常有用。

例如,在此 VOC Exploration 仪表板中,用户选择了几个飞机图像:

Explorer selecting airplane images for similarity search

运行相似度搜索后,你应该能看到类似的结果:

Ultralytics Explorer semantic similarity search

Link to this sectionAsk AI#

此功能让你能够使用自然语言过滤数据集,而无需编写 SQL。AI 驱动的查询生成器会将你的提示转换为查询并返回匹配结果。例如,你可以问:“显示 100 张恰好包含 1 个人和 2 条狗的图像。也可以有其他物体”,它将生成查询并向你展示这些结果。以下是询问“显示 10 张恰好包含 5 个人的图像”时的示例输出:

Explorer Ask AI results for images with 5 persons

注意:此功能使用 大语言模型 (Large Language Models),因此结果具有概率性,可能不准确。

Link to this section在你的 CV 数据集上运行 SQL 查询#

你可以在数据集上运行 SQL 查询来对其进行过滤。即使你只提供 WHERE 子句,它也能正常工作。例如,以下 WHERE 子句返回包含至少一个人和一条狗的图像:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

此演示是使用 Explorer API 构建的,你可以使用它来创建自己的探索性 Notebook 或脚本,以深入了解你的数据集。要开始使用,请查看 Explorer API 文档

Link to this section常见问题 (FAQ)#

Link to this section什么是 Ultralytics Explorer GUI 以及如何安装它?#

Ultralytics Explorer GUI 是一个功能强大的界面,利用 Ultralytics Explorer API 解锁了高级数据探索功能。它允许你运行语义/向量相似度搜索、SQL 查询,并使用由 大语言模型 (LLMs) 驱动的 Ask AI 功能进行自然语言查询。

要安装 Explorer GUI,你可以使用 pip:

pip install ultralytics[explorer]

注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥:yolo settings openai_api_key="..."

Link to this sectionUltralytics Explorer GUI 中的语义搜索功能是如何工作的?#

Ultralytics Explorer GUI 中的语义搜索功能允许你根据嵌入向量查找与给定图像相似的图像。这种技术对于识别和探索具有视觉相似性的图像非常有用。要使用此功能,请在 UI 中选择一张或多张图像并执行搜索以查找相似图像。结果将显示与所选图像非常相似的图像,从而促进高效的数据集探索和 异常检测

通过访问 功能概览 部分,了解更多关于语义搜索和其他功能的信息。

Link to this section我可以使用自然语言在 Ultralytics Explorer GUI 中过滤数据集吗?#

是的,借助由大语言模型 (LLMs) 驱动的 Ask AI 功能,你可以使用自然语言查询来过滤数据集。你不需要精通 SQL。例如,你可以问:“显示 100 张恰好包含 1 个人和 2 条狗的图像。也可以有其他物体”,AI 将在后台生成相应的查询以提供所需结果。

Link to this section如何在 Ultralytics Explorer GUI 中对数据集运行 SQL 查询?#

Ultralytics Explorer GUI 允许你直接在数据集上运行 SQL 查询,以高效地过滤和管理数据。要运行查询,请导航到 GUI 中的 SQL 查询部分并编写你的查询。例如,要显示至少包含一个人和一条狗的图像,你可以使用:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

你也可以仅提供 WHERE 子句,从而使查询过程更加灵活。

更多详细信息,请参阅 SQL 查询部分

Link to this section使用 Ultralytics Explorer GUI 进行数据探索有哪些好处?#

Ultralytics Explorer GUI 通过语义搜索、SQL 查询和通过 Ask AI 功能进行的自然语言交互等功能增强了数据探索能力。这些功能允许用户:

  • 高效地查找视觉相似的图像。
  • 使用复杂的 SQL 查询过滤数据集。
  • 利用 AI 执行自然语言搜索,无需具备深厚的 SQL 专业知识。

这些功能使它成为开发人员、研究人员和数据科学家深入了解数据集的通用工具。

Explorer GUI 文档 中探索关于这些功能的更多信息。

评论