Ultralytics YOLO27:

Explorer GUI#

社区提示 ⚠️

截至 ultralytics>=8.3.12,Ultralytics Explorer 已被移除。要使用 Explorer,请安装 pip install ultralytics==8.3.11。类似(且功能更丰富)的数据集探索功能现已在 Ultralytics Platform 中提供。

Explorer GUI 构建于 Ultralytics Explorer API 之上。你可以使用它运行语义/向量相似度搜索、SQL 查询,以及通过 LLM 驱动的 Ask AI 功能执行自然语言查询。

Ultralytics Explorer GUI main dashboard interface



Watch: Ultralytics Explorer Dashboard Overview

安装#

pip install ultralytics[explorer]
注意

Ask AI 功能使用 OpenAI,因此你首次运行 GUI 时,系统会提示你设置 OpenAI API 密钥。 使用 yolo settings openai_api_key="..." 进行设置。

向量语义相似度搜索#

语义搜索 是一种用于查找与给定图像相似图像的技术。它基于这样一个理念:相似的图像会具有相似的嵌入。在界面中,你可以选择一个或多个图像,并搜索与它们相似的图像。当你想查找与某个图像或一组表现未达预期的图像相似的图像时,这项功能会很有用。

例如,在这个 VOC 探索仪表板中,用户选择了几张飞机图像:

Explorer selecting airplane images for similarity search

运行相似度搜索后,你应该会看到相似的结果:

Ultralytics Explorer semantic similarity search

询问 AI#

此功能让你无需编写 SQL,即可使用自然语言筛选数据集。AI 驱动的查询生成器会将你的提示转换为查询,并返回匹配的结果。例如,你可以询问:“显示 100 张恰好包含 1 个人和 2 只狗的图像。也可以包含其他对象”,它会生成查询并显示这些结果。以下是询问“显示 10 张恰好包含 5 个人的图像”时的示例输出:

Explorer Ask AI results for images with 5 persons

注意:此功能使用大型语言模型,因此结果具有概率性,可能不准确。

在你的 CV 数据集上运行 SQL 查询#

你可以在数据集上运行 SQL 查询来筛选数据集。即使只提供 WHERE 子句,也同样有效。例如,以下 WHERE 子句会返回至少包含 1 个人和 1 只狗的图像:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

此演示使用 Explorer API 构建,你可以利用它创建自己的探索型 notebook 或脚本,以深入了解数据集。要开始使用,请查看 Explorer API 文档

常见问题#

  • Ultralytics Explorer GUI 是一个功能强大的界面,通过 Ultralytics Explorer API 解锁高级数据探索功能。你可以使用它运行语义/向量相似度搜索、SQL 查询,以及通过大型语言模型 (LLMs) 驱动的 Ask AI 功能执行自然语言查询。

    要安装 Explorer GUI,你可以使用 pip:

    pip install ultralytics[explorer]

    注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥:yolo settings openai_api_key="..."

  • Ultralytics Explorer GUI 中的语义搜索功能基于图像的嵌入,帮助你查找与给定图像相似的图像。这项技术适用于识别和探索具有视觉相似性的图像。要使用此功能,请在界面中选择一个或多个图像,然后执行相似图像搜索。结果会显示与所选图像高度相似的图像,从而实现高效的数据集探索和异常检测

    访问功能概览部分,详细了解语义搜索和其他功能。

  • 可以,借助大型语言模型 (LLMs) 驱动的 Ask AI 功能,你可以使用自然语言查询筛选数据集。你不需要精通 SQL。例如,你可以询问“显示 100 张恰好包含 1 个人和 2 只狗的图像。也可以包含其他对象”,AI 会在后台生成适当的查询,以返回所需结果。

  • Ultralytics Explorer GUI 允许你直接在数据集上运行 SQL 查询,从而高效地筛选和管理数据。要运行查询,请在 GUI 中进入 SQL 查询部分并编写查询。例如,要显示至少包含 1 个人和 1 只狗的图像,你可以使用:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    你也可以只提供 WHERE 子句,使查询过程更加灵活。

    如需更多详细信息,请参阅 SQL 查询部分

  • Ultralytics Explorer GUI 通过语义搜索、SQL 查询以及 Ask AI 功能提供的自然语言交互等功能,增强了数据探索能力。这些功能让用户能够:

    • 高效查找视觉上相似的图像。
    • 使用复杂的 SQL 查询筛选数据集。
    • 利用 AI 执行自然语言搜索,无需具备高级 SQL 专业知识。

    这些功能使其成为开发者、研究人员和数据科学家深入了解数据集的多用途工具。

    Explorer GUI 文档 中进一步了解这些功能。

评论