Ultralytics YOLO27:
Get Started

Explorer GUI#

社区提示 ⚠️

自 ultralytics>=8.3.12 起,Ultralytics Explorer 已被移除。要使用 Explorer,请安装 pip install ultralytics==8.3.11。你可以在 Ultralytics Platform 使用类似(且功能更丰富)的数据集探索功能。

Explorer GUI 基于 Ultralytics Explorer API 构建。它支持你运行语义/向量相似度搜索和 SQL 查询,还能通过由 LLM 驱动的 Ask AI 功能执行自然语言查询。

Ultralytics Explorer GUI main dashboard interface



观看: Ultralytics Explorer 仪表板概览

安装#

pip install "ultralytics[explorer]==8.3.11"
注意

Ask AI 功能使用 OpenAI,因此你首次运行 GUI 时,系统会提示你设置 OpenAI API 密钥。 使用 yolo settings openai_api_key="..." 进行设置。

语义搜索是一种根据给定图像查找相似图像的技术。它基于这样一个理念:相似的图像会有相似的嵌入。在 UI 中,你可以选择一张或多张图像,然后搜索与这些图像相似的图像。当你想查找与某张图像或一组表现不如预期的图像相似的图像时,这项功能会很有用。

例如,在这个 VOC 探索仪表板中,用户选择了几张飞机图像:

Explorer selecting airplane images for similarity search

运行相似度搜索后,你应该会看到相似的结果:

Ultralytics Explorer semantic similarity search

Ask AI#

这项功能让你无需编写 SQL,就能使用自然语言筛选数据集。AI 驱动的查询生成器会将你的提示转换为查询,并返回匹配的结果。例如,你可以这样提问:“给我显示 100 张恰好有一个人和 2 只狗的图像。也可以有其他物体”,它就会生成查询并显示相应结果。以下是提问“显示 10 张恰好有 5 个人的图像”时的输出示例:

Explorer Ask AI results for images with 5 persons

注意:此功能使用大型语言模型,因此结果具有概率性,可能不准确。

在你的 CV 数据集上运行 SQL 查询#

你可以在数据集上运行 SQL 查询来筛选数据。也可以只提供 WHERE 子句。例如,以下 WHERE 子句会返回至少包含一个人和一只狗的图像:

WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

Explorer SQL query filtering images with person and dog

这个演示使用 Explorer API 构建,你可以用它创建自己的探索笔记本或脚本,从数据集中获取洞见。要开始使用,请查看 Explorer API 文档。

常见问题#

  • Ultralytics Explorer GUI 是一个功能强大的界面,通过 Ultralytics Explorer API 解锁高级数据探索能力。它支持你运行语义/向量相似度搜索和 SQL 查询,还能通过由大型语言模型 (LLMs) 驱动的 Ask AI 功能执行自然语言查询。

    你可以使用 pip 安装 Explorer GUI:

    pip install "ultralytics[explorer]==8.3.11"

    注意:要使用 Ask AI 功能,你需要设置 OpenAI API 密钥:yolo settings openai_api_key="..."。

  • Ultralytics Explorer GUI 中的语义搜索功能可根据图像的嵌入,查找与给定图像相似的图像。这项技术有助于识别和探索视觉上相似的图像。要使用此功能,请在 UI 中选择一张或多张图像,然后执行相似图像搜索。结果会显示与所选图像高度相似的图像,帮助你高效探索数据集并进行异常检测。

    访问功能概览部分,进一步了解语义搜索和其他功能。

  • 可以。借助由大型语言模型 (LLMs) 驱动的 Ask AI 功能,你可以使用自然语言查询筛选数据集。你不需要精通 SQL。例如,你可以提问:“给我显示 100 张恰好有一个人和 2 只狗的图像。也可以有其他物体”,AI 就会在后台生成合适的查询并返回所需结果。

  • Ultralytics Explorer GUI 支持你直接在数据集上运行 SQL 查询,从而高效筛选和管理数据。要运行查询,请在 GUI 中打开 SQL 查询部分并编写查询。例如,要显示至少包含一个人和一只狗的图像,可以使用:

    WHERE labels LIKE '%person%' AND labels LIKE '%dog%'

    你也可以只提供 WHERE 子句,让查询过程更加灵活。

    更多详情请参阅 SQL 查询部分。

  • Ultralytics Explorer GUI 通过语义搜索、SQL 查询和 Ask AI 自然语言交互等功能,增强了数据探索能力。这些功能让用户能够:

    • 高效查找视觉上相似的图像。
    • 使用复杂的 SQL 查询筛选数据集。
    • 利用 AI 执行自然语言搜索,无需具备高级 SQL 专业知识。

    对于希望深入了解数据集的开发者、研究人员和数据科学家来说,这些功能让它成为一款用途广泛的工具。

    在 Explorer GUI 文档中进一步了解这些功能。

评论