VOC 勘探实例¶

欢迎访问Ultralytics Explorer API 笔记本！本笔记本是探索各种可用资源的起点，可帮助您开始使用Ultralytics 利用语义搜索功能探索数据集。您可以使用开箱即用的实用程序，利用矢量搜索甚至 SQL 查询来检查特定类型的标签。

我们希望本手册中的资源能帮助您充分利用Ultralytics 。请浏览资源管理器文档了解详情，在GitHub上提出问题以获得支持，并加入我们的Discord社区以提出问题和进行讨论！

尝试 yolo explorer 由 Exlorer API 提供

简单 pip install ultralytics 并运行 yolo explorer 在终端中运行自定义查询，并在浏览器中直接对数据集进行语义搜索！

设置

Pip 安装 ultralytics 和依赖并检查软件和硬件。

在 [ ] 中：

已复制！

%pip install ultralytics[explorer] openai
import ultralytics

ultralytics.checks()
%pip install ultralytics[explorer] openai
import ultralytics

ultralytics.checks()

在 [ ] 中：

已复制！

从 ultralytics 导入 资源管理器
fromultralytics import Explorer

相似性搜索¶

利用向量相似性搜索的强大功能，查找数据集中的相似数据点以及它们在嵌入空间中的距离。只需为给定的数据集-模型对创建一个嵌入表。它只需要一次，而且会自动重复使用。

在 [ ] 中：

已复制！

exp = 探索者("VOC.yaml", 模型="yolov8n.pt")
exp.create_embeddings_table()
exp = Explorer("VOC.yaml", model="yolov8n.pt")
exp.create_embeddings_table()

嵌入表建立后，您可以通过以下任何一种方式运行语义搜索：

对数据集中的给定索引/索引列表，如 exp.get_similar(idx=[1,10], limit=10)
在不在数据集中的任何图像/图像列表上 exp.get_similar(img=["path/to/img1", "path/to/img2"], limit=10) 如果有多个输入，则使用其嵌入的集合。

你会得到一个带有 limit 与输入数据最相似的数据点数量，以及它们在嵌入空间中的距离。您可以使用该数据集进行进一步筛选截图 2024-01-06 at 9 45 42 PM

在 [ ] 中：

已复制！

类似 = exp.get_similar(idx=1, 极限=10)
类似.头()
similar = exp.get_similar(idx=1, limit=10)
similar.head()

您还可以直接使用 plot_similar 利用

该图片未提供说明

在 [ ] 中：

已复制！

exp.plot_similar(idx=6500, limit=20)
# exp.plot_similar(idx=[100,101], limit=10) # Can also pass list of idxs or imgs
exp.plot_similar(idx=6500, limit=20)
# exp.plot_similar(idx=[100,101], limit=10) # Can also pass list of idxs or imgs

在 [ ] 中：

已复制！

exp.plot_similar(
    img="https://ultralytics.com/images/bus.jpg", limit=10, labels=False
)  # Can also pass any external images
exp.plot_similar(
    img="https://ultralytics.com/images/bus.jpg", limit=10, labels=False
)  # Can also pass any external images

该图片未提供说明

2.Ask AI：使用自然语言进行搜索或筛选* 3.

您可以向资源管理器对象提示想要查看的数据点类型，它就会尝试返回包含这些数据点的数据帧。由于它是由 LLM 驱动的，因此并不总是正确的。在这种情况下，它会返回 "无"。

截图 2024-01-07 at 2 34 53 PM

在 [ ] 中：

已复制！

df = exp.ask_ai("向我展示包含 10 个以上物体且至少有 2 个人的图像" ))
df.头(5)
df = exp.ask_ai("show me images containing more than 10 objects with at least 2 persons")
df.head(5)

您可以使用 plot_query_result 利用例子

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)

该图片未提供说明

在 [ ] 中：

已复制！

# plot
from PIL import Image

from ultralytics.data.explorer import plot_query_result

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)
# plot
from PIL import Image

from ultralytics.data.explorer import plot_query_result

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)

3.在数据集上运行 SQL 查询

有时，您可能想调查数据集中的某类条目。为此，资源管理器允许您执行 SQL 查询。它接受以下任一种格式：

以 "WHERE "开头的查询会自动选择所有列。这可以看作是一个简便查询
您还可以编写完整的查询，指定要选择的列

这可用于研究模型性能和特定数据点。例如

假设您的模型在有人类和狗的图像上挣扎。您可以编写这样的查询，选择至少有两个人和至少有一只狗的点。

您可以结合 SQL 查询和语义搜索，筛选出特定类型的结果截图 2024-01-06 at 9 47 30 PM

在 [ ] 中：

已复制！

表 = exp.sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE ' %d%dog%' LIMIT 10")
表
table = exp.sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LIMIT 10")
表

与相似性搜索一样，您也可以使用 exp.plot_sql_query 该图片未提供说明

在 [ ] 中：

已复制！

exp.plot_sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE ' %d%dog%' LIMIT 10" 。, 标签=真)
exp.plot_sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LIMIT 10", labels=True)

3.使用嵌入表（高级）∥

资源管理器可在兰斯数据库表。您可以使用 Explorer.table 对象，并运行原始查询、下推前置和后置过滤器等。

在 [ ] 中：

已复制！

表 = exp.表格
表.模式
表 = exp.table
table.schema

运行原始查询¶

矢量搜索可以从数据库中找到最近的矢量。在推荐系统或搜索引擎中，你可以从搜索的产品中找到类似的产品。在 LLM 和其他人工智能应用中，每个数据点都可以通过一些模型生成的嵌入来呈现，它会返回最相关的特征。

在高维向量空间中进行搜索，就是要找到查询向量的 K-Nearest-Neighbors (KNN)。

度量在 LanceDB 中，度量是描述一对向量之间距离的方法。目前，它支持以下度量：

L2
余弦
点资源管理器的相似性搜索默认使用 L2。你可以直接在表上运行查询，也可以使用 Lance 格式构建自定义工具来管理数据集。有关可用 LanceDB 表操作的更多详情，请参阅文档

在 [ ] 中：

已复制！

虚拟图片嵌入 = [i 为 i 在 范围(256)]
表.搜索(dummy_img_embedding).限制(5).到_pandas()
dummy_img_embedding = [i for i in range(256)] 表。
table.search(dummy_img_embedding).limit(5).to_pandas()

与流行数据格式的相互转换*

在 [ ] 中：

已复制！

df = 表格.to_pandas()
pa_table = 表.to_arrow()
df = table.to_pandas()
pa_table = table.to_arrow()

嵌入式工作¶

您可以从 lancedb 表中访问原始嵌入并对其进行分析。图像嵌入存储在列 vector

在 [ ] 中：

已复制！

导入 numpy 作为 np

嵌入 = 表.to_pandas()["向量"].tolist()
嵌入 = np.数组(数组)
导入 numpy 为 np

embeddings = table.to_pandas()["vector"].tolist()
embeddings = np.array(embeddings)

散点图

分析嵌入的初步步骤之一是通过降维在二维空间中绘制嵌入图。让我们举例说明

在 [ ] 中：

已复制！

!pip 安装 scikit-学习 --q
pip install scikit-learn --q

在 [ ] 中：

已复制！





%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from sklearn.decomposition import PCA

# Reduce dimensions using PCA to 3 components for visualization in 3D
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Create a 3D scatter plot using Matplotlib's Axes3D
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection="3d")

# Scatter plot
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title("3D Scatter Plot of Reduced 256-Dimensional Data (PCA)")
ax.set_xlabel("Component 1")
ax.set_ylabel("Component 2")
ax.set_zlabel("Component 3")

plt.show()
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from sklearn.decomposition import PCA

# Reduce dimensions using PCA to 3 components for visualization in 3D
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Create a 3D scatter plot using Matplotlib's Axes3D
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection="3d")

# Scatter plot
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title("3D Scatter Plot of Reduced 256-Dimensional Data (PCA)")
ax.set_xlabel("Component 1")
ax.set_ylabel("Component 2")
ax.set_zlabel("Component 3")

plt.show()

4.相似指数

下面是一个利用嵌入表进行操作的简单示例。资源管理器带有一个 similarity_index 运行

它试图估算出每个数据点与数据集其他数据点的相似程度。
其方法是计算有多少图像嵌入比 max_dist 到生成的嵌入空间中的当前图像，考虑到 top_k 类似的图像。

对于给定的数据集、模型、 max_dist & top_k 生成的相似性索引将被重复使用。如果您的数据集已经更改，或者您只是需要重新生成相似性索引，您可以通过 force=True. 与矢量和 SQL 搜索类似，它也附带了直接绘制搜索结果的工具。让我们先看看绘图截图 2024-01-06 at 9 49 36 PM

在 [ ] 中：

已复制！

exp.plot_similarity_index(max_dist=0.2, top_k=0.01)
exp.plot_similarity_index(max_dist=0.2, top_k=0.01)

现在让我们看看操作的输出结果

在 [ ] 中：

已复制！

导入 numpy 作为 np

sim_idx = exp.similarity_index(max_dist=0.2, top_k=0.01, 力=假)
导入 numpy 为 np

sim_idx = exp.similarity_index(max_dist=0.2, top_k=0.01, force=False)

在 [ ] 中：

已复制！

sim_idx
sim_idx

让我们创建一个查询，看看哪些数据点的相似度超过 30，并绘制与之相似的图像。

在 [ ] 中：

已复制！

import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx["im_file"][sim_count > 30]
import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx["im_file"][sim_count > 30]

你应该看到这样的内容该图片未提供说明

在 [ ] 中：

已复制！

exp.plot_similar(idx=[7146, 14035])  # Using avg embeddings of 2 images
exp.plot_similar(idx=[7146, 14035])  # Using avg embeddings of 2 images

📅 Created 8 months ago ✏️ Updated 13 days ago