VOC 탐색 예시¶

Ultralytics Explorer API 노트북에 오신 것을 환영합니다! 이 노트북은 시맨틱 검색을 사용하여 데이터 세트를 탐색하는 데 도움이 되는 다양한 리소스( Ultralytics )를 탐색하는 시작점 역할을 합니다. 벡터 검색이나 SQL 쿼리를 사용해 특정 유형의 레이블을 조사할 수 있는 유틸리티를 바로 사용할 수 있습니다.

이 노트북의 리소스가 Ultralytics 을 최대한 활용하는 데 도움이 되기를 바랍니다. 자세한 내용은 탐색기 문서를 찾아보고, GitHub에 문제를 제기하여 지원을 요청하고, Discord 커뮤니티에 참여하여 질문과 토론을 나누세요!

시도 yolo explorer Exlorer API 기반

간단하게 pip install ultralytics 를 클릭하고 yolo explorer 를 터미널에 추가하여 브라우저 내에서 바로 데이터 세트에 대한 사용자 지정 쿼리와 시맨틱 검색을 실행하세요!

설정¶

Pip 설치 ultralytics 그리고 종속성 를 클릭하고 소프트웨어와 하드웨어를 확인하세요.

In [ ]:

복사 완료!

%pip install ultralytics[explorer] openai
import ultralytics

ultralytics.checks()
%pip install ultralytics[explorer] openai
import ultralytics

ultralytics.checks()

In [ ]:

복사 완료!

에서 ultralytics import 탐색기
ultralytics 에서 Explorer 가져오기

2. AI에게 질문: 자연어로 검색 또는 필터링하기¶ 2.

탐색기 객체에 보고 싶은 데이터 포인트의 종류를 입력하면 해당 데이터 포인트가 포함된 데이터 프레임을 반환하려고 시도합니다. LLM에 의해 구동되기 때문에 항상 올바르게 반환되는 것은 아닙니다. 이 경우 없음이 반환됩니다.

스크린샷 2024-01-07 at 2 34 53 PM

In [ ]:

복사 완료!

df = exp.ask_ai("2명 이상의 사람이 있는 10개 이상의 객체가 포함된 이미지 보여줘")
df.head(5)
df = exp.ask_ai("2명 이상의 인물이 있는 10개 이상의 객체가 포함된 이미지 표시")
df.head(5)

를 사용하여 이러한 결과를 플로팅할 수 있습니다. plot_query_result 활용 예시:

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)

이 이미지에 대한 설명이 제공되지 않았습니다.

In [ ]:

복사 완료!

# plot
from PIL import Image

from ultralytics.data.explorer import plot_query_result

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)
# plot
from PIL import Image

from ultralytics.data.explorer import plot_query_result

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)

3. 데이터집합에서 SQL 쿼리 실행하기!

데이터 집합에서 특정 유형의 항목을 조사하고 싶을 때가 있습니다. 이 탐색기를 사용하면 SQL 쿼리를 실행할 수 있습니다. 두 가지 형식 중 하나를 허용합니다:

"WHERE"로 시작하는 쿼리는 모든 열을 자동으로 선택합니다. 이것은 다음과 같은 간단한 쿼리로 생각할 수 있습니다.
선택할 열을 지정할 수 있는 전체 쿼리를 작성할 수도 있습니다.

이는 모델 성능 및 특정 데이터 포인트를 조사하는 데 사용할 수 있습니다. 예를 들어

모델이 사람과 개가 있는 이미지에서 어려움을 겪고 있다고 가정해 보겠습니다. 다음과 같은 쿼리를 작성하여 사람 2개 이상과 개가 한 마리 이상 있는 포인트를 선택할 수 있습니다.

SQL 쿼리와 시맨틱 검색을 결합하여 특정 유형의 결과로 필터링할 수 있습니다. 스크린샷 2024-01-06 오후 9시 47분 30초

In [ ]:

복사 완료!

테이블 = exp.sql_query("WHERE 레이블이 '%person, person%' AND 레이블이 '%dog%' LIMIT 10")
table
table = exp.sql_query("WHERE 레이블이 '%person, person%' AND 레이블이 '%dog%' LIMIT 10")
table

유사도 검색과 마찬가지로 다음을 사용하여 SQL 쿼리를 직접 플로팅할 수 있는 유틸리티도 제공됩니다. exp.plot_sql_query 이 이미지에 대한 설명이 제공되지 않았습니다.

In [ ]:

복사 완료!

exp.plot_sql_query("WHERE 레이블이 '%person, person%' AND 레이블이 '%dog%' LIMIT 10", labels=True)
exp.plot_sql_query("WHERE 레이블이 '%person, person%' AND 레이블이 '%dog%' LIMIT 10", labels=True)

3. 임베딩 테이블 작업(고급)¶ 3.

탐색기는 다음에서 작동합니다. LanceDB 테이블을 내부적으로 사용합니다. 다음을 사용하여 이 테이블에 직접 액세스할 수 있습니다. Explorer.table 객체를 만들고 원시 쿼리를 실행하고, 사전 및 사후 필터를 푸시 다운하는 등의 작업을 수행합니다.

In [ ]:

복사 완료!

테이블 = exp.table
table.스키마
table = exp.table
table.schema

원시 쿼리 실행¶

벡터 검색은 데이터베이스에서 가장 가까운 벡터를 찾습니다. 추천 시스템이나 검색 엔진에서는 검색한 상품과 유사한 상품을 찾을 수 있습니다. LLM 및 기타 AI 애플리케이션에서 각 데이터 포인트는 일부 모델에서 생성된 임베딩으로 표시될 수 있으며, 가장 관련성이 높은 기능을 반환합니다.

고차원 벡터 공간에서의 검색은 쿼리 벡터의 최접근 이웃(KNN)을 찾는 것입니다.

Metric LanceDB에서 메트릭은 한 쌍의 벡터 사이의 거리를 설명하는 방식입니다. 현재 다음과 같은 메트릭을 지원합니다:

L2
코사인
Dot Explorer의 유사도 검색은 기본적으로 L2를 사용합니다. 테이블에서 직접 쿼리를 실행하거나 Lance 형식을 사용하여 사용자 지정 유틸리티를 구축하여 데이터 집합을 관리할 수 있습니다. 사용 가능한 LanceDB 테이블 작업에 대한 자세한 내용은 문서에서 확인하세요.

In [ ]:

복사 완료!

더미_이미지_임베딩 = [i for i 에 범위(256)]
table.search(Dummy_IMG_임베딩).limit(5).to_pandas()
dummy_img_embedding = [범위(256) 내 i for i]
table.search(dummy_img_embedding).limit(5).to_pandas()

임베딩으로 작업하기¶

lancedb 테이블에서 원시 임베딩에 액세스하여 분석할 수 있습니다. 이미지 임베딩은 열에 저장됩니다. vector

In [ ]:

복사 완료!

import numpy as np

임베딩 = table.to_pandas()["벡터"].tolist()
임베딩 = np.array(embedding)
NUMPY를 NP로 가져옵니다.

embeddings = table.to_pandas()["vector"].tolist()
embeddings = np.array(embeddings)

스캐터플롯¶

임베딩을 분석하는 예비 단계 중 하나는 차원 축소를 통해 2D 공간에 임베딩을 플로팅하는 것입니다. 예를 들어 보겠습니다.

In [ ]:

복사 완료!

!pip 설치 scikit-learn --q
!pip 설치 scikit-learn --q

In [ ]:

복사 완료!





%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from sklearn.decomposition import PCA

# Reduce dimensions using PCA to 3 components for visualization in 3D
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Create a 3D scatter plot using Matplotlib's Axes3D
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection="3d")

# Scatter plot
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title("3D Scatter Plot of Reduced 256-Dimensional Data (PCA)")
ax.set_xlabel("Component 1")
ax.set_ylabel("Component 2")
ax.set_zlabel("Component 3")

plt.show()
%matplotlib inline
import matplotlib.pyplot as plt
import numpy as np
from sklearn.decomposition import PCA

# Reduce dimensions using PCA to 3 components for visualization in 3D
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Create a 3D scatter plot using Matplotlib's Axes3D
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection="3d")

# Scatter plot
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title("3D Scatter Plot of Reduced 256-Dimensional Data (PCA)")
ax.set_xlabel("Component 1")
ax.set_ylabel("Component 2")
ax.set_zlabel("Component 3")

plt.show()

4. 유사성 지수¶ 4.

다음은 임베딩 테이블로 구동되는 간단한 작업의 예입니다. Explorer에는 similarity_index 작동-

각 데이터 포인트가 나머지 데이터 세트와 얼마나 유사한지 추정합니다.
얼마나 많은 이미지 임베딩이 다음보다 가까운 곳에 있는지 계산하여 이를 수행합니다. max_dist 를 생성된 임베딩 공간의 현재 이미지에 추가합니다. top_k 비슷한 이미지를 한 번에 볼 수 있습니다.

주어진 데이터 집합에 대해 모델링합니다, max_dist & top_k 로 설정하면 한 번 생성된 유사도 인덱스가 재사용됩니다. 데이터 세트가 변경되었거나 단순히 유사도 인덱스를 다시 생성해야 하는 경우, 다음과 같이 전달할 수 있습니다. force=True. 벡터 및 SQL 검색과 마찬가지로 직접 플롯할 수 있는 유틸리티도 함께 제공됩니다. 먼저 플롯을 살펴보겠습니다. 스크린샷 2024-01-06 at 9 49 36 PM

In [ ]:

복사 완료!

exp.플롯_유사성_인덱스(max_dist=0.2, top_k=0.01)
exp.plot_similarity_index(max_dist=0.2, top_k=0.01)

이제 작업의 결과를 살펴보겠습니다.

In [ ]:

복사 완료!

import numpy as np

sim_idx = exp.유사성_인덱스(max_dist=0.2, top_k=0.01, force=False)
NUMPY를 NP로 가져옵니다.

sim_idx = exp.similarity_index(max_dist=0.2, top_k=0.01, force=False)

In [ ]:

복사 완료!

sim_idx
sim_idx

유사도 카운트가 30 이상인 데이터 포인트가 무엇인지 확인하고 이와 유사한 이미지를 표시하는 쿼리를 만들어 보겠습니다.

In [ ]:

복사 완료!

import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx["im_file"][sim_count > 30]
import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx["im_file"][sim_count > 30]

다음과 같은 내용이 표시되어야 합니다. 이 이미지에 대한 설명이 제공되지 않았습니다.

In [ ]:

복사 완료!

exp.plot_similar(idx=[7146, 14035])  # Using avg embeddings of 2 images
exp.plot_similar(idx=[7146, 14035])  # Using avg embeddings of 2 images

📅 Created 8 months ago ✏️ Updated 13 days ago

VOC 탐색 예시¶

설정¶

유사 검색¶

2. AI에게 질문: 자연어로 검색 또는 필터링하기¶ 2.

3. 데이터집합에서 SQL 쿼리 실행하기!

3. 임베딩 테이블 작업(고급)¶ 3.

원시 쿼리 실행¶

인기 있는 데이터 형식으로의 상호 변환¶

임베딩으로 작업하기¶

스캐터플롯¶

4. 유사성 지수¶ 4.