VOC Keşif Örneği¶

Bu resim için herhangi bir açıklama yapılmamıştır

Ultralytics Explorer API not defterine hoş geldiniz! Bu not defteri, anlamsal aramanın gücünü kullanarak veri kümelerinizi keşfetmek için Ultralytics adresini kullanmaya başlamanıza yardımcı olacak çeşitli kaynakları keşfetmek için bir başlangıç noktası olarak hizmet vermektedir. Vektör araması ve hatta SQL sorguları kullanarak belirli etiket türlerini incelemenize olanak tanıyan kutudan çıkan yardımcı programları kullanabilirsiniz.

Bu not defterindeki kaynakların Ultralytics adresinden en iyi şekilde yararlanmanıza yardımcı olacağını umuyoruz. Lütfen ayrıntılar için Explorer Docs 'a göz atın, destek için GitHub 'da bir sorun oluşturun ve sorularınız ve tartışmalarınız için Discord topluluğumuza katılın!

Deneyin yolo explorer Exlorer API tarafından desteklenmektedir

Basitçe pip install ultralytics ve koş yolo explorer terminalinizde özel sorgular çalıştırmak ve veri kümelerinizde doğrudan tarayıcınızın içinde semantik arama yapmak için!

Setup¶

Pip kurulumu ultralytics ve bağımlılıklar ve yazılım ve donanımı kontrol edin.

İçinde [ ]:

Kopyalandı!

%pip yükleyin ultralytics[kaşif] openai
İthalat ultralytics
ultralytics.kontroller()
pip install ultralytics[explorer] openai
import ultralytics
ultralytics .checks()

İçinde [ ]:

Kopyalandı!

gelen ultralytics İthalat Kaşif
from ultralytics import Explorer

Benzerlik araması¶

Veri kümenizdeki benzer veri noktalarını gömme uzayındaki uzaklıklarıyla birlikte bulmak için vektör benzerlik aramasının gücünden yararlanın. Verilen veri kümesi-model çifti için bir gömme tablosu oluşturmanız yeterlidir. Yalnızca bir kez gereklidir ve otomatik olarak yeniden kullanılır.

İçinde [ ]:

Kopyalandı!

exp = Kaşif("VOC.yaml", model="yolov8n.pt")
exp.create_embeddings_table()
exp = Explorer("VOC.yaml", model="yolov8n.pt")
exp.create_embeddings_table()

Yerleştirmeler tablosu oluşturulduktan sonra, anlamsal aramayı aşağıdaki yollardan herhangi biriyle çalıştırabilirsiniz:

Veri kümesindeki belirli bir dizin / dizin listesi üzerinde - exp.get_similar(idx=[1,10], limit=10)
Veri kümesinde olmayan herhangi bir görüntü/görüntü listesi üzerinde - exp.get_similar(img=["path/to/img1", "path/to/img2"], limit=10) Birden fazla girdi olması durumunda, bunların gömülmelerinin toplamı kullanılır.

ile bir pandas veri çerçevesi elde edersiniz. limit Girişe en çok benzeyen veri noktalarının sayısı ve bunların gömme uzayındaki mesafeleri. Bu veri kümesini daha fazla filtreleme yapmak için kullanabilirsiniz Ekran Görüntüsü 2024-01-06 saat 9 45 42 PM

İçinde [ ]:

Kopyalandı!

benzer = exp.get_similar(idx=1, limit=10)
benzer.Kafa()
benzer = exp.get_similar(idx=1, limit=10)
similar.head()

Benzer örnekleri doğrudan çizmek için plot_similar kullanım

Bu resim için herhangi bir açıklama yapılmamıştır

İçinde [ ]:

Kopyalandı!

exp.plot_similar(idx=6500, limit=20)
#exp.plot_similar(idx=[100,101], limit=10) # idx'lerin veya imgelerin listesini de geçebilir
exp.plot_similar(idx=6500, limit=20)
#exp.plot_similar(idx=[100,101], limit=10) # idx'lerin veya imgelerin listesini de geçirebilir

İçinde [ ]:

Kopyalandı!

exp.plot_similar(img="https://ultralytics.com/images/bus.jpg", limit=10, etiketler=Yanlış) # Herhangi bir harici görüntüyü de geçirebilir
exp.plot_similar(img="https://ultralytics.com/images/bus.jpg", limit=10, labels=False) # Herhangi bir harici görüntüyü de geçirebilir

Bu resim için herhangi bir açıklama yapılmamıştır

2. Yapay Zekaya Sor: Doğal Dil ile ara veya filtrele¶

Explorer nesnesine görmek istediğiniz veri noktalarını sorabilirsiniz ve o da bunları içeren bir veri çerçevesi döndürmeye çalışacaktır. LLM'ler tarafından desteklendiğinden, her zaman doğru yapamaz. Bu durumda, None döndürür.

Ekran Görüntüsü 2024-01-07 saat 2 34 53 PM

İçinde [ ]:

Kopyalandı!

df = exp.ask_ai("bana en az 2 kişi ile 10'dan fazla nesne içeren resimler göster")
df.Kafa(5)
df = exp.ask_ai("bana en az 2 kişiyle birlikte 10'dan fazla nesne içeren görüntüleri göster")
df.head(5)

Bu sonuçları çizmek için plot_query_result kullanım Örnek:

plt = plot_query_result(exp.ask_ai("show me 10 images containing exactly 2 persons"))
Image.fromarray(plt)

Bu resim için herhangi bir açıklama yapılmamıştır

İçinde [ ]:

Kopyalandı!





# arsa
gelen ultralytics.data.explorer İthalat plot_query_result
gelen PIL İthalat Resim

plt = plot_query_result(exp.ask_ai("bana tam olarak 2 kişi içeren 10 resim göster"))
Resim.fromarray(plt)
# arsa
from ultralytics.data.explorer import plot_query_result
from PIL import Görüntü

plt = plot_query_result(exp.ask_ai("bana tam olarak 2 kişi içeren 10 resim göster"))
Image.fromarray(plt)

3. Veri Kümeniz üzerinde SQL sorguları çalıştırın!

Bazen veri kümenizdeki belirli bir tür girdiyi araştırmak isteyebilirsiniz. Bunun için Explorer SQL sorguları çalıştırmanıza izin verir. Biçimlerden herhangi birini kabul eder:

"WHERE" ile başlayan sorgular otomatik olarak tüm sütunları seçecektir. Bu, kısa el sorgusu olarak düşünülebilir
Hangi sütunların seçileceğini belirtebileceğiniz tam sorgular da yazabilirsiniz

Bu, model performansını ve belirli veri noktalarını araştırmak için kullanılabilir. Örneğin:

Diyelim ki modeliniz insan ve köpek içeren görüntüler üzerinde çalışıyor. En az 2 insan VE en az bir köpek olan noktaları seçmek için aşağıdaki gibi bir sorgu yazabilirsiniz.

Belirli sonuç türlerini filtrelemek için SQL sorgusu ve semantik aramayı birleştirebilirsiniz Ekran görüntüsü 2024-01-06 saat 9 47 30 PM

İçinde [ ]:

Kopyalandı!

masa = exp.sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LİMİT 10")
masa
table = exp.sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LIMIT 10")
masa

Benzerlik aramasında olduğu gibi, sql sorgularını doğrudan çizmek için de bir kullanım elde edersiniz exp.plot_sql_query Bu resim için herhangi bir açıklama yapılmamıştır

İçinde [ ]:

Kopyalandı!

exp.plot_sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LİMİT 10", etiketler=Doğru)
exp.plot_sql_query("WHERE labels LIKE '%person, person%' AND labels LIKE '%dog%' LIMIT 10", labels=True)

3. Yerleştirmelerle çalışma Tablo (Gelişmiş)¶

Explorer üzerinde çalışır LanceDB tabloları dahili olarak. Bu tabloya doğrudan erişmek için Explorer.table nesnesini kullanabilir ve ham sorgular çalıştırabilir, ön ve son filtreleri aşağı itebilir vb.

İçinde [ ]:

Kopyalandı!

masa = exp.Masa
masa.Şema
tablo = exp.table
table.schema

Ham sorguları çalıştırın¶

Vektör Arama, veritabanından en yakın vektörleri bulur. Bir öneri sisteminde veya arama motorunda, aradığınız ürüne benzer ürünleri bulabilirsiniz. LLM ve diğer yapay zeka uygulamalarında, her veri noktası bazı modellerden üretilen gömüler tarafından sunulabilir, en alakalı özellikleri döndürür.

Yüksek boyutlu vektör uzayında yapılan bir arama, sorgu vektörünün K-En Yakın Komşularını (KNN) bulmaktır.

Metrik LanceDB'de Metrik, bir çift vektör arasındaki mesafeyi tanımlamanın bir yoludur. Şu anda, aşağıdaki metrikleri desteklemektedir:

L2
Kosinüs
Nokta Explorer'ın benzerlik araması varsayılan olarak L2 kullanır. Tablolar üzerinde doğrudan sorgular çalıştırabilir veya veri kümelerini yönetmek için özel yardımcı programlar oluşturmak üzere lance biçimini kullanabilirsiniz. Dokümanlarda mevcut LanceDB tablo işlemleri hakkında daha fazla ayrıntı

Ekran Görüntüsü 2024-01-06 saat 9 48 35 PM

İçinde [ ]:

Kopyalandı!

dummy_img_embedding = [i için i içinde aralık(256)]
masa.arama(dummy_img_embedding).limit(5).to_pandas()
dummy_img_embedding = [i for i in range(256)]
table.search(dummy_img_embedding).limit(5).to_pandas()

Popüler veri formatlarına dönüştürme¶

İçinde [ ]:

Kopyalandı!

df = masa.to_pandas()
pa_table = masa.to_arrow()
df = table.to_pandas()
pa_table = table.to_arrow()

Embeddings ile çalışın¶

Ham gömülmeye lancedb Tablosundan erişebilir ve analiz edebilirsiniz. Görüntü katıştırmaları sütunda saklanır vector

İçinde [ ]:

Kopyalandı!

İthalat numpy olarak np

katıştırmalar = masa.to_pandas()["vektör"].tolist()
katıştırmalar = np.dizi(katıştırmalar)
import numpy as np

embeddings = table.to_pandas()["vector"].tolist()
katıştırmalar = np.array(katıştırmalar)

Scatterplot¶

Gömülmeleri analiz etmenin ön adımlarından biri, boyut indirgeme yoluyla bunları 2B uzayda çizmektir. Bir örnek deneyelim

Ekran Görüntüsü 2024-01-06 saat 9 48 58 PM

İçinde [ ]:

Kopyalandı!

!pip yükleyin scikit-öğrenmek --q
!pip install scikit-learn --q

İçinde [ ]:

Kopyalandı!





%matplotlib satır içi
İthalat numpy olarak np
gelen sklearn.decomposition İthalat PCA
İthalat matplotlib.pyplot olarak plt
gelen mpl_toolkits.mplot3d İthalat Axes3D

# 3B'de görselleştirme için PCA kullanarak boyutları 3 bileşene indirgeyin
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(katıştırmalar)

# Matplotlib'in Axes3D özelliğini kullanarak 3B dağılım grafiği oluşturun
incir = plt.Şekil(figsize=(8, 6))
balta = incir.add_subplot(111, projeksiyon='3d')

# Dağılım grafiği
balta.dağılım(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], ALFA=0.5)
balta.set_title('İndirgenmiş 256 Boyutlu Verilerin 3D Dağılım Grafiği (PCA)')
balta.set_xlabel('Bileşen 1')
balta.set_ylabel('Bileşen 2')
balta.set_zlabel('Bileşen 3')

plt.göster()
matplotlib satır içi
import numpy as np
from sklearn.decomposition import PCA
import matplotlib.pyplot as plt
from mpl_toolkits.mplot3d import Axes3D

# 3B'de görselleştirme için PCA kullanarak boyutları 3 bileşene indirgeyin
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Matplotlib'in Axes3D özelliğini kullanarak 3B dağılım grafiği oluşturun
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection='3d')

# Dağılım grafiği
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title('Azaltılmış 256 Boyutlu Verilerin 3D Dağılım Çizimi (PCA)')
ax.set_xlabel('Bileşen 1')
ax.set_ylabel('Bileşen 2')
ax.set_zlabel('Bileşen 3')

plt.show()

4. Benzerlik Endeksi¶

İşte embeddings tablosu tarafından desteklenen bir işlemin basit bir örneği. Explorer bir similarity_index operasyon-

Her bir veri noktasının veri kümesinin geri kalanıyla ne kadar benzer olduğunu tahmin etmeye çalışır.
Bunu, kaç tane görüntü katıştırmasının aşağıdaki değerlerden daha yakın olduğunu sayarak yapar max_dist göz önünde bulundurularak, oluşturulan gömme uzayında mevcut görüntüye top_k bir seferde benzer görüntüler.

Belirli bir veri kümesi için model, max_dist & top_k bir kez oluşturulan benzerlik indeksi yeniden kullanılacaktır. Veri kümeniz değiştiyse veya benzerlik indeksini yeniden oluşturmanız gerekiyorsa force=True. Vektör ve SQL aramasına benzer şekilde, bu da doğrudan çizmek için bir util ile birlikte gelir. Önce grafiğe bakalım Ekran Görüntüsü 2024-01-06 saat 9 49 36 PM

İçinde [ ]:

Kopyalandı!

exp.plot_similarity_index(max_dist=0.2, top_k=0.01)
exp.plot_similarity_index(max_dist=0.2, top_k=0.01)

Şimdi işlemin çıktısına bakalım

İçinde [ ]:

Kopyalandı!

İthalat numpy olarak np

sim_idx = exp.similarity_index(max_dist=0.2, top_k=0.01, kuvvet=Yanlış)
import numpy as np

sim_idx = exp.similarity_index(max_dist=0.2, top_k=0.01, force=False)

İçinde [ ]:

Kopyalandı!

sim_idx
sim_idx

Hangi veri noktalarının 30'dan fazla benzerlik sayısına sahip olduğunu görmek için bir sorgu oluşturalım ve bunlara benzer görüntüleri çizelim.

İçinde [ ]:

Kopyalandı!

İthalat numpy olarak np

sim_count = np.dizi(sim_idx["count"])
sim_idx['im_file'][sim_count > 30]
import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx['im_file'][sim_count > 30]

Şuna benzer bir şey görmelisiniz Bu resim için herhangi bir açıklama yapılmamıştır

İçinde [ ]:

Kopyalandı!

exp.plot_similar(idx=[7146, 14035]) # 2 görüntünün ortalama gömülmelerini kullanma
exp.plot_similar(idx=[7146, 14035]) # 2 görüntünün ortalama gömülmelerini kullanma

Oluşturma 2024-01-07, Güncelleme 2024-01-25
Yazarlar: RizwanMunawar (1), AyushExel (2), glenn-jocher (1)