Ultralytics API de l'explorateur

Introduction

L'API Explorer est une API Python qui permet d'explorer vos ensembles de données. Elle prend en charge le filtrage et la recherche de vos ensembles de données à l'aide de requêtes SQL, la recherche par similarité vectorielle et la recherche sémantique.

Regarder : Ultralytics Aperçu de l'API Explorer

Installation

Explorer dépend de bibliothèques externes pour certaines de ses fonctionnalités. Celles-ci sont automatiquement installées lors de l'utilisation. Pour installer manuellement ces dépendances, utilisez la commande suivante :

pip install ultralytics[explorer]

Utilisation

from ultralytics import Explorer

# Create an Explorer object
explorer = Explorer(data="coco128.yaml", model="yolo11n.pt")

# Create embeddings for your dataset
explorer.create_embeddings_table()

# Search for similar images to a given image/images
dataframe = explorer.get_similar(img="path/to/image.jpg")

# Or search for similar images to a given index/indices
dataframe = explorer.get_similar(idx=0)

Si vous souhaitez forcer la mise à jour de la table d'embeddings, vous pouvez passer le paramètre force=True à create_embeddings_table méthode.

Vous pouvez accéder directement à l'objet table de LanceDB pour effectuer des analyses avancées. Pour en savoir plus, consultez la section Travailler avec les tables Embeddings.

1. Recherche de similitude

La recherche par similarité est une technique permettant de trouver des images similaires à une image donnée. Elle est basée sur l'idée que des images similaires auront des embeddings similaires. Une fois que la table des embeddings est construite, vous pouvez lancer une recherche sémantique de l'une des manières suivantes :

• Sur un index donné ou une liste d'index dans l'ensemble de données : exp.get_similar(idx=[1,10], limit=10)
• Sur toute image ou liste d'images ne faisant pas partie de l'ensemble de données : exp.get_similar(img=["path/to/img1", "path/to/img2"], limit=10)

Dans le cas d'entrées multiples, c'est l'ensemble de leurs encastrements qui est utilisé.

Vous obtenez un cadre de données pandas avec l'attribut limit le nombre de points de données les plus similaires à l'entrée, ainsi que leur distance dans l'espace d'intégration. Vous pouvez utiliser cet ensemble de données pour effectuer d'autres filtrages

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

similar = exp.get_similar(img="https://ultralytics.com/images/bus.jpg", limit=10)
print(similar.head())

# Search using multiple indices
similar = exp.get_similar(
    img=["https://ultralytics.com/images/bus.jpg", "https://ultralytics.com/images/bus.jpg"],
    limit=10,
)
print(similar.head())

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

similar = exp.get_similar(idx=1, limit=10)
print(similar.head())

# Search using multiple indices
similar = exp.get_similar(idx=[1, 10], limit=10)
print(similar.head())

Tracé d'images similaires

Vous pouvez également tracer les images similaires à l'aide de la fonction plot_similar Cette méthode prend les mêmes arguments que la méthode Cette méthode prend les mêmes arguments que get_similar et place les images similaires dans une grille.

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

plt = exp.plot_similar(img="https://ultralytics.com/images/bus.jpg", limit=10)
plt.show()

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

plt = exp.plot_similar(idx=1, limit=10)
plt.show()

2. Ask AI (interrogation en langage naturel)

Cela vous permet d'écrire comment vous souhaitez filtrer votre ensemble de données en utilisant le langage naturel. Vous n'avez pas besoin d'être compétent dans l'écriture de requêtes SQL. Notre générateur de requêtes alimenté par l'IA le fera automatiquement sous le capot. Par exemple, vous pouvez dire : "Montrez-moi 100 images avec exactement une personne et 2 chiens. Il peut y avoir d'autres objets aussi" et il générera en interne la requête et vous montrera les résultats. Note : Cela fonctionne en utilisant des LLMs sous le capot, donc les résultats sont probabilistes et peuvent parfois se tromper.

from ultralytics import Explorer
from ultralytics.data.explorer import plot_query_result

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

df = exp.ask_ai("show me 100 images with exactly one person and 2 dogs. There can be other objects too")
print(df.head())

# plot the results
plt = plot_query_result(df)
plt.show()

3. Requête SQL

Vous pouvez exécuter des requêtes SQL sur votre ensemble de données à l'aide de la fonction sql_query Cette méthode prend une requête SQL en entrée et renvoie un cadre de données pandas avec les résultats. Cette méthode prend une requête SQL en entrée et renvoie un dataframe pandas avec les résultats.

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

df = exp.sql_query("WHERE labels LIKE '%person%' AND labels LIKE '%dog%'")
print(df.head())

Représentation graphique des résultats d'une requête SQL

Vous pouvez également tracer les résultats d'une requête SQL à l'aide de la fonction plot_sql_query Cette méthode prend les mêmes arguments que la méthode Cette méthode prend les mêmes arguments que sql_query et présente les résultats sous la forme d'une grille.

from ultralytics import Explorer

# create an Explorer object
exp = Explorer(data="coco128.yaml", model="yolo11n.pt")
exp.create_embeddings_table()

# plot the SQL Query
exp.plot_sql_query("WHERE labels LIKE '%person%' AND labels LIKE '%dog%' LIMIT 10")

4. Travailler avec des tableaux d'encodage

Vous pouvez également travailler directement avec le tableau des enchâssements. Une fois le tableau des enchâssements créé, vous pouvez y accéder à l'aide de la commande Explorer.table

from ultralytics import Explorer

exp = Explorer()
exp.create_embeddings_table()
table = exp.table

Voici quelques exemples de ce que vous pouvez faire avec le tableau :

Obtenir les emboîtements bruts

from ultralytics import Explorer

exp = Explorer()
exp.create_embeddings_table()
table = exp.table

embeddings = table.to_pandas()["vector"]
print(embeddings)

Requête avancée avec pré et post-filtres

from ultralytics import Explorer

exp = Explorer(model="yolo11n.pt")
exp.create_embeddings_table()
table = exp.table

# Dummy embedding
embedding = [i for i in range(256)]
rs = table.search(embedding).metric("cosine").where("").limit(10)

Créer un index vectoriel

Lorsque vous utilisez de grands ensembles de données, vous pouvez également créer un index vectoriel dédié pour accélérer les recherches. Cela se fait à l'aide de l'option create_index sur la table LanceDB.

table.create_index(num_partitions=..., num_sub_vectors=...)

Pour plus de détails sur les types d'indices vectoriels disponibles et les paramètres , cliquez ici. À l'avenir, nous ajouterons la prise en charge de la création d'indices vectoriels directement à partir de l'API Explorer.

5. Applications de l'intégration

Vous pouvez utiliser le tableau des enchâssements pour effectuer diverses analyses exploratoires. En voici quelques exemples :

Indice de similitude

Explorer est livré avec un similarity_index opération :

• Il tente d'estimer le degré de similitude de chaque point de données avec le reste de l'ensemble de données.
• Pour ce faire, il compte le nombre d'images intégrées qui sont plus proches de max_dist à l'image actuelle dans l'espace d'intégration généré, en considérant que top_k images similaires à la fois.

Il renvoie un cadre de données pandas avec les colonnes suivantes :

• idx: Index de l'image dans l'ensemble de données
• im_file: Chemin d'accès au fichier image
• count: Nombre d'images dans l'ensemble de données qui sont plus proches que max_dist à l'image actuelle
• sim_im_files: Liste des chemins d'accès au count images similaires

from ultralytics import Explorer

exp = Explorer()
exp.create_embeddings_table()

sim_idx = exp.similarity_index()

Vous pouvez utiliser l'indice de similarité pour créer des conditions personnalisées afin de filtrer l'ensemble des données. Par exemple, vous pouvez filtrer les images qui ne sont similaires à aucune autre image de l'ensemble de données à l'aide du code suivant :

import numpy as np

sim_count = np.array(sim_idx["count"])
sim_idx["im_file"][sim_count > 30]

Visualiser l'espace d'intégration

Vous pouvez également visualiser l'espace d'intégration à l'aide de l'outil de traçage de votre choix. Voici un exemple simple utilisant matplotlib :

import matplotlib.pyplot as plt
from sklearn.decomposition import PCA

# Reduce dimensions using PCA to 3 components for visualization in 3D
pca = PCA(n_components=3)
reduced_data = pca.fit_transform(embeddings)

# Create a 3D scatter plot using Matplotlib Axes3D
fig = plt.figure(figsize=(8, 6))
ax = fig.add_subplot(111, projection="3d")

# Scatter plot
ax.scatter(reduced_data[:, 0], reduced_data[:, 1], reduced_data[:, 2], alpha=0.5)
ax.set_title("3D Scatter Plot of Reduced 256-Dimensional Data (PCA)")
ax.set_xlabel("Component 1")
ax.set_ylabel("Component 2")
ax.set_zlabel("Component 3")

plt.show()

Commencez à créer vos propres rapports d'exploration d'ensembles de données CV à l'aide de l'API Explorer. Pour vous inspirer, consultez l'exemple d'exploration VOC.

Applications créées à l'aide de Ultralytics Explorer

Essayez notre démo d'interface graphique basée sur l'API Explorer

Bientôt disponible

• [Fusionner des étiquettes spécifiques à partir d'ensembles de données. Exemple - Importer tout person étiquettes de COCO et car étiquettes de paysages urbains
• [Supprimer les images dont l'indice de similarité est supérieur au seuil fixé.
• [Persister automatiquement les nouveaux ensembles de données après la fusion/suppression d'entrées
• [Visualisations avancées des ensembles de données

FAQ

À quoi sert l'API Ultralytics Explorer ?

L'API Ultralytics Explorer est conçue pour l'exploration complète des ensembles de données. Elle permet aux utilisateurs de filtrer et de rechercher des ensembles de données à l'aide de requêtes SQL, de la recherche de similarité vectorielle et de la recherche sémantique. Cette puissante API Python peut gérer de grands ensembles de données, ce qui la rend idéale pour diverses tâches de vision par ordinateur utilisant des modèles Ultralytics .

Comment installer l'API Ultralytics Explorer ?

Pour installer l'API Ultralytics Explorer et ses dépendances, utilisez la commande suivante :

pip install ultralytics[explorer]

Cela installera automatiquement toutes les bibliothèques externes nécessaires à la fonctionnalité de l'API Explorer. Pour plus de détails sur l'installation, reportez-vous à la section "Installation" de notre documentation.

Comment puis-je utiliser l'API de Ultralytics Explorer pour la recherche de similitudes ?

Vous pouvez utiliser l'API Ultralytics Explorer pour effectuer des recherches de similarité en créant une table d'embeddings et en l'interrogeant pour trouver des images similaires. Voici un exemple de base :

from ultralytics import Explorer

# Create an Explorer object
explorer = Explorer(data="coco128.yaml", model="yolo11n.pt")
explorer.create_embeddings_table()

# Search for similar images to a given image
similar_images_df = explorer.get_similar(img="path/to/image.jpg")
print(similar_images_df.head())

Pour plus de détails, veuillez consulter la section Recherche de similitudes.

Quels sont les avantages de l'utilisation de LanceDB avec Ultralytics Explorer ?

LanceDB, utilisé sous le capot de Ultralytics Explorer, fournit des tables d'intégration évolutives sur disque. Vous pouvez ainsi créer et réutiliser des embeddings pour de grands ensembles de données tels que COCO sans manquer de mémoire. Ces tables ne sont créées qu'une seule fois et peuvent être réutilisées, ce qui améliore l'efficacité du traitement des données.

Comment fonctionne la fonction Ask AI dans l'API Ultralytics Explorer ?

La fonction Ask AI permet aux utilisateurs de filtrer des ensembles de données à l'aide de requêtes en langage naturel. Cette fonctionnalité s'appuie sur les LLM pour convertir ces requêtes en requêtes SQL dans les coulisses. Voici un exemple :

from ultralytics import Explorer

# Create an Explorer object
explorer = Explorer(data="coco128.yaml", model="yolo11n.pt")
explorer.create_embeddings_table()

# Query with natural language
query_result = explorer.ask_ai("show me 100 images with exactly one person and 2 dogs. There can be other objects too")
print(query_result.head())

Pour plus d'exemples, consultez la section "Ask AI" (demandez à l'IA).

📅C réé il y a 1 an ✏️ Mis à jour il y a 8 jours

Commentaires