Commencer

Comment créer une recherche sémantique d’images avec OpenAI CLIP

Ce guide t’explique comment créer un moteur de recherche sémantique d’images avec OpenAI CLIP et Flask. En combinant les représentations vectorielles visuelles et linguistiques de CLIP avec une recherche rapide par similarité cosinus optimisée par NumPy, tu peux créer une interface web qui retrouve les images pertinentes à partir de requêtes en langage naturel, sans étiquettes ni catégories.



Regarder : Fonctionnement de la recherche par similarité | Recherche visuelle avec OpenAI CLIP et le package Ultralytics 🎉

Page Web Flask présentant un aperçu des résultats de recherche sémantique

Le package Python Ultralytics regroupe tout ce pipeline derrière deux classes : tu peux ainsi lancer une application de recherche fonctionnelle ou exécuter des requêtes par programmation en quelques lignes. Ce guide explique l’intérêt de la recherche sémantique, son fonctionnement, l’exécution de l’application Web, la recherche par programmation et la configuration des paramètres.

Créer ton propre système de recherche sémantique d’images avec CLIP présente plusieurs avantages :

  • Capacités zero-shot : tu n’as pas besoin d’entraîner le modèle sur ton jeu de données. L’apprentissage zero-shot de CLIP te permet d’interroger n’importe quelle collection d’images en langage naturel et libre, ce qui te fait gagner du temps et économiser des ressources.
  • Compréhension proche de celle d’un humain : contrairement à la recherche par mots-clés, CLIP comprend le contexte sémantique et retrouve des images à partir de requêtes abstraites, émotionnelles ou relationnelles, comme « un enfant heureux dans la nature » ou « une silhouette de ville futuriste la nuit ».
  • Aucune étiquette ni métadonnée : cette approche ne nécessite que des images brutes. CLIP génère des représentations vectorielles sans annotation manuelle.
  • Recherche exacte et légère : une seule multiplication de matrices normalisées dans NumPy classe chaque image selon sa similarité cosinus. Tu obtiens ainsi des résultats exacts en temps réel sur des milliers de représentations vectorielles, sans dépendance de recherche supplémentaire à installer ou à gérer.
  • Applications dans différents domaines : que tu crées une archive photo personnelle, un outil d’inspiration créative, un moteur de recherche de produits ou un système de recommandation d’œuvres d’art, la même pile technologique s’adapte avec très peu de modifications.

Fonctionnement de la recherche sémantique d’images#

Le pipeline combine trois composants, chacun prenant en charge une étape de la transformation des images et du texte en résultats classés :

  • CLIP utilise un encodeur visuel (par exemple, ResNet ou ViT) pour les images et un encodeur de texte (basé sur Transformer) pour le langage, afin de projeter les deux dans le même espace de représentations vectorielles multimodales. Tu peux ainsi comparer directement les textes et les images à l’aide de la similarité cosinus.
  • NumPy stocke les représentations vectorielles des images dans un tableau unique et les compare à une représentation vectorielle de requête au moyen d’une multiplication de matrices. Il renvoie les vecteurs les plus proches selon leur similarité cosinus, sans dépendance d’indexation supplémentaire.
  • Flask fournit une interface Web simple permettant de saisir des requêtes en langage naturel et d’afficher les images de l’index correspondantes sur le plan sémantique.

Flux de travail de recherche d’images d’OpenAI CLIP

Comme les images et le texte se retrouvent dans le même espace vectoriel, la recherche est zero-shot : tu n’as besoin ni d’étiquettes ni de catégories, seulement des images et d’une bonne invite.

Exécuter l’application Web de recherche sémantique#

La classe SearchApp lance l’interface Flask complète. Elle télécharge des images d’exemple dans images/ si data est absent, construit l’index d’embeddings et affiche une page où tu peux saisir une requête et consulter les résultats classés.

from ultralytics import solutions

app = solutions.SearchApp(
    data="images",  # remplace par un chemin pour créer le moteur de recherche avec tes propres images
    device="cpu",  # configure l’appareil utilisé pour le traitement, par exemple « cpu » ou « cuda »
)

app.run(debug=False)  # Tu peux également utiliser l’argument `debug=True` pour les tests

Rechercher des images par programmation#

La classe VisualAISearch effectue toutes les opérations côté serveur sans couche Web :

  • Crée un index d’embeddings à partir des images locales à chaque démarrage.
  • Extrait les représentations vectorielles des images et des textes avec CLIP.
  • Effectue une recherche par similarité cosinus.

Appelle le moteur de recherche avec une requête en langage naturel pour obtenir une liste de noms de fichiers d’images correspondantes, classés par similarité :

from ultralytics import solutions

searcher = solutions.VisualAISearch(
    data="images",  # remplace par un chemin pour créer le moteur de recherche avec tes propres images
    device="cpu",  # configure l’appareil utilisé pour le traitement, par exemple « cpu » ou « cuda »
)

results = searcher("a dog sitting on a bench")

# Résultats classés :
# - 000000546829.jpg | Similarity: 0.3269
# - 000000549220.jpg | Similarity: 0.2899
# - 000000517069.jpg | Similarity: 0.2761
# - 000000029393.jpg | Similarity: 0.2742
# - 000000534270.jpg | Similarity: 0.2680

Configurer les paramètres de VisualAISearch#

Le tableau ci-dessous présente les paramètres disponibles pour VisualAISearch :

ArgumentTypeValeur par défautDescription
datastr'images'Chemin d’accès au répertoire d’images à indexer et à parcourir.
devicestr'cpu'Appareil utilisé pour l’inférence CLIP (par exemple, cpu, cuda, 0).
Gère tes données dans le cloud

Pour rechercher des images dans des collections à l’échelle de la production sans gérer de fichiers locaux, tu peux organiser et versionner tes images sur Ultralytics Platform avant de les indexer avec CLIP.

Conclusion#

Avec CLIP et le package Python Ultralytics, tu peux mettre en place un moteur de recherche sémantique d’images zero-shot en quelques lignes, sous la forme d’une application Web Flask ou d’un backend de recherche accessible par programmation. À partir de là, indique ton propre répertoire d’images à data pour l’indexer, puis découvre d’autres solutions Ultralytics pour enrichir tes flux de travail en vision par ordinateur.

FAQ#

  • CLIP (préentraînement contrastif sur le langage et les images) est un modèle développé par OpenAI qui apprend à relier les informations visuelles et linguistiques. Il est entraîné sur un vaste jeu de données d’images associées à des légendes en langage naturel. Cet entraînement lui permet de projeter les images et les textes dans un espace de représentations vectorielles commun, afin que tu puisses les comparer directement à l’aide de la similarité vectorielle.

  • CLIP se distingue par sa capacité à généraliser. Au lieu d’être entraîné uniquement pour des étiquettes ou des tâches spécifiques, il apprend à partir du langage naturel lui-même. Il peut ainsi traiter des requêtes flexibles comme « un homme sur un jet-ski » ou « un paysage onirique surréaliste », ce qui le rend utile pour toutes sortes de tâches, de la classification à la recherche sémantique créative, sans réentraînement.

  • Une fois que CLIP a converti tes images en représentations vectorielles, le package Ultralytics les normalise selon la norme L2 et les stocke dans un seul tableau NumPy. Une seule multiplication matricielle calcule la similarité cosinus entre la représentation vectorielle de la requête et celle de chaque image. Les résultats sont ensuite classés selon leur score. Cette recherche exhaustive est exacte et rapide pour les collections d’images courantes, sans dépendance supplémentaire à une base de données vectorielle à installer ou à gérer.

  • CLIP est développé par OpenAI, mais le package Python d’Ultralytics regroupe la génération de représentations vectorielles, l’indexation et la recherche par similarité cosinus dans un pipeline complet de recherche sémantique d’images, accessible en quelques lignes de code :

    from ultralytics import solutions
    
    searcher = solutions.VisualAISearch(
        data="images",  # remplace par un chemin pour créer le moteur de recherche avec tes propres images
        device="cpu",  # configure l’appareil utilisé pour le traitement, par exemple « cpu » ou « cuda »
    )
    
    results = searcher("a dog sitting on a bench")

    Cette implémentation de haut niveau prend en charge :

    • La génération de représentations vectorielles d’images et de texte avec CLIP.
    • La création et la gestion de l’index des représentations vectorielles.
    • La recherche sémantique efficace par similarité cosinus.
    • Chargement d’images depuis un répertoire et visualisation.
  • Oui. La configuration actuelle utilise Flask avec un frontend HTML simple, mais tu peux le remplacer par ton propre HTML ou créer une interface plus dynamique avec React, Vue ou un autre framework frontend. Flask peut servir d’API backend pour ton interface personnalisée.

  • Pas directement. Une solution de contournement simple consiste à extraire des images individuelles de tes vidéos (par exemple, une par seconde), à les traiter comme des images autonomes et à les fournir au système. Le moteur de recherche peut ainsi indexer sur le plan sémantique les scènes visuelles de tes vidéos.

Commentaires

Pose une question, partage tes résultats ou aide quelqu’un d’autre.