Cómo crear un buscador semántico de imágenes con OpenAI CLIP#

Esta guía te explica cómo crear un motor de búsqueda semántica de imágenes usando OpenAI CLIP y Flask. Al combinar los [embeddings](https://ultralytics-translation-2.invalid visuales y lingüísticos de CLIP con una búsqueda rápida por similitud coseno basada en NumPy, puedes crear una interfaz web que recupere imágenes relevantes a partir de consultas en lenguaje natural, sin necesidad de etiquetas ni categorías.

El paquete de Python de Ultralytics encapsula todo este flujo en dos clases, para que puedas poner en marcha una aplicación de búsqueda funcional o ejecutar consultas mediante programación en unas pocas líneas. Esta guía explica por qué es útil la búsqueda semántica, cómo funciona, cómo ejecutar la aplicación web, cómo buscar mediante programación y cómo configurar los parámetros.

¿Por qué usar la búsqueda semántica de imágenes?#

Crear tu propio sistema de búsqueda semántica de imágenes con CLIP ofrece varias ventajas destacadas:

• Capacidades zero-shot: No necesitas entrenarlo con tu conjunto de datos. El aprendizaje zero-shot de CLIP te permite consultar cualquier colección de imágenes con lenguaje natural de forma libre, ahorrando tiempo y recursos.
• Comprensión similar a la humana: A diferencia de la búsqueda por palabras clave, CLIP entiende el contexto semántico y recupera imágenes a partir de consultas abstractas, emocionales o relacionales como «un niño feliz en la naturaleza» o «el perfil de una ciudad futurista de noche».
• Sin etiquetas ni metadatos: Este enfoque solo necesita imágenes sin procesar. CLIP genera embeddings sin ninguna anotación manual.
• Búsqueda ligera y exacta: Una única multiplicación de matrices normalizadas en NumPy clasifica cada imagen según su similitud coseno, ofreciendo resultados exactos con respuesta en tiempo real para miles de embeddings y sin necesidad de instalar ni gestionar dependencias de búsqueda adicionales.
• Aplicaciones en distintos ámbitos: Tanto si estás creando un archivo fotográfico personal, una herramienta de inspiración creativa, un motor de búsqueda de productos o un sistema de recomendación de arte, la misma pila se adapta con cambios mínimos.

Cómo funciona la búsqueda semántica de imágenes#

El flujo combina tres componentes, cada uno encargado de una etapa para convertir imágenes y texto en resultados clasificados:

• CLIP utiliza un codificador visual (por ejemplo, ResNet o ViT) para las imágenes y un codificador de texto (basado en Transformer) para el lenguaje, con el fin de proyectar ambos en el mismo espacio de embeddings multimodal. Esto permite comparar directamente texto e imágenes mediante la similitud coseno.
• NumPy almacena los embeddings de las imágenes como una única matriz y los clasifica frente al embedding de una consulta con una sola multiplicación de matrices, devolviendo los vectores más cercanos por similitud coseno sin ninguna dependencia adicional de indexación.
• Flask proporciona una interfaz web sencilla para enviar consultas en lenguaje natural y mostrar imágenes coincidentes semánticamente a partir del índice.

Como las imágenes y el texto se sitúan en el mismo espacio vectorial, la recuperación es zero-shot: no necesitas etiquetas ni categorías, solo datos de imágenes y un buen prompt.

Ejecuta la aplicación web de búsqueda semántica#

La clase SearchApp inicia la interfaz completa de Flask. En la primera ejecución descarga un conjunto de imágenes de ejemplo, crea el índice de embeddings y sirve una página en la que puedes escribir una consulta y ver los resultados clasificados.

from ultralytics import solutions

app = solutions.SearchApp(
    data="images",  # replace with a path to build the search engine with your own images
    device="cpu",  # configure the device for processing, e.g., "cpu" or "cuda"
)

app.run(debug=False)  # You can also use `debug=True` argument for testing

Busca imágenes mediante programación#

La clase VisualAISearch realiza todas las operaciones del backend sin la capa web:

• Carga o crea un índice de embeddings a partir de imágenes locales.
• Extrae embeddings de imágenes y texto mediante CLIP.
• Realiza búsquedas por similitud utilizando la similitud coseno.

Llama al buscador con una consulta en lenguaje natural para obtener una lista de nombres de archivo de imágenes coincidentes, ordenados por similitud:

from ultralytics import solutions

searcher = solutions.VisualAISearch(
    data="images",  # replace with a path to build the search engine with your own images
    device="cpu",  # configure the device for processing, e.g., "cpu" or "cuda"
)

results = searcher("a dog sitting on a bench")

# Ranked Results:
#     - 000000546829.jpg | Similarity: 0.3269
#     - 000000549220.jpg | Similarity: 0.2899
#     - 000000517069.jpg | Similarity: 0.2761
#     - 000000029393.jpg | Similarity: 0.2742
#     - 000000534270.jpg | Similarity: 0.2680

Configura los parámetros de VisualAISearch#

La tabla siguiente describe los parámetros disponibles para VisualAISearch:

Conclusión#

Con CLIP y el paquete de Python de Ultralytics, puedes poner en marcha un motor de búsqueda semántica de imágenes zero-shot en unas pocas líneas, ya sea como aplicación web de Flask o como backend de búsqueda mediante programación. A partir de aquí, apunta data a tu propio directorio de imágenes para indexarlo y, después, explora otras soluciones de Ultralytics para ampliar tus flujos de trabajo de visión por ordenador.

Preguntas frecuentes#