GUI de Explorer
Nota de la comunidad ⚠️
A partir de ultralytics>=8.3.10El soporte para Ultralytics ha quedado obsoleto. Hay disponibles funciones similares (y ampliadas) para la exploración de conjuntos de datos en Ultralytics HUB.
Explorer GUI se basa en la APIUltralytics . Permite realizar búsquedas semánticas/de similitud vectorial, consultas SQL y consultas en lenguaje natural utilizando la función Ask AI, impulsada por LLM.
Ver: Descripción General del Panel de Control de Ultralytics Explorer
Instalación
pip install ultralytics[explorer]
Nota
La función Ask AI utiliza OpenAI, por lo que se le pedirá que configure la clave API de OpenAI cuando ejecute la GUI por primera vez.
Configúrela con yolo settings openai_api_key="...".
Búsqueda de Similitud Semántica Vectorial
La búsqueda semántica es una técnica para encontrar imágenes similares a una imagen dada. Se basa en la idea de que las imágenes similares tendrán incrustaciones similares. En la interfaz de usuario, puede seleccionar una o más imágenes y buscar las imágenes similares a ellas. Esto puede ser útil cuando desea encontrar imágenes similares a una imagen dada o un conjunto de imágenes que no funcionan como se espera.
Por ejemplo, en este panel de control VOC , el usuario selecciona algunas imágenes de aviones:
Después de ejecutar la búsqueda por similitud, debería ver resultados similares:
Preguntar a la IA
Esta función te permite filtrar tu conjunto de datos utilizando lenguaje natural, sin necesidad de escribir SQL. El generador de consultas basado en inteligencia artificial convierte tu solicitud en una consulta y devuelve los resultados coincidentes. Por ejemplo, puedes preguntar: «muéstrame 100 imágenes con exactamente una persona y dos perros. También pueden aparecer otros objetos», y generará la consulta y te mostrará esos resultados. A continuación se muestra un ejemplo de resultado cuando se solicita: «Muéstrame 10 imágenes con exactamente 5 personas»:
Nota: Esta función utiliza modelos lingüísticos de gran tamaño, por lo que los resultados son probabilísticos y pueden ser inexactos.
Ejecute consultas SQL en sus conjuntos de datos CV
Puede ejecutar consultas SQL en su conjunto de datos para filtrarlo. También funciona si solo proporciona la cláusula WHERE. Por ejemplo, la siguiente cláusula WHERE devuelve imágenes que contienen al menos una persona y un perro:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
Esta demostración se construyó utilizando la API Explorer, que puede utilizar para crear sus propios cuadernos o scripts exploratorios para obtener información sobre sus conjuntos de datos. Para empezar, consulte la documentación de la API Explorer.
Preguntas frecuentes
¿Qué es la GUI de Ultralytics Explorer y cómo la instalo?
La GUI de Ultralytics Explorer es una interfaz potente que desbloquea capacidades avanzadas de exploración de datos utilizando la API de Ultralytics Explorer. Le permite ejecutar búsquedas de similitud semántica/vectorial, consultas SQL y consultas en lenguaje natural utilizando la función Ask AI impulsada por Modelos de Lenguaje Grande (LLM).
Para instalar la GUI de Explorer, puede usar pip:
pip install ultralytics[explorer]
Nota: Para utilizar la función Ask AI, deberá establecer la clave de la API de OpenAI: yolo settings openai_api_key="...".
¿Cómo funciona la función de búsqueda semántica en la GUI de Ultralytics Explorer?
La función de búsqueda semántica en la GUI de Ultralytics Explorer te permite encontrar imágenes similares a una imagen dada basándose en sus embeddings. Esta técnica es útil para identificar y explorar imágenes que comparten similitudes visuales. Para utilizar esta función, selecciona una o más imágenes en la UI y ejecuta una búsqueda de imágenes similares. El resultado mostrará imágenes que se parecen mucho a las seleccionadas, lo que facilita la exploración eficiente del conjunto de datos y la detección de anomalías.
Obtenga más información sobre la búsqueda semántica y otras funciones visitando la sección de Descripción general de las funciones.
¿Puedo usar el lenguaje natural para filtrar conjuntos de datos en la GUI de Ultralytics Explorer?
Sí, con la función Ask AI impulsada por modelos de lenguaje grandes (LLM), puede filtrar sus conjuntos de datos utilizando consultas en lenguaje natural. No necesita ser un experto en SQL. Por ejemplo, puede preguntar "Muéstrame 100 imágenes con exactamente una persona y 2 perros. También puede haber otros objetos", y la IA generará la consulta apropiada bajo el capó para entregar los resultados deseados.
¿Cómo ejecuto consultas SQL en conjuntos de datos usando la GUI de Ultralytics Explorer?
La GUI de Ultralytics Explorer le permite ejecutar consultas SQL directamente en su conjunto de datos para filtrar y administrar los datos de manera eficiente. Para ejecutar una consulta, navegue a la sección de consultas SQL en la GUI y escriba su consulta. Por ejemplo, para mostrar imágenes con al menos una persona y un perro, podría usar:
WHERE labels LIKE '%person%' AND labels LIKE '%dog%'
También puede proporcionar solo la cláusula WHERE, lo que hace que el proceso de consulta sea más flexible.
Para obtener más detalles, consulta la sección de consultas SQL.
¿Cuáles son los beneficios de usar la GUI Ultralytics Explorer para la exploración de datos?
La GUI de Ultralytics Explorer mejora la exploración de datos con funciones como la búsqueda semántica, las consultas SQL y las interacciones en lenguaje natural a través de la función Ask AI. Estas capacidades permiten a los usuarios:
- Encuentra eficientemente imágenes visualmente similares.
- Filtre conjuntos de datos utilizando consultas SQL complejas.
- Utilice la IA para realizar búsquedas en lenguaje natural, eliminando la necesidad de conocimientos avanzados de SQL.
Estas características la convierten en una herramienta versátil para desarrolladores, investigadores y científicos de datos que buscan obtener conocimientos más profundos sobre sus conjuntos de datos.
Explore más sobre estas características en la Documentación de la GUI del Explorador.
