En este artículo, discutiremos estos tipos de campos, cuándo usar cada uno y cómo se relacionan con la generación y las estrategias de uso de incrustaciones, tanto durante la indexación como durante la consulta.

Tipo vectorial denso

El tipo de campo dense_vector en Elasticsearch se emplea para almacenar vectores densos, que son representaciones numéricas de datos como texto, imágenes y audio, donde casi todas las dimensiones son relevantes. Estos vectores se generan empleando modelos de incrustación proporcionados por plataformas como OpenAI, Cohere o Hugging Face, y están diseñados para captar el significado semántico general de los datos, incluso cuando no comparten términos exactos con otros documentos.

En Elasticsearch, los vectores densos pueden tener hasta 4096 dimensiones dependiendo del modelo empleado. Por ejemplo, el modelo totalmente MiniLM-L6-v2 genera vectores con 384 dimensiones, mientras que el text-embedding-ada-002 de OpenAI produce vectores con 1536 dimensiones.

El campo dense_vector se adopta comúnmente como el tipo predeterminado para almacenar este tipo de incrustación cuando se necesita mayor control, como usando vectores pregenerados, aplicando funciones de similitud personalizadas o integrando con modelos externos.

¿Cuándo y por qué usar dense_vector tipo?

Los vectores densos son excelentes para capturar similitudes semánticas entre oraciones, párrafos o documentos completos. Funcionan muy bien cuando el objetivo es comparar el significado general de los textos, aunque no compartan los mismos términos.

El campo vectorial denso es ideal cuando ya tienes una pipeline externa de generación de embedding usando modelos proporcionados por plataformas como OpenAI, Cohere o Hugging Face y solo quieres almacenar y consultar estos vectores manualmente. Este tipo de campo ofrece alta compatibilidad con modelos de incrustación y total flexibilidad en la generación y consulta, permitiéndote controlar cómo se producen, indexan y emplean los vectores durante la búsqueda.

Además, soporta diferentes formas de búsqueda semántica, con consultas como k-NN o script_score para casos en los que sea necesario ajustar la lógica de clasificación. Estas posibilidades hacen que el vector denso sea ideal para aplicaciones como RAG (Generación Aumentada por Recuperación), sistemas de recomendación y búsquedas personalizadas basadas en similitudes.

Por último, el campo te permite personalizar la lógica de relevancia, usando funciones como cosineSimilarity, dotProduct o l2norm para adaptar la clasificación según las necesidades de tu caso de uso.

Los vectores densos siguen siendo la mejor opción para quienes necesitan flexibilidad, personalización y compatibilidad con casos de uso avanzados como los mencionados anteriormente.

¿Cómo usar la consulta para el tipo de vector denso?

Las búsquedas en campos definidos como dense_vector emplean la consulta k-vecinos más cercanos. Esta consulta es responsable de encontrar documentos cuyo vector denso está más cercano al vector de consulta. A continuación se muestra un ejemplo de cómo aplicar una consulta k-NN a un campo vectorial denso:

Además de la consulta k-NN, si es necesario personalizar el puntaje del documento, también es posible usar la consulta script_score, combinándola con funciones de comparación vectorial como cosenoSimilitud, Producto PuntoPunto o l2norm para calcular la relevancia de forma más controlada. Mira el ejemplo:

Si quieres profundizar más, te recomiendo explorar el artículo Cómo configurar la búsqueda vectorial en Elasticsearch.

Tipo vectorial disperso

El tipo de campo sparse_vector se emplea para almacenar vectores dispersos, que son representaciones numéricas donde la mayoría de los valores son cero y solo unos pocos términos tienen pesos significativos. Este tipo de vector es común en modelos basados en términos como SPLADE o ELSER (Elastic Learned Sparse EncodeR).

¿Cuándo y por qué usar tipo vectorial disperso?

Los vectores dispersos son ideales cuando se necesita una búsqueda más precisa en términos léxicos, sin sacrificar la inteligencia semántica. Representan el texto como pares token/valor, resaltando solo los términos más relevantes con pesos asociados, lo que proporciona claridad, control y eficiencia.

Este tipo de campo es especialmente útil cuando se generan vectores basados en términos, como en los modelos ELSER o SPLADE, que asignan diferentes pesos a cada token según su importancia relativa en el texto.

Para las ocasiones en las que quieres controlar la influencia de palabras específicas en la consulta, los tipos vectoriales dispersos te permiten ajustar manualmente el peso de los términos para optimizar el orden de los resultados.

Entre los principales beneficios están la transparencia en la búsqueda, ya que es posible entender claramente por qué un documento se consideraba relevante, y la eficiencia de almacenamiento, ya que solo se almacenan los tokens con valor distinto de cero, a diferencia de los vectores densos que almacenan todas las dimensiones.

Además, los vectores dispersos son el complemento ideal en estrategias de búsqueda híbrida, e incluso pueden combinar con vectores densos para combinar precisión léxica con comprensión semántica.

¿Cómo usar la consulta para el tipo de vector disperso?

La consulta sparse_vector te permite buscar documentos basándote en un vector de consulta en formato token/valor. Consulta un ejemplo de la consulta a continuación:

Si prefieres usar un modelo capacitado, es posible emplear un punto final de inferencia que transforme automáticamente el texto de consulta en un vector disperso:

Para profundizar en este tema, sugiero leer Understanding sparse vector embeddings with trained ML models.

Tipo de texto semántico

El tipo de campo semantic_text es la forma más sencilla y directa de usar la búsqueda semántica en Elasticsearch. Gestiona automáticamente la generación de incrustaciones, tanto en tiempo de indexación como en tiempo de consulta, a través de un punto final de inferencia. Esto significa que no tienes que preocuparte por generar o almacenar vectores manualmente.

¿Cuándo y por qué usar texto semántico?

El campo semantic_text es ideal para quienes quieren empezar con el mínimo esfuerzo técnico y sin tener que manejar vectores manualmente. Este campo automatiza pasos como la generación de incrustaciones y el mapeo de búsqueda vectorial, haciendo que la configuración sea más rápida y cómoda.

Deberías considerar usar semantic_text cuando valoras la simplicidad y la abstracción, ya que elimina la complejidad de configurar manualmente mapeos, generación de incrustaciones y pipelines de ingestión. Solo tienes que seleccionar el modelo de inferencia, y Elasticsearch se encarga del resto.

Los principales beneficios incluyen la generación automática de incrustaciones, realizada tanto durante la indexación como durante la consulta, y el mapeo listo para usar, que viene preconfigurado para soportar el modelo de inferencia seleccionado.

Además, el campo ofrece soporte nativo para la división automática de textos largos (fragmentación de texto), permitiendo dividir textos grandes en pasajes más pequeños, cada uno con su propia incrustación, lo que mejora la precisión en la búsqueda. Esto aumenta enormemente la productividad, especialmente para equipos que quieren ofrecer valor rápidamente sin tener que lidiar con la ingeniería subyacente de la búsqueda semántica.

Sin embargo, aunque semantic_text proporciona rapidez y simplicidad, este enfoque tiene algunas limitaciones. Permite el uso de modelos estándar de mercado, siempre que estén disponibles como puntos finales de inferencia en Elasticsearch. Pero no soporta incrustaciones generadas externamente, como es posible con el campo dense_vector .

Si necesitas más control sobre cómo se generan los vectores, quieres usar tus propios embeddings o necesitas combinar varios campos para estrategias avanzadas, los campos dense_vector y sparse_vector ofrecen la flexibilidad necesaria para escenarios más personalizados o específicos de dominio.

Cómo usar la consulta para el tipo de texto semántico

Antes de semantic_text, era necesario usar una consulta diferente según el tipo de incrustación (densa o dispersa). Se empleaba una consulta sparse_vector para campos dispersos, mientras que dense_vector campos requerían consultas KNN.

Con el tipo de texto semántico, la búsqueda se realiza usando la consulta semántica, que genera automáticamente el vector de consulta y lo compara con las incrustaciones de los documentos indexados. El tipo semantic_text permite definir un extremo de inferencia para incrustar la consulta, pero si no se especifica ninguno, se aplicará el mismo punto final que se usa durante la indexación a la consulta.

Para saber más, te sugiero leer el artículo Elasticsearch nueva semantic_text mapeo: Simplificando la búsqueda semántica.

Conclusión

Al elegir cómo mapear incrustaciones en Elasticsearch, es esencial entender cómo quieres generar los vectores y qué nivel de control necesitas sobre ellos. Si buscas simplicidad, el campo de texto semántico permite una búsqueda semántica automática y escalable, lo que lo hace ideal para muchos casos de uso iniciales. Cuando se requiere más control, un rendimiento ajustado o integración con modelos personalizados, los campos vectoriales densos y dispersos proporcionan la flexibilidad necesaria.

El tipo de campo ideal depende de tu caso de uso, la infraestructura disponible y la madurez de tu pila de aprendizaje automático. Lo más importante es que Elastic ofrece las herramientas para construir sistemas de búsqueda modernos y altamente adaptables.

Referencias

• Tipo de campo de texto semántico

• Tipo de campo vectorial disperso

• Tipo de campo vectorial denso

• Consulta semántica

• Consulta vectorial dispersa

• Búsqueda kNN

• Mapeado de nuevas semantic_text de Elasticsearch: Simplificación de la búsqueda semántica

• Comprendiendo las incrustaciones de vectores dispersos con modelos de aprendizaje automático capacitados

Filtros vs facetas

Antes de empezar, definamos qué son los filtros y las facetas. Los filtros son atributos predefinidos que se emplean para restringir un conjunto de resultados. En un mercado, por ejemplo, los filtros están disponibles incluso antes de que se realice una búsqueda. El usuario puede seleccionar una categoría, como "Juegos de video", antes de buscar "PS5", refinando la búsqueda a un subconjunto más específico en lugar de a toda la base de datos. Esto aumenta significativamente las posibilidades de obtener resultados más relevantes.

Las facetas funcionan de forma similar a los filtros, pero solo están disponibles luego de realizar la búsqueda. En otras palabras, la búsqueda devuelve resultados y, a partir de ellos, se genera una nueva lista de opciones de refinamiento. Por ejemplo, al buscar una consola PS5, pueden mostrar aspectos como la capacidad de almacenamiento, el costo de envío y el color para ayudar a los usuarios a elegir el producto ideal.

Ahora que definimos filtros y facetas, hablemos del impacto de los enfoques tradicionales y basados en Aprendizaje Automático (ML) en su implementación y uso. Cada método tiene beneficios y desafíos que influyen en la eficiencia de búsqueda.

Enfoque tradicional de filtros y facetas

En este enfoque, los filtros y facetas se definen manualmente basar en reglas predefinidas. Esto significa que los atributos disponibles para perfeccionar la búsqueda están fijos y planeados con antelación, teniendo en cuenta la estructura del catálogo y las necesidades del usuario.

Por ejemplo, en un mercado, categorías como "Electrónica" o "Moda" pueden tener filtros específicos como marca, formato y rango de precio. Estas reglas se crean de forma estática, garantizando la coherencia en la experiencia de búsqueda pero requiriendo ajustes manuales cada vez que surgen nuevos productos o categorías.

Aunque este enfoque proporciona previsibilidad y control sobre los filtros y facetas mostrados, puede ver limitado cuando surgen nuevas tendencias que exigen refinamiento dinámico.

Pros:

• Previsibilidad y control: Como los filtros y facetas se definen manualmente, la gestión se vuelve más sencilla.

• Baja complejidad: No hace falta capacitar modelos.

• Facilidad de mantenimiento: Como las reglas están predefinidas, se pueden hacer ajustes y correcciones rápidamente.

Contras:

• Reindexación necesaria para nuevos filtros: Cada vez que un nuevo atributo necesita usar como filtro, todo el conjunto de datos debe reindexar para cerciorar que los documentos contengan esta información.

• Falta de adaptación dinámica: Los filtros son estáticos y no se ajustan automáticamente a los cambios en el comportamiento del usuario.

Implementación de filtros/facetas – Enfoque tradicional

En Dev Tools, Kibana, crearemos una demostración de filtros/facetas usando el enfoque tradicional.

Primero, definimos la asignación para estructurar el índice:

Los campos de marca y almacenamiento se establecen como palabra clave, lo que permite usarlos directamente en agregaciones (facetas). El campo de precios es de tipo float, lo que permite la creación de rangos de precio.

En el siguiente paso, los datos del producto se indexarán:

Ahora, recuperemos los aspectos tradicionales agrupando los resultados por marca, almacenamiento y rango de precio. En la consulta, se definió size:0. En este escenario, el objetivo es recuperar solo los resultados de la agregación sin incluir los documentos correspondientes a la consulta.

La respuesta incluirá recuentos para Marca, Almacenamiento y Precio, ayudando a crear filtros y facetas.

Machine learning y enfoque basado en IA para filtros y facetas

En este enfoque, los modelos de Aprendizaje Automático (ML), incluidas las técnicas de Inteligencia Artificial (IA), analizan atributos de datos para generar filtros y facetas relevantes. En lugar de depender de reglas predefinidas, ML/IA aprovecha características de datos indexados. Esto permite el descubrimiento dinámico de nuevas facetas y filtros.

Beneficios:

• Actualizaciones automáticas: Se generan automáticamente nuevos filtros y facetas, sin necesidad de ajustes manuales.

• Descubrimiento de nuevos atributos: Puede identificar características de datos previamente no consideradas como filtros, enriqueciendo la experiencia de búsqueda.

• Reducción del esfuerzo manual: El equipo no necesita definir y actualizar constantemente las reglas de filtrado mientras la IA aprende de los datos disponibles.

Contras:

• Complejidad del mantenimiento: El uso de modelos puede requerir una pre-validación para cerciorar la consistencia de los filtros generados.

• Requiere conocimientos en ML e IA: La solución requiere profesionales cualificados para afinar y monitorizar el rendimiento del modelo.

• Riesgo de filtros irrelevantes: Si el modelo no está bien calibrado, puede generar facetas que no son útiles para los usuarios.

• Costar: El uso de aprendizaje automático e inteligencia artificial puede requerir servicios de terceros, aumentando los costos operativos.

Cabe destacar que, incluso con un modelo bien calibrado y un prompt bien elaborado, los aspectos generados deberían pasar por un paso de revisión. Esta validación puede ser manual o basar en normas de moderación, cerciorando que el contenido sea adecuado y seguro. Aunque no necesariamente supone un inconveniente, es importante cerciorar la calidad e idoneidad de los aspectos antes de que estén disponibles para los usuarios.

Implementación de filtros/facetas – enfoque de IA

En esta demostración, emplearemos un modelo de IA para analizar automáticamente las características del producto y sugerir atributos relevantes. Con un prompt bien estructurado, extraemos información del catálogo y la transformamos en filtros y facetas. A continuación, presentamos cada paso del proceso.

Inicialmente, emplearemos la API de Inferencia para registrar un endpoint para su integración con un servicio de ML. A continuación se muestra un ejemplo de integración con el servicio de OpenAI.

Ahora, definimos la tubería para ejecutar el prompt y obtener los nuevos filtros generados por el modelo.

Ejecutando una simulación de esta tubería para el producto "PlayStation 5", con la siguiente descripción:

Juegos impresionantes: Maravíllate con unos gráficos impresionantes y disfruta de las características de la nueva PS5.

Inmersión impresionante: Descubre una experiencia de juego más profunda con soporte para retroalimentación háptica, disparadores adaptativos y tecnología de audio 3D.

Diseño Slim: Con la Edición Digital PS5, los jugadores cuentan con una tecnología de juego poderoso en un diseño elegante y compacto.

1TB de almacenamiento: Ten tus juegos favoritos listos y esperando para jugar con 1TB de almacenamiento SSD integrado.

Retrocompatibilidad y mejora del juego: La consola PS5 puede reproducir más de 4.000 juegos de PS4. Con Game Boost, incluso puedes disfrutar de tasas de fotogramas más rápidas y fluidas en algunos de los mejores juegos de consola de PS4.

Observemos la salida de prompt generada por esta simulación.

Ahora se agregará un nuevo campo, dynamic_facets, al nuevo índice para almacenar las facetas generadas por la IA.

Usando la API Reindex, reindexaremos el índice de juegos de video a videogames_1, aplicando la generate_filter_ai pipeline durante el proceso. Esta tubería generará automáticamente facetas dinámicas durante la indexación.

Ahora, haremos una búsqueda y obtendremos los nuevos filtros:

Resultados:

Para simbolizar la implementación de las facetas, a continuación se muestra una interfaz sencilla:

El código de la interfaz que se presenta está aquí.

Conclusión

Ambos enfoques para crear filtros y facetas tienen sus beneficios y puntos de preocupación. El enfoque tradicional, basado en reglas manuales, ofrece control y costos más bajos, pero requiere actualizaciones constantes y no se adapta dinámicamente a nuevos productos o funcionalidades.

Por otro lado, el enfoque basado en IA y Aprendizaje Automático automatiza la extracción de facetas, haciendo la búsqueda más flexible y permitiendo el descubrimiento de nuevos atributos sin intervención manual. Sin embargo, este enfoque puede ser más complejo de implementar y mantener, requiriendo calibración para garantizar resultados consistentes.

La elección entre los enfoques tradicionales y basados en IA depende de las necesidades y la complejidad del negocio. Para escenarios más simples, donde los atributos de los datos son estables y previsibles, el enfoque tradicional puede ser más eficiente y fácil de mantener, evitando costos innecesarios con infraestructuras y modelos de IA. Por otro lado, el uso de ML/IA para extraer facetas puede aportar un valor significativo, mejorando la experiencia de búsqueda y haciendo que el filtrado sea más inteligente.

Lo importante es evaluar si la automatización justifica la inversión o si una solución más tradicional ya satisface eficazmente las necesidades del negocio.

Acerca de Amazon Nova

Amazon Nova es una familia de modelos de inteligencia artificial de Amazon, disponibles en Amazon Bedrock y diseñados para ofrecer alto rendimiento y eficiencia en costos. Estos modelos funcionan con entradas de texto, imagen y video, generan salidas textuales y están optimizados para diferentes necesidades de precisión, velocidad y costo.

Modelos principales de Amazon Nova

• Amazon Nova Micro: Centrado exclusivamente en texto, es un modelo rápido y rentable, ideal para traducción, razonamiento, completación de código y resolución de problemas matemáticos. Su generación supera los 200 tokens por segundo, lo que la hace ideal para aplicaciones que requieren respuestas instantáneas.

• Amazon Nova Lite: un modelo multimodal de bajo costo capaz de procesar rápidamente imágenes, vídeos y texto. Destaca por su velocidad y precisión, siendo adecuado para aplicaciones interactivas y de gran volumen donde el costo es un factor relevante.

• Amazon Nova Pro: La opción más avanzada, que combina alta precisión, velocidad y eficiencia de costos. Ideal para tareas complejas como resumen en video, preguntas frecuentes, desarrollo de software y agentes de IA. Las reseñas de expertos atestiguan su excelencia en comprensión textual y visual, así como su capacidad para seguir instrucciones y ejecutar flujos de trabajo automatizados.

Los modelos Amazon Nova son adecuados para una variedad de aplicaciones, desde la creación de contenido y análisis de datos hasta el desarrollo de software y la automatización de procesos impulsada por IA.

A continuación, demostraremos cómo emplear los modelos Amazon Nova junto con Elasticsearch para un análisis automatizado de reseñas de productos.

Lo que haremos:

1. Crea un endpoint mediante Inference API, integrando Amazon Bedrock con Elasticsearch.

2. Crea una tubería usando el Procesador de Inferencia, que hará llamadas al endpoint de la API de Inferencia.

3. Indexa las reseñas de productos y genera automáticamente un análisis de las reseñas usando la canalización.

4. Analiza los resultados de la integración.

Creando un endpoint en la API de inferencia con Amazon Nova Lite

Primero, configuramos la API de Inference para integrar Amazon Bedrock con Elasticsearch. Definimos Amazon Nova Lite, id amazon.nova-lite-v1:0, como modelo a usar, ya que ofrece un equilibrio entre velocidad, precisión y costo.

Nota: Necesitarás credenciales válidas para usar Amazon Bedrock. Puedes consultar la documentación para obtener claves de acceso aquí:

Creación de la cadena de análisis de revisiones

Ahora, creamos una cadena de procesamiento que empleará el Procesador de Inferencia para ejecutar una indicación de análisis de revisión. Este prompt enviará los datos de la reseña a Amazon Nova Lite, que realizará:

• Clasificación de sentimiento (positivo, negativo o neutral).

• Resumen de la reseña.

• Generación de palabras clave.

• Medición de autenticidad (auténtica | sospechosa | genérica).

Reseñas de indexación

Ahora, indexamos las reseñas de productos usando la API Bulk. La tubería creada anteriormente se aplicará automáticamente, agregando el análisis generado por el modelo Nova a los documentos indexados.

Consulta y análisis de los resultados

Finalmente, realizamos una consulta para ver cómo el modelo Amazon Nova Lite analiza y clasifica las reseñas. Al ejecutar productos/_search GET, obtenemos los documentos ya enriquecidos con los campos generados a partir del contenido de la revisión.

El modelo identifica el sentimiento predominante (positivo, neutral o negativo), genera resúmenes concisos, extrae palabras clave relevantes y estima la autenticidad de cada revisión. Estos campos ayudan a entender la opinión del cliente sin necesidad de leer el texto completo.

Para interpretar los resultados, analizamos:

• Sentimiento, que indica la percepción general que el consumidor tiene del producto.

• El resumen, que destaca los puntos principales mencionados.

• Palabras clave, que pueden usar para agrupar opiniones similares o identificar patrones de retroalimentación.

• Autenticidad, que indica si la reseña parece fiable. Esto es útil para la curación o la moderación.

Reflexiones finales

La integración entre Amazon Nova Lite y Elasticsearch demostró cómo los modelos de lenguaje pueden transformar las reseñas en bruto en información estructurada y valiosa. Al procesar las reseñas a través de una canalización, pudimos extraer el sentimiento, la autenticidad, los resúmenes y las palabras clave de forma automática y consistente.

Los resultados muestran que el modelo puede comprender el contexto de las reseñas, clasificar las opiniones de los usuarios y destacar los puntos más relevantes de cada experiencia. Esto crea un conjunto de datos mucho más rico que puede aprovechar para mejorar las capacidades de búsqueda.

Este blog explora cómo los grandes modelos de lenguaje (LLMs) pueden usar para identificar y generar sinónimos automáticamente, permitiendo que estos términos se carguen programáticamente en la API de sinónimos de Elasticsearch.

¿Cuándo usar sinónimos?

El uso de sinónimos puede ser una solución más rápida y rentable en comparación con la búsqueda vectorial. Su implementación es más sencilla ya que no requiere un conocimiento profundo de embeddings ni un proceso complejo de ingestión vectorial.

Además, el consumo de recursos es menor, ya que la búsqueda vectorial exige mayor capacidad de almacenamiento y memoria para incrustar, indexar y recuperar.

Otro aspecto importante es la regionalización de la búsqueda. Con los sinónimos, es posible adaptar términos según el idioma y las costumbres locales. Esto es útil en situaciones donde las incrustaciones pueden no coincidir con expresiones regionales o términos específicos de cada país. Por ejemplo, algunas palabras o siglas pueden tener significados diferentes según la región, pero los usuarios locales los tratan naturalmente como sinónimos. En Brasil, esto es bastante común. "Abacaxi" y "ananás" son la misma fruta (piña), pero el segundo término se usa más comúnmente en algunas regiones del noreste. De manera similar, el conocido "pão francês" en el sudeste puede ser conocido como "pão careca" en el noreste.

¿Cómo usar los LLMs para generar sinónimos?

Para obtener sinónimos automáticamente, podemos usar LLMs, que analizan el contexto de un término y sugieren variaciones apropiadas. Este enfoque permite expandir dinámicamente los sinónimos, cerciorando una búsqueda más amplia y precisa sin depender de un diccionario fijo.

En esta demostración, emplearemos un LLM para generar sinónimos de productos de comercio electrónico. Muchas búsquedas demuestran pocos o ningún resultado debido a las variaciones en los términos consultados. Con sinónimos, podemos resolver este problema. Por ejemplo, una búsqueda de "smartphone" puede abarcar diferentes modelos de teléfonos móviles, cerciorando que los usuarios encuentren los productos que buscan.

Prerrequisitos

Antes de empezar, necesitamos configurar el entorno y definir las dependencias necesarias. Emplearemos la solución proporcionada por Elastic para ejecutar Elasticsearch y Kibana localmente en Docker. El código estará escrito en Python, v3.9.6, con las siguientes dependencias:

Creación del índice de productos

Inicialmente, crearemos un índice de productos sin soporte de sinónimos. Esto nos permitirá validar consultas y luego compararlas con un índice que incluya sinónimos.

Para crear el índice, cargamos en masa un conjunto de datos de producto usando el siguiente comando en Kibana DevTools:

Generación de sinónimos con LLM

En este paso, emplearemos un LLM para generar sinónimos dinámicamente. Para lograrlo, integraremos la API de OpenAI, definiendo un modelo y un prompt apropiados. El LLM recibirá la categoría y el nombre del producto, cerciorando que los sinónimos sean relevantes en el contexto.

A partir del índice de productos creados, recuperaremos todos los artículos de la categoría "Electrónica" y enviaremos sus nombres al LLM. La salida esperada será algo así:

Con los sinónimos generados, podemos registrarlos en Elasticsearch usando la API de Sinónimos.

Gestión de sinónimos con la API de Sinónimos

La API de Sinónimos proporciona una forma eficiente de gestionar conjuntos de sinónimos directamente dentro del sistema. Cada conjunto de sinónimos consiste en reglas de sinónimos, donde un grupo de palabras se considera equivalente en las búsquedas.

Ejemplo de creación de un conjunto de sinónimos

Esto crea un conjunto llamado "mis-sinónimos-conjunto", donde "hola" y "hola" se tratan como equivalentes, así como "adiós" y "adiós".

Implementación de la creación de sinónimos para el catálogo de productos

A continuación se muestra el método responsable de construir un conjunto de sinónimos e insertarlo en Elasticsearch. Las reglas de sinónimos se generan a partir del mapeo de sinónimos sugerido por el LLM. Cada regla tiene un ID, correspondiente al nombre del producto en formato slug, y a la lista de sinónimos calculada por el LLM.

A continuación se muestra la carga útil de la solicitud para crear el conjunto de sinónimos:

Con el conjunto de sinónimos creado en el clúster, podemos pasar al siguiente paso, que es crear un nuevo índice con soporte de sinónimos usando el conjunto definido.

El código completo en Python con los sinónimos generados por LLM y la creación de conjuntos de sinónimos definida por la API de Sinónimos es el siguiente:

Creación de un índice con soporte de sinónimos

Se creará un nuevo índice donde todos los datos del índice de products serán reindexados. Este índice usará la synonyms_filter, que aplica la products-synonyms-set creada anteriormente.

A continuación se muestra el mapeo de índices configurado para usar sinónimos:

Reindexando el índice de products

Ahora, usaremos la API Reindex para migrar los datos del índice de products al nuevo índice de products_02 , que incluye soporte para sinónimos. El siguiente código se ejecutó en Kibana DevTools:

Tras la migración, el índice de products_02 estará llenado y listo para validar búsquedas usando el conjunto de sinónimos configurado.

Validación de la búsqueda con sinónimos

Comparemos los resultados de búsqueda entre los dos índices. Ejecutaremos la misma consulta en ambos índices y validaremos si los sinónimos se están empleando para obtener resultados.

Buscar en el índice de products (sin sinónimos)

Emplearemos a Kibana para realizar búsquedas y analizar los resultados. En el menú de Analítica > Descubrimiento, crearemos una Vista de Datos para visualizar los datos de los índices que creamos.

Dentro de Discovery, haz clic en Vista de datos y define un nombre y un patrón de índice. Para el índice de "productos", usaremos el patrón de "productos". Luego, repetiremos el proceso para crear una nueva Vista de Datos para el índice "products_02", usando el patrón "products_02".

Con las Vistas de Datos configuradas, podemos volver a Analytics > Discovery y comenzar las validaciones.

Aquí, tras seleccionar productos DataView y buscar el término "tablet", no obtenemos resultados, aunque sabemos que existen productos como "Kindle Paperwhite" y "Apple iPad Air".

Buscar en el índice de products_02 (sinónimos de soporte)

Al realizar la misma consulta en la Vista de Datos "products_synonyms", que soporta sinónimos, los productos se recuperaron con éxito. Esto demuestra que el conjunto de sinónimos configurado funciona correctamente, cerciorando que diferentes variaciones de los términos buscados devuelvan los resultados esperados.

Podemos lograr el mismo resultado ejecutando la misma consulta directamente en Kibana DevTools. Simplemente busca en el índice de products_02 usando la API de búsqueda de Elasticsearch:

Conclusión

La implementación de sinónimos en Elasticsearch mejoró la precisión y cobertura de las búsquedas en catálogos de productos. El diferenciador clave era el uso de un LLM, que generaba sinónimos automáticamente y contextualmente, eliminando la necesidad de listas predefinidas. El modelo analizó nombres y categorías de productos, cerciorando sinónimos relevantes para el comercio electrónico.

Además, la API de Sinónimos simplificó la gestión de diccionarios, permitiendo modificar dinámicamente los conjuntos de sinónimos. Con este enfoque, la búsqueda se volvió más flexible y adaptable a diferentes patrones de consulta de usuario.

Este proceso puede mejorar continuamente con nuevos datos y ajustes de modelos, cerciorando una experiencia de investigación cada vez más eficiente.

Referencias

Ejecuta Elasticsearch localmente

https://www.elastic.co/guide/en/elasticsearch/reference/current/run-elasticsearch-locally.html

Sinónimos API

https://www.elastic.co/guide/en/elasticsearch/reference/current/synonyms-apis.html

En este artículo, explicaremos cómo configurar Airbyte para que insienta datos en Elasticsearch, cubriendo conceptos clave, requisitos previos y la integración paso a paso.

Conceptos fundamentales de Airbyte

Airbyte tiene varios conceptos esenciales para su uso. A continuación, destacamos los principales:

• Fuentes: Define el origen de los datos que se extraerá.

• Destinos: Define dónde se enviarán y almacenarán los datos.

• Conexiones: Configura la relación entre la fuente y el destino, incluyendo la frecuencia de sincronización.

Integración de Airbyte con Elasticsearch

En esta demostración, realizaremos una integración en la que los datos almacenados en un cubo S3 serán migrados a un índice Elasticsearch. Mostraremos cómo configurar el código fuente (S3) y el destino (Elasticsearch) en Airbyte.

Prerrequisitos

Para seguir a esta demostración, deben cumplir los siguientes requisitos:

1. Crea un cubo en AWS, donde se almacenarán los archivos JSON que contienen los datos.

2. Instala Airbyte localmente usando Docker.

3. Crea un clúster de Elasticsearch en Elastic Cloud para almacenar los datos ingeridos.

A continuación, detallaremos cada uno de estos pasos.

Instalación de Airbyte

Airbyte puede ejecutar localmente usando Docker o en la nube, donde existen costos asociados al uso. Para esta demostración, usaremos la versión local con Docker.

La instalación puede tardar unos minutos. Tras seguir las instrucciones de instalación, Airbyte estará disponible en: http://localhost:8000.

Luego de iniciar sesión, podemos empezar a configurar la integración.

Creación del cubo

En este paso, necesitarás una cuenta de AWS para crear un bucket S3. Además, es esencial establecer las licencias correctas creando una política y un usuario IAM para permitir el acceso al cubo.

En el bucket, subiremos archivos JSON que contengan diferentes registros de log, que luego serán migrados a Elasticsearch. Los registros de archivos contienen este contenido:

A continuación están los archivos cargados en el cubo:

Configuración de la nube elástica

Para facilitar la demostración, usaremos Elastic Cloud. Si aún no tienes cuenta, puedes crear una cuenta de prueba gratis aquí: Elastic Cloud Registration.

Luego de configurar el despliegue en Elastic Cloud, necesitarás obtener:

• La URL del servidor Elasticsearch.

• Un usuario para acceder a Elasticsearch.

Para obtener la URL, ve a Despliegues > Mi despliegue, en la aplicación, busca Elasticsearch y haz clic en 'Copiar el punto final'.

Para crear el usuario, sigue los pasos a continuación:

1. Accede a Kibana > Stack Management > usuarios.

2. Crea un nuevo usuario con el rol de superusuario.

3. Diligencia el espacio para crear al usuario.

Ahora que lo tenemos todo listo, podemos empezar a configurar los conectores en Airbyte.

Configuración del conector fuente

En este paso, crearemos el conector fuente para S3. Para ello, accederemos a la interfaz de Airbyte y seleccionaremos la opción Fuente en el menú. Luego, buscaremos el conector S3. A continuación, detallamos los pasos necesarios para configurar el conector:

1. Accede a Airbyte y ve al menú de Fuentes.

2. Busca y selecciona el conector S3.

3. Configura los siguientes parámetros:

   1. Nombre de la fuente: Define un nombre para la fuente de datos.

   2. Método de entrega: Seleccionar Réplica de Registros (recomendado para datos estructurados).

   3. Formato de datos: Elige formato JSON.

   4. Nombre del flujo: Define el nombre del índice en Elasticsearch.

   5. Nombre del cubo: Introduce el nombre del cubo en AWS.

   6. Clave de acceso de AWS y clave secreta de AWS: Introduce las credenciales de acceso.

Haz clic en Configurar código fuente y espera la validación.

Conector de destino de configuración

En este paso, configuraremos el conector de destino, que será Elasticsearch. Para ello, accederemos al menú y seleccionaremos la opción Destino. Luego, buscaremos Elasticsearch y haremos clic en el resultado que devolvemos. Ahora, procederemos con la configuración de esta conexión:

1. Accede a Airbyte y ve al menú de Destinos.

2. Busca y selecciona el conector Elasticsearch.

3. Configura los siguientes parámetros:

   1. Método de autenticación: Elige nombre de usuario/contraseña.

   2. Nombre de usuario y contraseña: Emplea las credenciales creadas en Kibana.

   3. Endpoint del servidor: Pega la URL copiada de Elastic Cloud.

Haz clic en Configurar destino y espera la validación.

Creación de la conexión de origen y destino

Una vez creada la Fuente y el Destino, se creará la conexión entre ellos, completando así la creación de la integración.

A continuación se muestran las instrucciones para crear la conexión:

1. En el menú, ve a Conexiones y haz clic en Crear Primera Conexión.

2. En la siguiente pantalla, podrás seleccionar una Fuente existente o crear una nueva. Como ya tenemos una Fuente creada, seleccionaremos la Fuente S3.

3. El siguiente paso será seleccionar el destino. Como ya creamos el conector Elasticsearch, se seleccionará para finalizar la configuración.

En el siguiente paso, será necesario definir el Modo de Sincronización y qué esquema se empleará. Como solo se creó el esquema de registro, será la única opción disponible para la selección.

4. Pasaremos al paso Configurar Conexión. Aquí podemos definir el nombre de la conexión y la frecuencia de ejecución de la integración. La frecuencia puede configurar de tres maneras:

• Cron: Ejecuta las sincronizaciones basar en la expresión cron definida por el usuario (por ejemplo, 0 0 15 * * ?, a las 15:00 todos los días);

• Programado: Ejecuta las sincronizaciones en el intervalo de tiempo especificado (por ejemplo, cada 24 horas, cada 2 horas);

• Manual: Ejecuta las sincronizaciones manualmente.

Para esta demostración, seleccionaremos la opción Manual.

Finalmente, al hacer clic en Configurar conexión, se establecerá la conexión entre la Fuente y el Destino.

Sincronización de datos de S3 a Elasticsearch

Cuando vuelves a la pantalla de Conexiones, puedes ver la conexión que se creó. Para ejecutar el proceso, simplemente haz clic en Sincronizar. A partir de ese momento, comenzará la migración de datos de S3 a Elasticsearch.

Si todo va bien, obtendrás el estado sincronizado.

Visualización de datos en Kibana

Ahora, iremos a Kibana para analizar los datos y comprobar si están indexados correctamente. En la sección Kibana Discovery crearemos una Vista de Datos llamada logs. Con esto, podremos explorar los datos que solo existen en el índice de registros, que se creó tras la sincronización.

Ahora podemos visualizar los datos indexados y realizar análisis sobre ellos. De este modo, validamos todo el flujo de migración usando Airbyte, donde cargamos los datos presentes en el bucket e los indexamos en Elasticsearch.

Conclusión: Integración de Airbyte y Elasticsearch

Airbyte demostró ser una herramienta eficiente para la integración de datos, permitiéndonos conectar varias fuentes y destinos de forma automatizada. En este tutorial, demostramos cómo ingirir datos de un cubo S3 a un índice de Elasticsearch, destacando los pasos principales del proceso.

Este enfoque facilita la ingestión de grandes volúmenes de datos y permite análisis dentro de Elasticsearch, como búsquedas complejas, agregaciones y visualizaciones de datos.

Referencias

Inicio rápido de Airbyte:

https://docs.airbyte.com/using-airbyte/getting-started/oss-quickstart#part-1-install-abctl

Conceptos básicos:

https://docs.airbyte.com/using-airbyte/core-concepts/

¿Qué es LlamaIndex?

LlamaIndex es un marco que facilita la creación de agentes y flujos de trabajo impulsados por Grandes Modelos de Lenguaje (LLMs) para interactuar con datos específicos o privados. Permite la integración de datos de diversas fuentes (APIs, PDFs, bases de datos) con LLMs, facilitando tareas como investigación, extracción de información y generación de respuestas contextualizadas.

Conceptos clave:

• Agentes: Asistentes inteligentes que emplean LLMs para realizar tareas, desde respuestas simples hasta acciones complejas.

• Flujos de trabajo: Procesos de varios pasos que combinan agentes, conectores de datos y herramientas para tareas avanzadas.

• Aumento de contexto: Una técnica que enriquece el LLM con datos externos, superando sus limitaciones de entrenamiento.

Integración de LlamaIndex con Elasticsearch:

Elasticsearch puede usar de varias formas con LlamaIndex:

• Fuente de datos: Emplea el Elasticsearch Reader para extraer documentos.

• Modelo de incrustaciones: Codificar datos en vectores para búsquedas semánticas.

• Almacenamiento vectorial: Emplea Elasticsearch como repositorio para buscar documentos vectorizados.

• Almacenamiento avanzado: Configurar estructuras como resúmenes de documentos o grafos de conocimiento.

Uso de LlamaIndex y Elasticsearch para crear una búsqueda de preguntas frecuentes

Preparación de datos

Usaremos como ejemplo las preguntas frecuentes de Elasticsearch Service . Cada pregunta se extraía de la web y se almacenaba en un archivo de texto individual. Puedes usar cualquier método para organizar los datos; En este ejemplo, elegimos almacenar los archivos localmente.

Archivo de ejemplo:

Luego de almacenar todas las preguntas, el directorio se verá así:

Instalación de dependencias

Implementaremos la ingestión y búsqueda usando el lenguaje Python, la versión que usé fue la 3.9. Como requisito previo, será necesario instalar las siguientes dependencias:

Elasticsearch y Kibana se crearán con Docker, configurados mediante docker-compose.yml para ejecutar la versión 8.16.2. Esto facilita la creación del entorno local.

Ingesta de documentos usando LlamaIndex

Los documentos se indexarán en Elasticsearch usando LlamaIndex. Primero, cargamos los archivos con SimpleDirectoryReader, que permite cargar archivos desde un directorio local. Luego de cargar los documentos, los indexaremos usando el VectorStoreIndex.

Los Vector Stores en LlamaIndex son responsables de almacenar y gestionar las incrustaciones de documentos. LlamaIndex soporta diferentes tipos de Vector Stores, y en este caso, usaremos Elasticsearch. En el StorageContext, configuramos la instancia de Elasticsearch. Dado que el contexto es local, no se requerían parámetros adicionales. Para configuraciones en otros entornos, consulte la documentación para comprobar los parámetros necesarios: ElasticsearchStore Configuration.

Por defecto, LlamaIndex emplea el modelo OpenAI text-embedding-ada-002 para generar embeddings. Sin embargo, en este ejemplo, usaremos el modelo text-embedding-3-small . Es importante señalar que se requerirá una clave API de OpenAI para usar el modelo.

A continuación se muestra el código completo para la ingestión de documentos.

Tras la ejecución, los documentos se indexarán en el índice de preguntas frecuentes como se muestra a continuación:

Búsqueda con RAG

Para realizar búsquedas, configuramos el cliente ElasticsearchStore , configurando los campos index_name y es_url con la URL de Elasticsearch. En retrieval_strategy, definimos la AsyncDenseVectorStrategy para búsquedas vectoriales. También están disponibles otras estrategias, como AsyncBM25Strategy (búsqueda por palabras clave) y AsyncSparseVectorStrategy (vectores dispersos). Se pueden encontrar más detalles en la documentación oficial.

A continuación, se creará un objeto VectorStoreIndex , donde configuramos el vector_store usando el objeto ElasticsearchStore. Con el método as_retriever , realizamos la búsqueda de los documentos más relevantes para una consulta, estableciendo el número de resultados devueltos a 5 mediante el parámetro similarity_top_k .

El siguiente paso es RAG. Los resultados de la búsqueda vectorial se incorporan en un prompt formateado para el LLM, permitiendo una respuesta contextualizada basada en la información recuperada.

En la PromptPlantilla, definimos el formato del prompt, que incluye:

• Contexto ({context_str}): documentos recuperados por el recuperador.

• Consulta ({query_str}): la pregunta del usuario.

• Instrucciones: pautas para que el modelo responda según el contexto, sin depender de conocimientos externos.

Finalmente, el LLM procesa el prompt y devuelve una respuesta precisa y contextual.

El código completo se encuentra a continuación:

Ahora podemos realizar nuestra búsqueda, por ejemplo, "¿Los servicios de Elastic son gratis?" y obtener una respuesta contextualizada basada en los datos de las preguntas frecuentes en sí.

Para generar esta respuesta, se emplearon los siguientes documentos:

Conclusión

Empleando LlamaIndex, demostramos cómo crear un sistema eficiente de búsqueda de preguntas frecuentes con soporte para Elasticsearch como base de datos vectorial. Los documentos se ingieren e indexan mediante incrustaciones, lo que permite búsquedas vectoriales. A través de una PromptPlantilla, los resultados de la búsqueda se incorporan al contexto y se envían al LLM, que genera respuestas precisas y contextualizadas basadas en los documentos recuperados.

Este flujo de trabajo integra la recuperación de información con la generación contextualizada de respuestas para ofrecer resultados precisos y relevantes.

Referencias

https://www.elastic.co/guide/en/cloud/current/ec-faq-getting-started.html

https://docs.llamaindex.ai/en/stable/api_reference/readers/elasticsearch/

https://docs.llamaindex.ai/en/stable/module_guides/indexing/vector_store_index/

https://docs.llamaindex.ai/en/stable/examples/query_engine/custom_query_engine/

https://www.elastic.co/search-labs/integrations/llama-index

La búsqueda por facetas es una herramienta poderosa en las plataformas de comercio electrónico. Ayuda a organizar y refinar los resultados de búsqueda en función de las características de los elementos mostrados. Aunque a menudo se confunden con filtros, los aspectos funcionan de forma diferente. Los filtros son atributos fijos, definidos por la información siempre presente en el índice, como la categoría o formato de un producto. Las facetas, en cambio, son dinámicas y se generan a partir de los resultados devueltos por la búsqueda ejecutada.

Imagina un catálogo de ropa: campos como "categoría" (por ejemplo, camisetas, pantalones) o "género" (por ejemplo, hombre, mujer) son filtros que ayudan a reducir los resultados. Sin embargo, los aspectos reflejan características específicas de los productos que aparecen en los resultados, como colores comunes, tamaños disponibles o materiales. Esto permite una experiencia de búsqueda más adaptable y contextual.

A continuación hay una imagen donde interactuamos con una faceta y podemos ver los resultados de búsqueda filtrados por ella.

Cómo la IA puede mejorar la generación de facetas

La inteligencia artificial suele asociar con la búsqueda semántica y las incrustaciones, pero ¿qué pasa con los aspectos? ¿Cómo se puede aprovechar la IA para que los aspectos sean más útiles y específicos del contexto para cada búsqueda?

Una posibilidad intrigante es emplear la IA para crear nuevas categorizaciones que vayan más allá de las clasificaciones tradicionales del índice. Al analizar características específicas del contenido, estas nuevas categorías pueden proporcionar una contextualización más rica y precisa, haciendo que los aspectos sean más relevantes y alineados con las necesidades de los usuarios. Esto permite un refinamiento más significativo de los resultados en comparación con las categorías originales de documentos.

Cómo la IA puede refinar las clasificaciones de películas para obtener mejores búsquedas

Analicemos las siguientes películas, todas actualmente clasificadas dentro del género Drama:

• Réquiem por un sueño Resumen: Las utopías inducidas por las drogas de cuatro personas de Coney Island se rompen cuando sus adicciones son profundas.

• Belleza americana Currículum: Un padre suburbano sexualmente frustrado sufre una crisis de la mediana edad tras enamorar de la mejor colega de su hija.

• Búsqueda de Buena Voluntad Currículum: Will Hunting, conserje en el M.I.T., tiene un don para las matemáticas, pero necesita ayuda de un psicólogo para encontrar un rumbo en su vida.

Esta clasificación de género no capta las diferencias sutiles ni los contextos únicos de cada película. Aprovechando la IA para analizar resumen y temas centrales, podemos crear nuevas categorías que reflejen mejor el contexto real de cada película. Por ejemplo:

• Réquiem por un sueño - Nueva categoría: "Adicción y dependencia"

• American Beauty - Nueva categoría: "Crisis de la mediana edad"

• Búsqueda de Buena Voluntad - Nueva categoría: "Lucha Intelectual"

Estas nuevas categorías hacen que las búsquedas sean mucho más precisas y ofrecen a los usuarios filtros más significativos para refinar sus resultados. Este enfoque es especialmente efectivo cuando las categorías originales son demasiado genéricas, permitiendo a los usuarios encontrar exactamente lo que buscan con mayor facilidad.

Creación de nuevas categorías con GPT-4: Ejemplo de búsqueda facetada

En este ejemplo, mostraremos cómo un modelo de IA puede emplear para crear nuevas categorías de películas que sean más precisas y alineadas con el contexto de cada obra. Para demostrar este proceso, emplearemos la cadena de simulación Elastic junto con el servicio de inferencia OpenAI. Se creará una tubería con varios procesadores, incluido el Script Processor, que será responsable de crear el prompt que se ejecutará en el Inference Processor, capaz de determinar las nuevas categorías. Los otros procesadores se emplearán para manipular los datos y los campos auxiliares generados durante la ejecución de la pipeline. Cabe mencionar que esta lógica también puede aplicar con otras herramientas o modelos similares.

Primero, necesitamos crear el endpoint de inferencia, donde definimos el servicio como OpenAI, el token necesario para acceder al servicio y el modelo. En este ejemplo, estoy usando gpt-4o-mini. Para más detalles sobre el servicio de inferencia OpenAI haz clic aquí.

Con el endpoint creado, ya estamos listos para usarlo y crear las nuevas categorías. A continuación se muestra una pipeline que gestiona todo el proceso de manipulación de datos documentales y generación de prompts. Voy a explicar la función de cada procesador en detalle.

El primer procesador será responsable de construir el prompt. Es muy importante detallar claramente las instrucciones para que la IA pueda analizar e identificar correctamente los temas. En este prompt, aplicar 2 temas basándome en el análisis del título, la descripción y los géneros de las películas.

La siguiente tubería es la de inferencia, recibirá el prompt y lo enviará a nuestro punto final generate_topics_ia . La respuesta generada por el modelo se almacenará en el campo de resultados.

A continuación, tenemos 3 procesadores que manipulan la respuesta y la configuran en el campo de temas, además de eliminar campos temporales que creé.

Al ejecutar esta canalización, veremos los resultados a continuación:

Cabe destacar que tenemos nuevas categorías más relacionadas con el contexto de las películas, aunque algunas son inicialmente del mismo género.

Ahora podemos usar estas nuevas categorías e indexarlas junto con el documento. De este modo, al generar las facetas, además de la categoría principal, tenemos subcategorías más específicas alineadas con el contexto de las películas.

Además, es posible vectorizar estas nuevas categorías y usarlas en búsquedas vectoriales. Esto significa que las nuevas categorías no solo sirven como filtros, sino que también pueden usar para calcular similitudes semánticas con los términos de búsqueda, aumentando aún más la relevancia de los resultados presentados.

Pipeline completo:

Conclusión

Emplear IA para mejorar aspectos puede transformar la experiencia de búsqueda al hacer que los resultados sean más específicos y contextuales. A diferencia de las categorías fijas, que suelen ser amplias, las categorías generadas por IA pueden reflejar mejor el contexto. Por ejemplo, al reclasificar películas, podemos captar el contexto que las categorías principales no mencionan, proporcionando agrupaciones mucho más relevantes.

Estas nuevas categorías pueden agregar al índice no solo para mejorar el facetado, sino también para habilitar búsquedas vectoriales. El resultado es una experiencia de búsqueda más eficiente, con filtros más alineados con el contexto.

Referencias

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-openai.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/script-processor.html

Apache Airflow es una plataforma diseñada para crear, programar y monitorizar flujos de trabajo. Se emplea para orquestar procesos ETL, pipelines de datos y otros flujos de trabajo complejos, ofreciendo flexibilidad y escalabilidad. Su interfaz visual y capacidades de monitorización en tiempo real hacen que la gestión de tuberías sea más accesible y eficiente, permitiéndote seguir el progreso y los resultados de tus ejecuciones. A continuación se presentan sus cuatro pilares principales:

• Dinámico: Las canalizaciones están definidas en Python, lo que permite una generación dinámica y flexible de flujos de trabajo.

• Extensible: Airflow puede integrar con una variedad de entornos, crear operadores personalizados y ejecutar código específico según sea necesario.

• Elegante: Los pipelines se escriben de manera limpia y explícita.

• Escalable: Su arquitectura modular emplea una cola de mensajes para orquestar un número arbitrario de trabajadores.

En la práctica, el flujo de aire puede emplear en escenarios como:

• Importación de datos: Orquestar la ingestión diaria de datos en una base de datos como Elasticsearch.

• Monitorización de registros: Gestionar la recopilación y procesamiento de archivos de registro, que luego se analizan en Elasticsearch para identificar errores o anomalías.

• Integración de múltiples fuentes de datos: Combina información de diferentes sistemas (APIs, bases de datos, archivos) en una sola capa en Elasticsearch, simplificando la búsqueda y la elaboración de reportes.

Comprendiendo los DAG (Grafos Acíclicos Dirigidos) en el flujo de aire

En Airflow, los flujos de trabajo se representan mediante DAGs (Grafos Acíclicos Dirigidos). Un DAG es una estructura que define la secuencia en la que se ejecutarán las tareas. Las principales características de los DAG son:

• Composición por tareas independientes: Cada tarea representa una unidad de trabajo y está diseñada para ejecutar de forma independiente.

• Secuenciación: La secuencia en la que se ejecutan las tareas está definida explícitamente en el DAG.

• Reusabilidad: Los DAG están diseñados para ejecutar repetidamente, facilitando la automatización de procesos.

Componentes de flujo de aire

El ecosistema Airflow está compuesto por varios componentes que trabajan juntos para orquestar tareas:

• Programador: Responsable de programar los DAGs y enviar tareas para su ejecución por parte de los trabajadores.

• Ejecutor: Gestiona la ejecución de las tareas, delegándolas a los trabajadores.

• Servidor sitio web: Proporciona una interfaz gráfica para interactuar con DAGs y tareas.

• Carpeta Dags: Carpeta donde almacenamos los DAGs escritos en Python.

• Metadatos: Base de datos que sirve como repositorio para la herramienta, empleada por el planificador y el ejecutor para almacenar el estado de ejecución.

Apache Airflow y Elasticsearch

Demostraremos el uso de Apache Airflow y Elasticsearch para orquestar tareas e indexar resultados en Elasticsearch. El objetivo de esta demostración es crear una cadena de tareas para actualizar registros en un índice de Elasticsearch. Este índice contiene una base de datos de películas, donde los usuarios pueden valorar y asignar valoraciones. Imaginando un escenario con cientos de audiencias diarias, es necesario mantener actualizado el registro de audiencias. Para ello, se desarrollará un DAG que se ejecutará diariamente, responsable de recuperar las nuevas calificaciones consolidadas y actualizar los registros en el índice.

En el flujo del DAG, tendremos una tarea para obtener las valoraciones, seguida de otra tarea para validar los resultados. Si los datos no existen, el DAG será dirigido a una tarea de fallo. De lo contrario, los datos se indexarán en Elasticsearch. El objetivo es actualizar el campo de calificación de las películas en un índice recuperando las calificaciones mediante un método con el mecanismo responsable de calcular los puntajes.

Usando Apache Airflow y Elasticsearch con Docker

Para crear un entorno contenedorizado, usaremos Apache Airflow con Docker. Sigue las instrucciones de la guía "Running Airflow en Docker" para configurar Airflow de forma práctica.

En cuanto a Elasticsearch, usaré un clúster en Elastic Cloud, pero si prefieres, también puedes configurar Elasticsearch con Docker. Ya se creó un índice que contiene un catálogo de películas, con los datos de las películas indexados. El campo de 'calificación' de estas películas se actualizará.

Creación del DAG

Tras instalarla mediante Docker, se creará una estructura de carpetas, incluyendo la carpeta dags, donde debemos colocar nuestros archivos DAG para que Airflow los reconozca.

Antes de eso, debemos cerciorarnos de que las dependencias necesarias estén instaladas. Estas son las dependencias de este proyecto:

Crearemos el archivo update_ratings_movies.py y empezaremos a programar las tareas.

Ahora, importemos las bibliotecas necesarias:

Emplearemos el ElasticsearchPythonHook, un componente que simplifica la integración entre Airflow y un clúster de Elasticsearch al abstraer la conexión y el uso de APIs externas.

A continuación, definimos el DAG, especificando sus argumentos principales:

• dag_id: el nombre del DAG.

• start_date: cuando empezará el DAG.

• schedule: define la periodicidad (diaria en nuestro caso).

• doc_md: documentación que se importará y mostrará en la interfaz Airflow.

Definición de las tareas

Ahora, definamos las tareas del DAG. La primera tarea será la de recuperar los datos de valoración de la película. Usaremos el PythonOperator con la task_id configurada en 'get_movie_ratings'. El parámetro python_callable llamará a la función responsable de obtener las valoraciones.

A continuación, necesitamos validar si los resultados son válidos. Para esto, usaremos un condicional con un operador BranchPython. La task_id será 'validate_result', y la python_callable llamará a la función de validación. El parámetro op_args se empleará para pasar el resultado de la tarea anterior, 'get_movie_ratings', a la función de validación.

Si la validación tiene éxito, tomaremos los datos de la tarea 'get_movie_ratings' e los indexaremos en Elasticsearch. Para lograrlo, crearemos una nueva tarea, 'index_movie_ratings', que empleará el PythonOperator. El parámetro op_args pasará los resultados de la tarea 'get_movie_ratings' a la función de indexación.

Si la validación indica un fallo, el DAG procederá a una tarea de notificación de fallo. En este ejemplo, simplemente imprimimos un mensaje, pero en un escenario real podríamos configurar alertas para notificar sobre los fallos.

Finalmente, definimos las dependencias de las tareas, cerciorándonos de que se ejecuten en el orden correcto:

Ahora sigue el código completo de nuestro DAG:

Visualización de la ejecución del DAG

En la interfaz Apache Airflow, podemos visualizar la ejecución de los DAGs. Simplemente ve a la pestaña "DAGs" y localiza el DAG que creaste.

A continuación, podemos visualizar las ejecuciones de las tareas y sus respectivos estados. Al seleccionar una ejecución para una fecha específica, podemos acceder a los registros de cada tarea. Ten en cuenta que en la tarea index_movie_ratings podemos ver los resultados de indexación en el índice y que se completó con éxito.

En las otras pestañas, es posible acceder a información adicional sobre las tareas y el DAG, ayudando en el análisis y resolución de posibles problemas.

Conclusión

En este artículo, demostramos cómo integrar Apache Airflow con Elasticsearch para crear una solución de ingestión de datos. Mostramos cómo configurar el DAG, definir las tareas responsables de recuperar, validar e indexar datos de video, así como monitorizar y visualizar la ejecución de estas tareas en la interfaz Airflow.

Este enfoque puede adaptar fácilmente a diferentes tipos de datos y flujos de trabajo, haciendo de Airflow una herramienta útil para orquestar pipelines de datos en diversos escenarios.

Referencias

Apache AirFlow

https://airflow.apache.org/

Instalar Apache Airflow con Docker

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Elasticsearch Python Hook

https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/stable/hooks/elasticsearch_python_hook.html

Operador Python

https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/python.html

Prerrequisitos

• Docker y Docker Compose: Cerciórate de tener Docker y Docker Compose instalados en tu máquina.

• Python 3.x: Para ejecutar los scripts de productor y consumidor.

Introducción a Apache Kafka

Apache Kafka es una plataforma de streaming distribuida que permite una alta escalabilidad y disponibilidad, así como tolerancia a fallos. En Kafka, la gestión de datos se realiza a través de los componentes principales:

• Intermediario: responsable de almacenar y distribuir mensajes entre productores y consumidores.

• Zookeeper: gestiona y coordina los corredores Kafka, controlando el estado del clúster, los líderes de partición y la información del consumidor.

• Temas: canales donde se publican y almacenan datos para su consumo.

• Consumidores y productores: mientras los productores envían datos a los temas, los consumidores recuperan esos datos.

Estos componentes trabajan juntos para formar el ecosistema Kafka, proporcionando un marco robusto para el flujo de datos.

Estructura del proyecto

Para entender el proceso de ingesta de datos, lo dividimos en etapas:

• Aprovisionamiento de infraestructura: configurar el entorno Docker para soportar Kafka, Elasticsearch y Kibana.

• Creación de productores: implementando el Productor Kafka, que envía datos al tema de registros.

• Creación de Consumidores: desarrollar el Consumidor Kafka para leer e indexar mensajes en Elasticsearch.

• Validación de ingestión: verificar y validar los datos enviados y consumidos.

Configuración de infraestructura con Docker Compose

Empleamos Docker Compose para configurar y gestionar los servicios necesarios. A continuación, encontrarás el código Docker Compose que configura cada servicio necesario para la integración de Apache Kafka, Elasticsearch y Kibana, cerciorando un proceso de ingestión de datos.

Puedes acceder al archivo directamente desde el repositorio de GitHub de Elasticsearch Labs.

Envío de datos con el productor Kafka

El productor es responsable de enviar mensajes al tema de los logs. Al enviar mensajes en lotes, aumenta la eficiencia del uso de la red, permitiendo optimizaciones con los ajustes de batch_size y linger_ms , que controlan la cantidad y latencia de los lotes, respectivamente. La acks='all' de configuración garantiza que los mensajes se almacenen de forma duradera, lo cual es esencial para los datos de registro importantes.

Al iniciar el productor, los mensajes se envían en lotes sobre el tema, como se muestra a continuación:

Consumo e indexación de datos con el Kafka Consumer

El consumidor está diseñado para procesar mensajes de forma eficiente, consumiendo lotes del tema de logs e indexándolos en Elasticsearch. Con auto_offset_reset='latest', se cerciora que el consumidor empiece a procesar los mensajes más recientes, ignorando los antiguos, y max_poll_records=10 limita el lote a 10 mensajes. Con fetch_max_wait_ms=2000, el consumidor espera hasta 2 segundos para acumular suficientes mensajes antes de procesar el lote.

En su bucle principal, el consumidor consume mensajes de registro, procesa e indexa cada lote en Elasticsearch, cerciorando la ingestión continua de datos.

Visualización de datos en Kibana

Con Kibana, podemos explorar y validar los datos ingeridos de Kafka e indexados en Elasticsearch. Accediendo a Dev Tools en Kibana, puedes ver los mensajes indexados y confirmar que los datos son los esperados. Por ejemplo, si nuestro productor Kafka enviara 5 lotes de 10 mensajes cada uno, deberíamos ver un total de 50 registros en el índice.

Para verificar los datos, puedes usar la siguiente consulta en la sección de Herramientas de desarrollo :

Respuesta:

Además, Kibana ofrece la capacidad de crear visualizaciones y paneles que pueden ayudar a que el análisis sea más intuitivo e interactivo. A continuación, podéis ver algunos ejemplos de los paneles y visualizaciones que creamos, que ilustran los datos en varios formatos, mejorando nuestra comprensión de la información procesada.

Ingesta de datos con Kafka Connect

Kafka Connect es un servicio diseñado para facilitar la integración entre fuentes de datos y destinos (sumideros), como bases de datos o sistemas de archivos. Opera con conectores predefinidos que gestionan el movimiento de datos automáticamente. En nuestro caso, Elasticsearch funciona como el sumidero de datos.

Con Kafka Connect, podemos simplificar el proceso de ingesta de datos, eliminando la necesidad de implementar manualmente el flujo de trabajo de ingestión de datos en Elasticsearch. Con el conector adecuado, Kafka Connect permite que los datos enviados a un tema Kafka se indexen directamente en Elasticsearch con una configuración mínima y sin necesidad de codificación adicional.

Trabajando con Kafka Connect

Para implementar Kafka Connect, agregaremos el servicio kafka-connect a nuestra configuración de Docker Compose. Una parte clave de esta configuración es la instalación del conector Elasticsearch, que gestionará la indexación de datos.

Tras configurar el servicio y crear el contenedor Kafka Connect, será necesario un archivo de configuración para el conector Elasticsearch. Este archivo define parámetros esenciales como:

• connection.url: URL de conexión para Elasticsearch.

• topics: El tema de Kafka que el conector monitorizará (en este caso, "logs").

• type.name: Tipo de documento en Elasticsearch (normalmente _doc).

• value.converter: Convierte los mensajes Kafka a formato JSON.

• value.converter.schemas.enable: Especifica si el esquema debe incluir.

• schema.ignore y key.ignore: Ajustes para ignorar esquemas y claves de Kafka durante la indexación.

A continuación se muestra el comando curl para crear el conector Elasticsearch en Kafka Connect:

Con esta configuración, Kafka Connect comenzará automáticamente a ingerir los datos enviados al tema de "logs" e indexarlos en Elasticsearch. Este enfoque permite la ingesta e indexación de datos totalmente automatizada sin necesidad de codificación adicional, simplificando así todo el proceso de integración.

Conclusión

Integrar Kafka y Elasticsearch crea una poderosa cadena de procesamiento y análisis de datos en tiempo real. Esta guía proporciona un enfoque fundamental para construir una arquitectura robusta de ingestión de datos, con visualización y análisis fluidos en Kibana, lista para adaptar a requisitos más complejos en el futuro.

Además, usar Kafka Connect hace que la integración entre Kafka y Elasticsearch sea aún más ágil, eliminando la necesidad de código adicional para procesar e indexar datos. Kafka Connect permite que los datos enviados a un tema específico se indexen automáticamente en Elasticsearch con una configuración mínima.

Además de integrar la búsqueda híbrida, demostraremos cómo agregar funciones que hagan que tu solución de búsqueda sea aún más robusta. Estas incluyen facetados y promociones personalizadas de productos. Además, te mostraremos cómo capturar las interacciones del usuario y generar información valiosa empleando la herramienta de Análisis de Comportamiento de Elastic.

En esta implementación, verás cómo construir tanto la interfaz que permite a los usuarios ver e interactuar con los resultados de búsqueda como la API responsable de devolver la información. Para acceder a los repositorios con el código fuente, los enlaces se proporcionan a continuación:

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/product-store-search

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/app-product-store

Dividimos esta guía en varios pasos, desde la creación del índice hasta la implementación de funciones avanzadas como el facetado y la personalización de resultados. Al final, tendrás una solución de búsqueda robusta lista para usar en un escenario de comercio electrónico.

Configuración de entornos para búsqueda híbrida de comercio electrónico

Antes de comenzar la implementación, necesitamos configurar el entorno. Puedes elegir usar un servicio en Elastic Cloud o una solución contenedora para gestionar Elasticsearch. Si eliges contenerización, en este repositorio puedes encontrar una configuración mediante Docker Compose: docker-compose.yml.

Creación de índices e ingesta de catálogos de productos

El índice se creará a partir de un catálogo de productos cosméticos, que incluye campos como nombre, descripción, foto, categoría y etiquetas. Los campos usados para la búsqueda en texto completo, como "nombre" y "descripción", se mapearán como text, mientras que los campos usados para agregaciones, como "categoría" y "marca", se mapearán como keyword para permitir el facetado.

El campo "descripción" se empleará para la búsqueda vectorial, ya que proporciona más contexto sobre los productos. Este campo se definirá como dense_vector, almacenar la representación vectorial de la descripción.

El mapeo del índice será el siguiente:

El script para crear el índice se puede encontrar aquí.

Generación de incrustación

Para vectorizar las descripciones de productos, empleamos el modelo all-MiniLM-L6-v2. En este caso, la aplicación es responsable de generar las incrustaciones antes de indexar. Otra opción sería importar el modelo al clúster de Elasticsearch, pero para este entorno local, elegimos realizar la vectorización directamente dentro de la aplicación.

Empleamos el conjunto de datos cosméticos disponible en Kaggle para poblar el índice y, para mejorar la eficiencia de la ingesta de datos, empleamos procesamiento por lotes. Durante esta misma etapa de ingestión, generaremos las incrustaciones para el campo "descripción" e indexarémolas en el nuevo campo "description_embeddings".

El proceso completo de ingesta de datos puede seguir y ejecutar directamente a través del Jupyter Notebook disponible en el repositorio. El cuaderno ofrece una guía paso a paso sobre cómo se leen, procesan e indexan los datos en Elasticsearch, permitiendo una fácil replicación y experimentación.

Puedes acceder al cuaderno en el siguiente enlace: Cuaderno de Ingestión.

Implementación de búsqueda híbrida

Ahora, implementemos la búsqueda híbrida. Para la búsqueda basada en palabras clave, usamos la consulta multi_match , dirigida a los campos "nombre", "categoría" y "descripción". Esto garantiza que se recuperen los documentos que contienen el término de búsqueda en cualquiera de estos campos.

Para la búsqueda vectorial, usamos la consulta KNN. El término de búsqueda debe vectorizarse antes de ejecutar la consulta, y esto se hace usando el método que vectoriza el término de entrada. Ten en cuenta que el mismo modelo usado durante la ingestión también se emplea para el término de búsqueda.

La combinación de ambas búsquedas se realiza mediante el algoritmo de Fusión de Rango Recíproco (RRF), que fusiona los resultados de ambas consultas y aumenta la precisión de la búsqueda al reducir el ruido. RRF permite que tanto las búsquedas basadas en palabras clave como las vectoriales trabajen conjuntamente, mejorando la comprensión de la consulta del usuario.

Comparando resultados: búsqueda por palabras clave vs. búsqueda híbrida

Ahora, comparemos los resultados de una búsqueda tradicional por palabras clave con la búsqueda híbrida. Al buscar "base para piel seca" usando la búsqueda por palabras clave, obtenemos los siguientes resultados:

1. Maquillaje Revlon ColorStay para piel normal / secaDescripción: Revlon ColorStay Makeup ofrece una cobertura duradera con una fórmula ligera que no se desvanece, ni se desvanece. Con Time Release \nTechnology, esta fórmula sin aceites y con equilibrio de humedad está especialmente formulada para piel normal o seca para proporcionar hidratación continua. Características: El maquillaje resulta cómodo y se usa hasta 24 horas\nCobertura media a total\nDisponible en una gama de tonos preciosos

2. Maybelline Dream Smooth Mousse BaseDescripción: Por qué te encantaráLa base única batida con crema ofrece una perfección 100% suave para bebés.\n\nPiel Se ve y se siente hidratado durante 14 horas - nunca áspero ni seco\tLa fórmula ligera ofrece una cobertura perfectamente hidratante\�Se difumina perfectamente y se siente fresca todo el día\tSin aceite, sin fragancia, probado por dermatólogos, probado por alergias, no comedogénico \u2019 no obstruirá los poros.\nSeguro Para piel sensible.

Análisis: Al buscar "base para piel seca", los resultados se obtuvieron mediante la coincidencia exacta entre las palabras clave de búsqueda y los títulos y descripciones de los productos. Sin embargo, este partido no siempre refleja la mejor elección. Por ejemplo, el maquillaje Revlon ColorStay para piel normal / seca es una buena opción, ya que está formulado específicamente para piel seca. Aunque no contiene aceite, su fórmula está diseñada para proporcionar hidratación continua. En cambio, también recibimos la Maybelline Dream Smooth Mousse Foundation, que, aunque sin aceite y mencionando hidratación, suele recomendar más para piel grasa o mixta, ya que los productos sin aceite tienden a centrar en controlar el sebo en lugar de proporcionar la hidratación extra necesaria para la piel seca. Esto pone de manifiesto la limitación de las búsquedas basadas en palabras clave, que pueden devolver productos que no satisfacen completamente las necesidades específicas de las personas con piel seca.

Ahora, al realizar la misma búsqueda usando el enfoque híbrido:

1. CoverGirl Outlast Stay Luminous Foundation Creamy Natural (820):D escription: CoverGirl Outlast Stay Luminous Foundation es perfecta para lograr un acabado luminoso y un brillo sutil. Es sin aceites, con una fórmula no grasienta que da a tu piel una luminosidad natural que dura todo el día. Esta base de maquillaje durante todo el día hidrata la piel y proporciona una cobertura impecable. Análisis: Este producto es una combinación relevante porque enfatiza la hidratación, algo fundamental para usuarios con piel seca. Los términos "hidrata la piel" y "acabado húmedo" coinciden con la intención del usuario de encontrar una base para piel seca. La búsqueda vectorial probablemente entendió el concepto de hidratación y lo relacionó con la necesidad de una base que trate la piel seca.

2. Maquillaje Revlon ColorStay para piel normal / seca: Descripción: El maquillaje Revlon ColorStay ofrece una cobertura duradera con una fórmula ligera que no se empacha, no se desvanece ni se desprende de la piel. Con la Tecnología de Liberación Prolongada, esta fórmula sin aceites y equilibrada por la humedad está especialmente formulada para pieles normales o secas para proporcionar hidratación continua. Análisis: Este producto responde directamente a las necesidades de los usuarios con piel seca, mencionando explícitamente que está formulado para piel normal o seca. La "fórmula de equilibrio de humedad" y la hidratación continua son ideales para quien busca una base adaptada a la piel seca. La búsqueda vectorial recuperó con éxito este resultado, no solo por la coincidencia de palabras clave, sino también por el enfoque en la hidratación y la mención específica de la piel seca como grupo objetivo.

3. Base de SérumDescripción: Las bases sérum son formulaciones ligeras de cobertura media disponibles en una amplia gama de tonos en 21 tonos. Estas bases ofrecen una cobertura moderada que parece natural y con una sensación de sérum muy ligera. Tienen una viscosidad muy baja y se dispensan con la bomba suministrada o con el gotero de vidrio opcional, disponible para su compra por separado si se prefiere. Análisis: En este caso, la descripción enfatiza una base sérum ligera con un toque natural, que se adapta a las necesidades de las personas con piel seca, ya que suelen buscar productos suaves, hidratantes y que ofrezcan un acabado no empalagoso. La búsqueda vectorial probablemente captó el contexto más amplio de la ligera y la cobertura natural y la textura similar al sérum, que se asocia con la retención de humedad y una aplicación cómoda, lo que la hace relevante para piel seca, aunque el término "piel seca" no se mencione explícitamente.

Implementación de facetas

Los aspectos son esenciales para refinar y filtrar los resultados de búsqueda de forma eficiente, proporcionando a los usuarios una navegación más enfocada, especialmente en escenarios con una gran variedad de productos, como el comercio electrónico. Permiten a los usuarios ajustar los resultados según atributos como categoría, marca o precio, haciendo la búsqueda más precisa. Para implementar esta función, empleamos agregaciones de términos en los campos category y brand , que se definieron como keyword durante la fase de creación del índice.

El código completo de la implementación se puede encontrar aquí.

A continuación se vean los resultados de la búsqueda de "base para piel seca":

Personalización de resultados: consultas fijadas

En algunos casos, puede ser beneficioso promocionar ciertos productos en los resultados de búsqueda. Para esto, usamos Consultas Fijadas, que permiten que productos específicos aparezcan en la parte superior de los resultados. A continuación, realizaremos una búsqueda del término "Fundación" sin promocionar ningún producto:

En nuestro ejemplo, podemos promocionar productos que lleven la etiqueta "Sin gluten". Al emplear los identificadores de producto, nos cercioramos de que se prioricen en los resultados de búsqueda. En concreto, promocionaremos los siguientes productos: Serum Foundation (ID: 1043), Coverage Foundation (ID: 1042) y Realist Invisible Setting Powder (ID: 1039).

Empleamos identificadores de producto específicos para cerciorarnos de que se prioricen en los resultados de la consulta. La estructura de la consulta incluye una lista de IDs de producto que deben estar "fijados" en la parte superior (en este caso, IDs 1043, 1042 y 1039), mientras que los resultados restantes siguen el flujo orgánico de la búsqueda, usando una combinación de condiciones como la consulta de texto en los campos "nombre", "categoría", y "descripción". De este modo, es posible promocionar los elementos de forma controlada, cerciorando su visibilidad, mientras que el resto de la búsqueda se basa en la relevancia habitual.

A continuación, puedes ver el resultado de la ejecución de la consulta con los productos promovidos:

El código completo de la consulta se puede encontrar aquí.

Análisis del comportamiento de búsqueda con análisis conductual

Hasta ahora, ya agregamos funcionalidades para mejorar la relevancia de los resultados de búsqueda y facilitar la descubribilidad del producto. Ahora, finalizaremos nuestra solución de búsqueda incluyendo una función que nos ayudará a analizar el comportamiento de búsqueda de los usuarios, identificando patrones como consultas con o sin resultados y clics en los resultados. Para ello, emplearemos la función de Análisis de Comportamiento proporcionada por Elastic. Con él, en solo unos pocos pasos, podemos monitorizar y analizar el comportamiento de búsqueda de los usuarios, obteniendo información valiosa para optimizar la experiencia de búsqueda.

Creación de la colección de análisis de comportamiento

Nuestra primera acción será crear una colección que será responsable de recibir todos los eventos de análisis de conducta. Para crear la colección, accede a la interfaz Kibana en Search > Behavioral Analytics. En el ejemplo siguiente, creamos la colección llamada tracking-search.

Integración del análisis de comportamiento en la interfaz

Nuestra aplicación front-end fue desarrollada en JavaScript y, para integrar Behavioral Analytics, seguiremos los pasos descritos en la documentación oficial de Elastic para instalar el Behavioral Analytics JavaScript Tracker.

Implementación del rastreador JavaScript

Ahora, importaremos el cliente tracker a nuestra aplicación y usaremos los métodos trackPageView, trackSearchy trackSearchClick para capturar las interacciones del usuario.

Aviso legal: Aunque estamos empleando una herramienta para recopilar datos de interacción de usuarios, es esencial garantizar el cumplimiento del RGPD. Esto significa informar claramente a los usuarios sobre qué datos se están recopilando, cómo se emplearán y ofrecer la opción de optar por no participar en el seguimiento. Además, debemos implementar medidas de seguridad estables para proteger la información recopilada y respetar los derechos de los usuarios, como el acceso y la eliminación de datos, cerciorando que todos los pasos cumplan con los principios del RGPD.

Paso 1: Creación de la instancia del rastreador

Primero, crearemos la instancia tracker que monitorizará las interacciones. En esta configuración, definimos el punto final objetivo, el nombre de la colección y la clave API:

Paso 2: Captura de vistas de página

Para registrar las visualizaciones de página, podemos configurar el evento trackPageView :

Para más detalles sobre el evento trackPageView , puedes consultar esta documentación.

Paso 3: Captura de consultas de búsqueda

Para monitorizar las acciones de búsqueda de los usuarios, emplearemos el método trackSearch :

Aquí estamos recopilando el término de búsqueda y los resultados de la búsqueda.

Paso 4: Seguimiento de clics en los resultados de búsqueda

Por último, para capturar clics en los resultados de búsqueda, emplearemos el método trackSearchClick :

Recopilamos información sobre el ID del documento al que se hace clic, así como el término de búsqueda y los resultados.

Análisis de los datos en Kibana

Ahora que se están capturando eventos de interacción de usuarios, podemos obtener datos valiosos sobre las acciones de búsqueda. Kibana emplea la herramienta de Análisis del Comportamiento para visualizar y analizar estos datos conductuales. Para ver los resultados, simplemente navega a Búsqueda > Análisis de Comportamiento > Mi Colección, donde se mostrará un resumen de los eventos capturados.

En esta visión general, obtenemos una visión general de los eventos capturados para cada acción integrada en nuestra interfaz. A partir de esta información, podemos obtener información valiosa sobre el comportamiento de búsqueda de los usuarios. Sin embargo, si quieres crear paneles personalizados con métricas más relevantes para tu escenario específico, Kibana ofrece herramientas poderosas para crear paneles, permitiéndote crear diversas visualizaciones de tus métricas.

A continuación, creé algunas visualizaciones y gráficos para monitorizar, por ejemplo, los términos más buscados a lo largo del tiempo, consultas que no devolvieron resultados, una nube de palabras que resalta los términos más buscados y, finalmente, una visualización geográfica para identificar de dónde proviene el acceso a las búsquedas.

Conclusión

En este artículo, implementamos una solución de búsqueda híbrida que combina búsqueda por palabras clave y vectorial, ofreciendo resultados más precisos y relevantes para los usuarios. También exploramos cómo emplear funciones adicionales, como facetas y personalización de resultados con Consultas Fijadas, para crear una experiencia de búsqueda más completa y eficiente.

Además, integramos el Análisis Conductual de Elastic para capturar y analizar el comportamiento del usuario durante sus interacciones con el motor de búsqueda. Empleando métodos como trackPageView, trackSearchy trackSearchClick, pudimos monitorizar consultas de búsqueda, clics en los resultados y vistas de página, generando información valiosa sobre el comportamiento de búsqueda.

Referencias

Conjunto de datos

https://www.kaggle.com/datasets/shivd24coder/cosmetic-brand-products-dataset

Transformador

https://huggingface.co/sentence-transformers/all-minilm-l6-v2

Fusión recíproca de rangos

https://www.elastic.co/guide/en/elasticsearch/reference/current/rrf.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/retriever.html#rrf-retriever

Consulta Knn

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

Consulta fijada

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-pinned-query.html

APIs de Análisis de Comportamiento

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-apis.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-overview.html

Muchos sitios web de comercio electrónico están interesados en mejorar su experiencia de búsqueda de recetas. La búsqueda semántica, cuando se aplica correctamente, permite a los clientes encontrar rápidamente los ingredientes necesarios basar en consultas más naturales, como "algo para Santo Valentín" o "comidas de Acción de Gracias".

En este artículo, demostraremos cómo usar Elasticsearch para implementar una búsqueda semántica que soporte este tipo de consultas. Configuraremos un índice para almacenar el catálogo de ingredientes y productos de un supermercado y demostraremos cómo este índice puede emplear para mejorar la búsqueda de recetas. A lo largo del artículo, explicaremos cómo crear esta estructura de datos y aplicar técnicas de procesamiento de lenguaje natural para proporcionar resultados relevantes alineados con la intención del cliente.

Todo el código presentado en este artículo fue desarrollado en Python y está disponible en GitHub. Puedes acceder al repositorio para revisar el código fuente, hacer ajustes según sea necesario e implementar las soluciones directamente en tu entorno de desarrollo.

Inicio de la implementación de la búsqueda semántica

Para empezar a implementar la búsqueda semántica, primero necesitamos definir el modelo del lenguaje natural. Elastic proporciona su propio modelo, ELSER, pero también ofrece soporte para integrar modelos de PLN de varios proveedores, como Hugging Face. Esta flexibilidad te permite elegir la opción que mejor se adapte a tus necesidades.

En este artículo, emplearemos ELSER, que reduce la complejidad de desplegar y gestionar modelos de PLN. Además, Elastic ofrece la función semantic_text , que simplifica mucho el proceso. Con semantic_text, todo el proceso de generación de incrustaciones se vuelve sencillo y automatizado. Simplemente necesitas definir un punto de inferencia y especificar el campo que recibirá las incrustaciones en tu mapeo de índice. Durante la indexación de documentos, se generarán incrustaciones que se asociarán automáticamente con el campo especificado.

Pasos de preparación

A continuación se muestran los pasos para crear un índice con soporte para búsqueda semántica. Siguiendo estas instrucciones, tendrás un índice configurado y listo para búsquedas semánticas:

1. Crea el punto de inferencia.

2. Crea el índice, configurando el campo de descripción como semantic_text para que pueda recibir las incrustaciones.

3. Indexa los datos en el índice de catálogos de supermercados, que almacenará un catálogo de productos. Este catálogo se obtuvo a partir de un conjunto de datos disponible aquí.

Aplicación de la búsqueda semántica en supermercados

Ahora que tenemos el índice lleno de datos de productos de supermercados, estamos probando y validando consultas para mejorar los resultados de búsqueda usando búsqueda semántica. Nuestro objetivo es ofrecer una experiencia de búsqueda más inteligente que entienda el contexto y la intención del usuario, ofreciendo resultados más relevantes y precisos.

Desafíos resueltos por la búsqueda semántica

Basándonos en el catálogo de productos, exploremos cómo la búsqueda semántica puede transformar la experiencia de búsqueda en supermercados abordando cuestiones de vocabulario y contexto con las que la búsqueda léxica tradicional a menudo tiene dificultades.

1. Interpretación de intenciones culinarias

Problema 01: Un cliente puede buscar "marisco para asar", pero un sistema de búsqueda léxica puede no comprender completamente la intención detrás de la consulta. Podría no identificar todos los productos de marisco aptos para asar, devolviendo solo aquellos con el término exacto "marisco" o "parrilla" en el título del producto.

Primero, realizaremos una búsqueda léxica y analizaremos los resultados. Luego, haremos lo mismo con una búsqueda semántica, comparando los resultados del mismo término de búsqueda.

Consulta de búsqueda léxica

Resultados:

Tipo de búsqueda

Nombre

Puntaje

Léxico

Pescado del Noroeste del Cangrejo de las Nieves Bairdi de Alaska

10.453125

Léxico

Salsa Gourmet original del señor Yoshida.

7.2289705

Léxico

Pack Premium de Mariscos - 20 piezas

7.1924105

Léxico

Pargo rojo americano - entero, de frente, limpiado

6.998647

Léxico

Pinzas y brazos de langosta, capturados en la naturaleza sostenible

6.438654

La búsqueda léxica demostró algunos productos de marisco aptos para asar, como el pargo rojo americano y el cangrejo de nieve bairdi de Alaska de pesca del noroeste. Sin embargo, la búsqueda léxica devolvía productos menos relevantes en la parte superior de la lista, como la salsa Mr. Yoshida, que no es un producto de marisco sino una salsa de carne, lo que sugiere que el algoritmo léxico tuvo dificultades para comprender completamente el contexto de "para asar".

Solución de búsqueda semántica

Empleamos una consulta que combina el término "marisco" con contextos de preparación como "asar" para devolver una lista completa de opciones, como filetes de pescado, gambas y vieiras, que son ideales para asar a la parrilla, aunque las palabras "parrilla" o "marisco" no aparezcan directamente en el nombre del producto. Esto cerciora que los resultados de búsqueda se alineen más estrechamente con la intención del cliente.

Consulta búsqueda semántica:

Tipo de búsqueda

Nombre

Puntaje

Semántica

Pescado branzino completamente de cabeza

16.175909

Semántica

Bacalao negro de Alaska (pez sable)

15.855331

Semántica

Pargo rojo americano - entero, de frente

15.454779

Semántica

Pescado del Noroeste del Cangrejo de las Nieves Bairdi de Alaska

15.855331

Semántica

Pargo rojo americano - entero, de frente

15.3892355

La búsqueda semántica no solo devolvía productos directamente relacionados con el término "marisco", sino que también entendía el contexto de "asar", sacando pescado entero y filetes adecuados para asar. La clave aquí es la precisión de los resultados, que incluían opciones de pescado entero como branzino y bacalao negro de Alaska, ambos comúnmente usados para asar a la parrilla.

Problema 02 : Muchos clientes buscan soluciones rápidas y fáciles para cenar tras un largo día de trabajo, usando términos como "comidas fáciles entre semana". La búsqueda léxica tradicional puede no captar completamente el concepto de comidas rápidas, ya que a menudo se centra solo en productos que incluyen la palabra "easy" en su nombre.

Como hicimos en el problema anterior, comenzaremos realizando una búsqueda léxica. Luego de eso, aplicaremos una solución usando búsqueda semántica.

Consulta de búsqueda léxica

Resultados:

Tipo de búsqueda

Nombre

Puntaje

Léxico

Etiquetas de dirección Avery Easy Peel, 4200

8.017723

Léxico

Omeals Comidas de Emergencia/Portátiles con Autocalentamiento 32

6.592727

Léxico

Pesquero costero atún amarillo en cubos

5.836883

Léxico

Espuma de 12 oz de súper peso

5.8116536

Léxico

Servilleta de Vanity Fair para el día a día, 2 capas, 110

5.752989

La búsqueda léxica devolvió resultados mucho menos relevantes, incluyendo elementos completamente ajenos a las comidas, como las etiquetas de dirección Avery Easy Peel y las servilletas cotidianas de Vanity Fair. Estos productos no satisfacen la necesidad del usuario de comidas rápidas. Aunque la búsqueda léxica sí devolvió un producto útil (Omeals Self Heating Emergency Meals), otros resultados, como servilletas y etiquetas, solo coincidían con las palabras "fácil" o "noche de semana" en sus descripciones, sin abordar realmente la intención del usuario de una solución de comida rápida.

Solución de búsqueda semántica

Implementamos una consulta que entiende la intención detrás de comidas rápidas y sencillas. Asocia productos que pueden preparar rápidamente, como carnes precocinadas, pasta congelada o kits de comida, aunque no incluyan explícitamente la palabra "fácil" en el nombre. Este enfoque garantiza que los clientes encuentren las opciones más adecuadas para cenas rápidas entre semana, atendiendo la necesidad de comodidad.

Consulta a la búsqueda semántica

Resultados:

Tipo de búsqueda

Nombre

Puntaje

Semántica

Omeals Comidas de Emergencia/Portátiles con Autocalentamiento 32

14.610006

Semántica

Nissin, Cup Noodles, Gambas, 2,5 oz

13.751424

Semántica

Mezcla de gofres y panqueques sin gluten de Namaste

13.73376

Semántica

Papa de Idaho, papa hashbrowns Golden Grill

12.549422

Semántica

Nissin, Fideos en Taza, Pollo, 24-Count

12.034527

La búsqueda semántica devolvió productos claramente relacionados con comidas rápidas y convenientes, como fideos instantáneos (Cup Noodles), papa precocinadas y mezclas para panqueques, que son opciones típicas para cenas fáciles entre semana. Esto demuestra que la búsqueda semántica puede captar el concepto detrás de la frase "comidas fáciles entre semana", captando la intención del usuario de encontrar comidas rápidas y convenientes. Curiosamente, productos de otras categorías, como "refrescos", también pueden incluir cuando sea relevante en el contexto (por ejemplo, bebidas para acompañar las comidas).

2. Términos regionales y variaciones de vocabulario

Problema: Un cliente puede buscar "refresco", mientras que otro cliente podría usar "refresco" para el mismo producto. La búsqueda léxica tradicional no reconoce que ambos términos se refieren al mismo elemento.

Consulta de búsqueda léxica

Resultados:

Tipo de búsqueda

Nombre

Puntaje

Léxico

Prime Hydration+ Sticks mezcla de bebidas electrolíticas

14.492869

Léxico

Capri Sun, 100% jugo, paquete variado

12.340851

Léxico

Bebida energética Joyburst, Frose Rose, 12

11.839179

Léxico

Kellogg's Pop-Tarts, canela glaseada con azúcar moreno

9.97788

Léxico

Mini barras Kind, pack variado, 0,7

9.336912

La búsqueda léxica se centra en coincidencias exactas de palabras. Aunque devolvió productos como Prime Hydration y Capri Sun, la coincidencia directa con el término "pop" también llevó a resultados irrelevantes, como los Kellogg's Pop-Tarts, que son un tentempié y no una bebida. Esto pone de manifiesto cómo la búsqueda léxica puede ser menos efectiva cuando un término tiene múltiples significados o puede ser ambiguo.

Solución de búsqueda semántica

En consultas semánticas, podemos superar el problema de las variaciones de vocabulario que la búsqueda léxica no aborda. Al ampliar los términos de búsqueda, podemos obtener resultados basados en el significado contextual, proporcionando respuestas más relevantes y completas.

Consulta:

Resultados:

Tipo de búsqueda

Nombre

Puntaje

Semántica

Variedad de refrescos Prebióticos de 12 oz de Olipop

14.776867

Semántica

Bai Antioxidant Cocofusion, Pack de variedades, 18

14.663253

Semántica

Bebida energética Monster, Zero Ultra, 24

14.486348

Semántica

Joyburst Variedad de Energía, 12 fl oz

14.007214

Semántica

Bebida energética Joyburst, Frose Rose, 12

13.641038

La búsqueda semántica devuelve productos que coinciden directamente con el concepto de "pop" como sinónimo de "refresco" (como Olipop Prebiotics Soda), aunque el término exacto "pop" no esté presente en el nombre del producto. La búsqueda entendió la intención del usuario — una bebida refrescante y baja en azúcar — y pudo devolver productos relevantes, incluyendo opciones como refrescos prebióticos (Olipop) y bebidas energéticas sin azúcar (Monster Energy Drink).

Conclusión

La implementación de la búsqueda semántica en el contexto de supermercados demostró ser muy eficaz para entender consultas complejas como "marisco para asar" y "comidas fáciles entre semana". Este enfoque nos permitió interpretar la intención del usuario con mayor precisión, devolviendo productos altamente relevantes.

Al usar Elasticsearch y simplificar el proceso con ELSER, pudimos aplicar la búsqueda semántica de forma rápida y eficiente, mejorando significativamente los resultados y proporcionando una experiencia de compra más ágil y dirigida. Esto no solo optimizó el proceso de búsqueda, sino que también aumentó la relevancia de los resultados ofrecidos a los clientes.

Referencias

Modelo ELSER:

https://www.elastic.co/guide/en/elasticsearch/reference/current/put-inference-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-elser.html

Texto semántico:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-text.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

Conjunto de datos:

https://www.kaggle.com/datasets/bhavikjikadara/grocery-store-dataset?select=grocerydataset.csv

Búsqueda semántica:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search-semantic-text.html

¿Qué es el camello apache?

Apache Camel es un framework de integración de código abierto que simplifica la conexión de sistemas diversos, permitiendo a los desarrolladores centrar en la lógica de negocio sin preocupar por las complejidades de la comunicación del sistema. El concepto central en Camel son las "rutas", que definen el camino que sigue un mensaje desde el origen hasta el destino, incluyendo potencialmente pasos intermedios como transformaciones, validaciones y filtrado.

Arquitectura del camello apache

Camel emplea "componentes" para conectarse a diferentes sistemas y protocolos, como bases de datos y servicios de mensajería, y "endpoints" para representar los puntos de entrada y salida de los mensajes. Estos conceptos proporcionan un diseño modular y flexible, facilitando la configuración y gestión de integraciones complejas de forma eficiente y escalable.

Uso de Elasticsearch y Apache Camel

Demostraremos cómo configurar una aplicación Java sencilla que emplea Apache Camel para ingirir datos en un clúster de Elasticsearch. También se cubrirán los procesos de creación, actualización y eliminación de datos en Elasticsearch usando rutas definidas en Apache Camel (Apache Camel).

1. Agregar dependencias

El primer paso para configurar esta integración es agregar las dependencias necesarias al archivo pom.xml de tu proyecto. Esto incluirá las bibliotecas Apache Camel y Elasticsearch. Vamos a usar la nueva biblioteca cliente de Java API, así que debemos importar el componente camel-elasticsearch y la versión debe ser la misma que la de la biblioteca camel-core .

Si quieres usar el cliente de descanso de bajo nivel de Java, debes emplear el componente de cliente de descanso de bajo nivel de Elasticsearch.

2. Configuración y ejecución del Camel Context

La configuración comienza creando un nuevo contexto Camel usando la clase DefaultCamelContext , que sirve como base para definir y ejecutar rutas. A continuación, configuramos el componente Elasticsearch, que permitirá a Apache Camel interactuar con un clúster de Elasticsearch. La instancia ESlasticsearchComponent está configurada para conectarse a la dirección localhost:9200, que es la dirección predeterminada para un clúster local de Elasticsearch. Para una configuración de entorno que requiera autenticación, deberías leer la documentación sobre cómo configurar el componente y habilitar la autenticación básica, conocida como "Configurar el componente y habilitar la autenticación básica".

Este componente se agrega al contexto de Camel, permitiendo que las rutas definidas empleen este componente para realizar operaciones en Elasticsearch.

Después, las rutas se agregan al contexto. Crearemos rutas para la indexación masiva, actualización y eliminación de documentos.

3. Configuración de rutas Camel

Indexación de datos

La primera ruta que configuraremos es para la indexación de datos. Emplearemos un archivo JSON que contiene un catálogo de películas. La ruta se configurará para leer el archivo ubicado en src/main/resources/movies.json, deserializar el contenido JSON en objetos Java y luego aplicar una estrategia de agregación para combinar múltiples mensajes en uno solo, permitiendo operaciones por lotes en Elasticsearch. Se configuró el tamaño de 500 elementos por mensaje, es decir, el volumen indexará 500 películas a la vez.

Operación de búsqueda elástica de ruta en masa

El lote de documentos se enviará al endpoint de operaciones masivas de Elasticsearch. Este enfoque garantiza eficiencia y rapidez al manejar grandes volúmenes de datos.

Actualización de datos

La siguiente opción será actualizar los documentos. Indexamos algunas películas en el paso anterior y ahora crearemos nuevas rutas para buscar un documento por código de referencia y luego actualizar el campo de calificación.

Configuramos un contexto Camel (DefaultCamelContext), donde se registra un componente de Elasticsearch y se agrega una ruta personalizada llamada IngestionRoute. La operación comienza enviando el código del documento a través de ProducerTemplate, que inicia la ruta desde el punto final direct:update-ingestión.

A continuación, tenemos el IngestionRoute, que es el punto final de entrada para este flujo. La ruta realiza varias operaciones por oleoductos. Primero, se realiza una búsqueda en Elasticsearch para localizar el documento por código (direct:search-by-id), donde el SearchByCodeProcessor ensambla la consulta a partir del código. Después, el documento recuperado es procesado por el UpdateRatingProcessor, que convierte el resultado en objetos Película, actualiza la calificación de la película a un valor específico y prepara el documento actualizado para ser enviado de nuevo a Elasticsearch para su actualización.

El procesador SearchByCodeProcessor estaba configurado solo para ejecutar la consulta de búsqueda:

El procesador UpdateRatingProcessor es responsable de actualizar el campo de calificación.

Eliminación de datos

Finalmente, la ruta para eliminar documentos está configurada. Aquí, eliminaremos un documento usando su ID. En Elasticsearch, para eliminar un documento necesitamos conocer el identificador del documento, el índice donde se almacena el documento y ejecutar una solicitud de borrado. En Apache Camel realizaremos esta operación creando una nueva ruta como se muestra a continuación.

La ruta comienza desde el punto final direct:op-delete, que sirve como punto de entrada. Cuando un documento necesita ser eliminado, su identificador (_id) se recibe en el cuerpo del mensaje. La ruta entonces establece el encabezado indexId con el valor de este identificador usando("${body}")simple , que extrae el _id del cuerpo del mensaje.

Finalmente, el mensaje se dirige al punto final especificado por URI_DELETE_OPERATION, que se conecta con Elasticsearch para realizar la operación de eliminación de documentos en el índice correspondiente. Ahora que creamos la ruta, podemos crear un contexto Camel (DefaultCamelContext), que está configurado para incluir el componente Elasticsearch.

A continuación, se agrega la ruta de borrado, definida por la clase OperationDeleteRoute , al contexto. Con el contexto inicializado, se emplea un ProducerTemplate para pasar el identificador del documento que debe eliminar al punto final direct:op-delete , lo que activa la ruta de eliminación.

Conclusión

La integración entre Apache Camel y Elasticsearch permite una ingesta de datos robusta y eficiente, aprovechando la flexibilidad de Camel para definir rutas que pueden manejar diferentes escenarios de manipulación de datos, como indexación, actualización y eliminación. Con esta configuración, puedes orquestar y automatizar procesos complejos de forma escalable, cerciorando que tus datos se gestionen de forma eficiente en Elasticsearch. Este ejemplo demostró cómo estas herramientas pueden emplear juntas para crear una solución eficiente y adaptable para la ingestión de datos.

Referencias

• Camello apache

• Arquitectura del camello apache

• Camello apache agregado

• Componente de archivo

• Componente Elasticsearch