Neste artigo, discutiremos esses tipos de campos, quando usar cada um deles e como eles se relacionam com as estratégias de geração e uso de embeddings, tanto durante a indexação quanto na consulta.

Tipo de vetor denso

O tipo de campo dense_vector no Elasticsearch é usado para armazenar vetores densos, que são representações numéricas de dados como texto, imagens e áudio, onde quase todas as dimensões são relevantes. Esses vetores são gerados usando modelos de incorporação fornecidos por plataformas como OpenAI, Cohere ou Hugging Face, e são projetados para capturar o significado semântico geral dos dados, mesmo quando eles não compartilham termos exatos com outros documentos.

No Elasticsearch, vetores densos podem ter até 4096 dimensões, dependendo do modelo utilizado. Por exemplo, o modelo all-MiniLM-L6-v2 gera vetores com 384 dimensões, enquanto o text-embedding-ada-002 da OpenAI produz vetores com 1536 dimensões.

O campo dense_vector é geralmente adotado como o tipo padrão para armazenar esse tipo de incorporação quando é necessário maior controle, como usar vetores pré-gerados, aplicar funções de similaridade personalizadas ou integrar com modelos externos.

Quando e por que usar o tipo dense_vector?

Vetores densos são excelentes para capturar a similaridade semântica entre frases, parágrafos ou documentos inteiros. Funcionam muito bem quando o objetivo é comparar o significado geral dos textos, mesmo que não compartilhem os mesmos termos.

O campo vetorial denso é ideal quando você já possui um pipeline externo de geração de embeddings usando modelos fornecidos por plataformas como OpenAI, Cohere ou Hugging Face e deseja apenas armazenar e consultar esses vetores manualmente. Este tipo de campo oferece alta compatibilidade com modelos de incorporação e total flexibilidade na geração e consulta, permitindo controlar como os vetores são produzidos, indexados e usados durante a busca.

Além disso, oferece suporte a diferentes formas de busca semântica, com consultas como k-NN ou script_score para casos em que seja necessário ajustar a lógica de classificação. Essas possibilidades tornam o vetor denso ideal para aplicações como RAG (Retrieval-Augmented Generation), sistemas de recomendação e buscas personalizadas baseadas em similaridade.

Finalmente, o campo permite personalizar a lógica de relevância, usando funções como cosineSimilarity, dotProduct ou l2norm para adaptar a classificação de acordo com as necessidades do seu caso de uso.

Vetores densos continuam sendo a melhor opção para quem precisa de flexibilidade, personalização e compatibilidade com casos de uso avançados, como os mencionados acima.

Como usar a consulta para o tipo vetor denso?

As pesquisas em campos definidos como dense_vector usam a consulta dos k vizinhos mais próximos. Esta consulta é responsável por encontrar documentos cujo vetor denso seja o mais próximo do vetor de consulta. Abaixo, segue um exemplo de como aplicar uma consulta k-NN a um campo vetorial denso:

Além da consulta k-NN, caso haja necessidade de personalizar a pontuação do documento, também é possível usar a consulta script_score, combinando-a com funções de comparação vetorial, como cossenosimilaridade, produto escalar ou norma l2, para calcular a relevância de forma mais controlada. Veja o exemplo:

Se você quiser se aprofundar no assunto, recomendo explorar o artigo Como configurar a pesquisa vetorial no Elasticsearch.

Tipo de vetor esparso

O tipo de campo sparse_vector é usado para armazenar vetores esparsos, que são representações numéricas onde a maioria dos valores é zero e apenas alguns termos têm pesos significativos. Esse tipo de vetor é comum em modelos baseados em termos, como o SPLADE ou o ELSER (Elastic Learned Sparse EncodeR).

Quando e por que usar vetores esparsos?

Vetores esparsos são ideais quando você precisa de uma busca mais precisa em termos lexicais, sem sacrificar a inteligência semântica. Eles representam o texto como pares de token/valor, destacando apenas os termos mais relevantes com pesos associados, o que proporciona clareza, controle e eficiência.

Esse tipo de campo é especialmente útil quando você gera vetores com base em termos, como nos modelos ELSER ou SPLADE, que atribuem pesos diferentes a cada token com base em sua importância relativa no texto.

Para as ocasiões em que você deseja controlar a influência de palavras específicas na consulta, os tipos de vetores esparsos permitem ajustar manualmente o peso dos termos para otimizar a classificação dos resultados.

Entre os principais benefícios estão a transparência na busca, já que é possível entender claramente por que um documento foi considerado relevante, e a eficiência de armazenamento, pois apenas os tokens com valor diferente de zero são salvos, ao contrário dos vetores densos que armazenam todas as dimensões.

Além disso, vetores esparsos são o complemento ideal em estratégias de busca híbridas, podendo inclusive ser combinados com vetores densos para unir precisão lexical à compreensão semântica.

Como usar a consulta para o tipo vetor esparso?

A consulta sparse_vector permite pesquisar documentos com base em um vetor de consulta no formato token/valor. Veja um exemplo da consulta abaixo:

Se preferir usar um modelo treinado, é possível utilizar um endpoint de inferência que transforma automaticamente o texto da consulta em um vetor esparso:

Para explorar este tópico mais a fundo, sugiro a leitura de Understanding sparse vector embeddings with trained ML models.

Tipo de texto semântico

O tipo de campo semantic_text é a maneira mais simples e direta de usar a pesquisa semântica no Elasticsearch. Ele lida automaticamente com a geração de embeddings, tanto no momento da indexação quanto no momento da consulta, por meio de um endpoint de inferência. Isso significa que você não precisa se preocupar em gerar ou armazenar vetores manualmente.

Quando e por que usar texto semântico?

O campo semantic_text é ideal para quem quer começar com o mínimo de esforço técnico e sem ter que lidar com vetores manualmente. Este campo automatiza etapas como a geração de incorporações e o mapeamento de busca vetorial, tornando a configuração mais rápida e conveniente.

Você deve considerar usar semantic_text quando valoriza simplicidade e abstração, pois isso elimina a complexidade de configurar manualmente mapeamentos, geração de incorporações e pipelines de ingestão. Basta selecionar o modelo de inferência e o Elasticsearch cuida do resto.

As principais vantagens incluem a geração automática de embeddings, realizada durante a indexação e a consulta, e o mapeamento pronto para uso, que já vem pré-configurado para suportar o modelo de inferência selecionado.

Além disso, o campo oferece suporte nativo para a divisão automática de textos longos (fragmentação de texto), permitindo que textos extensos sejam divididos em trechos menores, cada um com seu próprio embedding, o que melhora a precisão da busca. Isso aumenta consideravelmente a produtividade, especialmente para equipes que desejam entregar valor rapidamente sem se preocupar com a engenharia subjacente da busca semântica.

No entanto, embora semantic_text proporcione velocidade e simplicidade, esta abordagem tem algumas limitações. Permite a utilização de modelos padrão de mercado, desde que estejam disponíveis como endpoints de inferência no Elasticsearch. Mas não suporta incorporações geradas externamente, como é possível com o campo dense_vector .

Se você precisar de mais controle sobre como os vetores são gerados, quiser usar seus próprios embeddings ou precisar combinar vários campos para estratégias avançadas, os campos dense_vector e sparse_vector fornecem a flexibilidade necessária para cenários mais personalizados ou específicos do domínio.

Como usar a consulta para o tipo de texto semântico

Antes de semantic_text, era necessário usar uma consulta diferente dependendo do tipo de incorporação (densa ou esparsa). Uma consulta sparse_vector foi usada para campos esparsos, enquanto campos dense_vector exigiram consultas KNN.

Com o tipo de texto semântico, a busca é realizada utilizando a consulta semântica, que gera automaticamente o vetor de consulta e o compara com os embeddings dos documentos indexados. O tipo semantic_text permite definir um ponto de extremidade de inferência para incorporar a consulta, mas se nenhum for especificado, o mesmo ponto de extremidade usado durante a indexação será aplicado à consulta.

Para saber mais, sugiro a leitura do artigo Elasticsearch new semantic_text mapping: Simplifying semantic search.

Conclusão

Ao escolher como mapear embeddings no Elasticsearch, é essencial entender como você deseja gerar os vetores e qual o nível de controle necessário sobre eles. Se você busca simplicidade, o campo de texto semântico permite buscas semânticas automáticas e escaláveis, tornando-o ideal para muitos casos de uso iniciais. Quando é necessário maior controle, desempenho mais preciso ou integração com modelos personalizados, os campos vetoriais densos e esparsos oferecem a flexibilidade necessária.

O tipo de campo ideal depende do seu caso de uso, da infraestrutura disponível e do nível de maturidade da sua pilha de aprendizado de máquina. Mais importante ainda, a Elastic oferece as ferramentas para construir sistemas de busca modernos e altamente adaptáveis.

Referências

• Tipo de campo de texto semântico

• Tipo de campo vetorial esparso

• Tipo de campo vetorial denso

• Consulta semântica

• Consulta de vetor esparso

• pesquisa kNN

• Novo mapeamento semantic_text do Elasticsearch: Simplificando a busca semântica

• Compreendendo incorporações vetoriais esparsas com modelos de aprendizado de máquina treinados

Filtros vs facetas

Antes de começarmos, vamos definir o que são filtros e facetas. Os filtros são atributos predefinidos usados para restringir um conjunto de resultados. Em um mercado online, por exemplo, os filtros estão disponíveis mesmo antes de uma busca ser realizada. O usuário pode selecionar uma categoria, como "Videogames", antes de pesquisar por "PS5", refinando a busca para um subconjunto mais específico em vez de toda a base de dados. Isso aumenta significativamente as chances de se obter resultados mais relevantes.

Os facets funcionam de forma semelhante aos filtros, mas só ficam disponíveis após a realização da pesquisa. Em outras palavras, a pesquisa retorna resultados e, com base neles, é gerada uma nova lista de opções de refinamento. Por exemplo, ao pesquisar um console PS5, características como capacidade de armazenamento, custo de envio e cor podem ser exibidas para ajudar os usuários a escolher o produto ideal.

Agora que definimos filtros e facetas, vamos discutir o impacto das abordagens clássicas e baseadas em Aprendizado de Máquina (ML) em sua implementação e uso. Cada método possui vantagens e desafios que influenciam a eficiência da busca.

Abordagem clássica de filtros e facetas

Nessa abordagem, os filtros e as facetas são definidos manualmente com base em regras predefinidas. Isso significa que os atributos disponíveis para refinar a busca são fixos e planejados antecipadamente, levando em consideração a estrutura do catálogo e as necessidades do usuário.

Por exemplo, em um marketplace, categorias como "Eletrônicos" ou "Moda" podem ter filtros específicos como marca, formato e faixa de preço. Essas regras são criadas estaticamente, garantindo consistência na experiência de busca, mas exigindo ajustes manuais sempre que novos produtos ou categorias surgirem.

Embora essa abordagem proporcione previsibilidade e controle sobre os filtros e facetas exibidos, ela pode ser limitada quando surgem novas tendências que exigem refinamento dinâmico.

Prós:

• Previsibilidade e controle: Como os filtros e as facetas são definidos manualmente, o gerenciamento torna-se mais fácil.

• Baixa complexidade: Não há necessidade de treinar modelos.

• Facilidade de manutenção: Como as regras são predefinidas, ajustes e correções podem ser feitos rapidamente.

Contras:

• Reindexação necessária para novos filtros: Sempre que um novo atributo precisar ser usado como filtro, todo o conjunto de dados deverá ser reindexado para garantir que os documentos contenham essa informação.

• Falta de adaptação dinâmica: os filtros são estáticos e não se ajustam automaticamente às mudanças no comportamento do usuário.

Implementação de filtros/facetas – Abordagem clássica

Nas Ferramentas de Desenvolvimento, Kibana, criaremos uma demonstração de filtros/facetas usando a abordagem clássica.

Primeiro, definimos o mapeamento para estruturar o índice:

Os campos de marca e armazenamento são definidos como palavras-chave, permitindo que sejam usados diretamente em agregações (facetas). O campo de preço é do tipo float, permitindo a criação de intervalos de preço.

Na próxima etapa, os dados do produto serão indexados:

Agora, vamos recuperar as características clássicas agrupando os resultados por marca, armazenamento e faixa de preço. Na consulta, foi definido o tamanho:0. Nesse cenário, o objetivo é recuperar apenas os resultados da agregação, sem incluir os documentos correspondentes à consulta.

A resposta incluirá contagens para Marca, Armazenamento e Preço, ajudando a criar filtros e segmentações.

Abordagem baseada em machine learning/IA para filtros e facetas

Nessa abordagem, modelos de Aprendizado de Máquina (ML), incluindo técnicas de Inteligência Artificial (IA), analisam atributos de dados para gerar filtros e facetas relevantes. Em vez de depender de regras predefinidas, o aprendizado de máquina/inteligência artificial aproveita as características dos dados indexados. Isso possibilita a descoberta dinâmica de novas facetas e filtros.

Prós:

• Atualizações automáticas: Novos filtros e facetas são gerados automaticamente, sem a necessidade de ajustes manuais.

• Descoberta de novos atributos: Pode identificar características de dados anteriormente não consideradas como filtros, enriquecendo a experiência de busca.

• Redução do esforço manual: a equipe não precisa definir e atualizar constantemente as regras de filtragem, pois a IA aprende com os dados disponíveis.

Contras:

• Complexidade de manutenção: O uso de modelos pode exigir pré-validação para garantir a consistência dos filtros gerados.

• Requer experiência em aprendizado de máquina e inteligência artificial: A solução exige profissionais qualificados para ajustar e monitorar o desempenho do modelo.

• Risco de filtros irrelevantes: Se o modelo não estiver bem calibrado, poderá gerar facetas que não sejam úteis para os usuários.

• Custo: O uso de aprendizado de máquina e inteligência artificial pode exigir serviços de terceiros, aumentando os custos operacionais.

Vale ressaltar que, mesmo com um modelo bem calibrado e um prompt bem elaborado, as facetas geradas ainda devem passar por uma etapa de revisão. Essa validação pode ser manual ou baseada em regras de moderação, garantindo que o conteúdo seja apropriado e seguro. Embora não seja necessariamente uma desvantagem, é importante considerar a qualidade e a adequação dos recursos antes que sejam disponibilizados aos usuários.

Implementação de filtros/facetas – abordagem de IA

Nesta demonstração, utilizaremos um modelo de IA para analisar automaticamente as características do produto e sugerir atributos relevantes. Com um prompt bem estruturado, extraímos informações do catálogo e as transformamos em filtros e facetas. A seguir, apresentamos cada etapa do processo.

Inicialmente, usaremos a API de Inferência para registrar um endpoint para integração com um serviço de aprendizado de máquina. Abaixo, segue um exemplo de integração com o serviço da OpenAI.

Agora, definimos o pipeline para executar o prompt e obter os novos filtros gerados pelo modelo.

Executando uma simulação desse pipeline para o produto "PlayStation 5", com a seguinte descrição:

Jogabilidade impressionante: Maravilhe-se com gráficos deslumbrantes e experimente os recursos do novo PS5.

Imersão de tirar o fôlego: Descubra uma experiência de jogo mais profunda com suporte para feedback tátil, gatilhos adaptáveis e tecnologia de áudio 3D.

Design fino: Com o PS5 Digital Edition, os jogadores têm acesso a uma poderosa tecnologia de jogos em um design elegante e compacto.

1 TB de armazenamento: Tenha seus jogos favoritos prontos para jogar com 1 TB de armazenamento SSD integrado.

Compatibilidade com versões anteriores e Game Boost: O console PS5 pode rodar mais de 4.000 jogos de PS4. Com o Game Boost, você pode desfrutar de taxas de quadros mais rápidas e suaves até mesmo em alguns dos melhores jogos para PS4.

Vamos observar a saída de comando gerada por esta simulação.

Agora, um novo campo, dynamic_facets, será adicionado ao novo índice para armazenar as facetas geradas pela IA.

Utilizando a API Reindex, vamos reindexar o índice de videogames para videogames_1, aplicando o pipeline generate_filter_ai durante o processo. Este pipeline irá gerar automaticamente facetas dinâmicas durante a indexação.

Agora, vamos executar uma pesquisa e obter os novos filtros:

Resultados:

Para simbolizar a implementação das facetas, segue abaixo um exemplo simples de interface:

O código da interface do usuário apresentado está aqui.

Conclusão

Ambas as abordagens para a criação de filtros e facetas têm seus benefícios e pontos de atenção. A abordagem clássica, baseada em regras manuais, oferece controle e custos mais baixos, mas requer atualizações constantes e não se adapta dinamicamente a novos produtos ou recursos.

Por outro lado, a abordagem baseada em IA e Aprendizado de Máquina automatiza a extração de facetas, tornando a busca mais flexível e permitindo a descoberta de novos atributos sem intervenção manual. No entanto, essa abordagem pode ser mais complexa de implementar e manter, exigindo calibração para garantir resultados consistentes.

A escolha entre as abordagens clássicas e as baseadas em IA depende das necessidades e da complexidade do negócio. Para cenários mais simples, onde os atributos dos dados são estáveis e previsíveis, a abordagem clássica pode ser mais eficiente e fácil de manter, evitando custos desnecessários com infraestrutura e modelos de IA. Por outro lado, o uso de aprendizado de máquina/inteligência artificial para extrair facetas pode agregar valor significativo, melhorando a experiência de busca e tornando a filtragem mais inteligente.

O importante é avaliar se a automação justifica o investimento ou se uma solução mais tradicional já atende às necessidades do negócio de forma eficaz.

Sobre a Amazon Nova

O Amazon Nova é uma família de modelos de inteligência artificial da Amazon, disponível na plataforma Amazon Bedrock e projetada para oferecer alto desempenho e custo-benefício. Esses modelos operam com entradas de texto, imagem e vídeo, geram saídas textuais e são otimizados para diferentes necessidades de precisão, velocidade e custo.

Modelos principais do Amazon Nova

• Amazon Nova Micro: Focado exclusivamente em texto, este é um modelo rápido e econômico, ideal para tradução, raciocínio, preenchimento automático de código e resolução de problemas matemáticos. Sua geração ultrapassa 200 tokens por segundo, tornando-o ideal para aplicações que exigem respostas instantâneas.

• Amazon Nova Lite: modelo multimodal de baixo custo capaz de processar rapidamente imagens, vídeos e textos. Ele se destaca pela rapidez e precisão, sendo indicado para aplicações interativas e de alto volume onde o custo é um fator relevante.

• Amazon Nova Pro: A opção mais avançada, que combina alta precisão, velocidade e custo-benefício. Ideal para tarefas complexas como resumo de vídeos, perguntas e respostas, desenvolvimento de software e agentes de IA. Avaliações de especialistas atestam sua excelência na compreensão textual e visual, bem como sua capacidade de seguir instruções e executar fluxos de trabalho automatizados.

Os modelos Amazon Nova são adequados para uma variedade de aplicações, desde a criação de conteúdo e análise de dados até o desenvolvimento de software e a automação de processos com inteligência artificial.

A seguir, demonstraremos como usar os modelos do Amazon Nova em conjunto com o Elasticsearch para análise automatizada de avaliações de produtos.

O que faremos:

1. Crie um endpoint por meio da API de Inferência, integrando o Amazon Bedrock com o Elasticsearch.

2. Crie um pipeline usando o Processador de Inferência, que fará chamadas para o endpoint da API de Inferência.

3. Indexe as avaliações de produtos e gere automaticamente uma análise dessas avaliações usando o pipeline.

4. Analise os resultados da integração.

Criando um endpoint na API de inferência com Amazon Nova Lite

Primeiro, configuramos a API de Inferência para integrar o Amazon Bedrock com o Elasticsearch. Definimos o Amazon Nova Lite, id amazon.nova-lite-v1:0, como o modelo a ser utilizado, pois oferece um equilíbrio entre velocidade, precisão e custo.

Observação: você precisará de credenciais válidas para usar o Amazon Bedrock. Você pode consultar a documentação para obter as chaves de acesso aqui:

Criando o pipeline de análise de revisão

Agora, criamos um pipeline de processamento que usará o Processador de Inferência para executar uma solicitação de análise de revisão. Este comando enviará os dados da avaliação para o Amazon Nova Lite, que executará as seguintes ações:

• Classificação do sentimento (positivo, negativo ou neutro).

• Resumo da revisão.

• Geração de palavras-chave.

• Medição de autenticidade (autêntico | suspeito | genérico).

Avaliações de indexação

Agora, indexamos avaliações de produtos usando a API em lote. O pipeline criado anteriormente será aplicado automaticamente, adicionando a análise gerada pelo modelo Nova aos documentos indexados.

Consultar e analisar os resultados

Por fim, executamos uma consulta para ver como o modelo Amazon Nova Lite analisa e classifica as avaliações. Ao executar o comando GET products/_search, obtemos os documentos já enriquecidos com os campos gerados a partir do conteúdo da avaliação.

O modelo identifica o sentimento predominante (positivo, neutro ou negativo), gera resumos concisos, extrai palavras-chave relevantes e estima a autenticidade de cada avaliação. Esses campos ajudam a entender a opinião do cliente sem precisar ler o texto completo.

Para interpretar os resultados, analisamos:

• O sentimento indica a percepção geral do consumidor em relação ao produto.

• O resumo destaca os principais pontos mencionados.

• Palavras-chave, que podem ser usadas para agrupar avaliações semelhantes ou identificar padrões de feedback.

• Autenticidade, que indica se a avaliação parece confiável. Isso é útil para curadoria ou moderação.

Conclusão

A integração entre o Amazon Nova Lite e o Elasticsearch demonstrou como os modelos de linguagem podem transformar avaliações brutas em informações estruturadas e valiosas. Ao processar as avaliações por meio de um pipeline, conseguimos extrair automaticamente e de forma consistente informações sobre sentimento, autenticidade, resumos e palavras-chave.

Os resultados mostram que o modelo consegue compreender o contexto das avaliações, classificar as opiniões dos usuários e destacar os pontos mais relevantes de cada experiência. Isso cria um conjunto de dados muito mais rico que pode ser aproveitado para melhorar as capacidades de pesquisa.

Este blog explora como grandes modelos de linguagem (LLMs) podem ser usados para identificar e gerar sinônimos automaticamente, permitindo que esses termos sejam carregados programaticamente na API de sinônimos do Elasticsearch.

Quando usar sinônimos?

O uso de sinônimos pode ser uma solução mais rápida e econômica em comparação com a busca vetorial. Sua implementação é mais simples, pois não requer conhecimento profundo de embeddings ou um processo complexo de ingestão de vetores.

Além disso, o consumo de recursos é menor, uma vez que a busca vetorial exige maior capacidade de armazenamento e memória para indexação e recuperação de dados.

Outro aspecto importante é a regionalização da busca. Com sinônimos, é possível adaptar os termos de acordo com o idioma e os costumes locais. Isso é útil em situações em que os embeddings podem não corresponder a expressões regionais ou termos específicos de cada país. Por exemplo, algumas palavras ou siglas podem ter significados diferentes dependendo da região, mas são naturalmente tratadas como sinônimos pelos usuários locais. No Brasil, isso é bastante comum. "Abacaxi" e "ananás" são a mesma fruta (abacaxi), mas o segundo termo é mais comumente usado em algumas regiões do Nordeste. Da mesma forma, o conhecido "pão francês" no Sudeste pode ser conhecido como "pão careca" no Nordeste.

Como usar LLMs para gerar sinônimos?

Para obter sinônimos automaticamente, podemos usar Modelos de Aprendizagem Baseados em Lógica (LLMs), que analisam o contexto de um termo e sugerem variações apropriadas. Essa abordagem permite a expansão dinâmica de sinônimos, garantindo uma busca mais ampla e precisa sem depender de um dicionário fixo.

Nesta demonstração, usaremos um modelo de linguagem natural (LLM) para gerar sinônimos para produtos de comércio eletrônico. Muitas pesquisas retornam poucos ou nenhum resultado devido a variações nos termos pesquisados. Com sinônimos, podemos resolver esse problema. Por exemplo, uma busca por "smartphone" pode abranger diferentes modelos de celulares, garantindo que os usuários encontrem os produtos que procuram.

Pré-requisitos

Antes de começarmos, precisamos configurar o ambiente e definir as dependências necessárias. Utilizaremos a solução fornecida pela Elastic para executar o Elasticsearch e o Kibana localmente em um contêiner Docker. O código será escrito em Python, versão 3.9.6, com as seguintes dependências:

Criando o índice de produtos

Inicialmente, criaremos um índice de produtos sem suporte a sinônimos. Isso nos permitirá validar as consultas e compará-las com um índice que inclui sinônimos.

Para criar o índice, carregamos em massa um conjunto de dados de produtos usando o seguinte comando no Kibana DevTools:

Gerando sinônimos com LLM

Nesta etapa, utilizaremos um modelo de lógica latente (LLM) para gerar sinônimos dinamicamente. Para atingir esse objetivo, integraremos a API da OpenAI, definindo um modelo e um prompt adequados. O LLM receberá a categoria e o nome do produto, garantindo que os sinônimos sejam contextualmente relevantes.

A partir do índice de produtos criado, recuperaremos todos os itens da categoria "Eletrônicos" e enviaremos seus nomes para o LLM. O resultado esperado será algo como:

Com os sinônimos gerados, podemos registrá-los no Elasticsearch usando a API de Sinônimos.

Gerenciando sinônimos com a API de Sinônimos

A API de Sinônimos oferece uma maneira eficiente de gerenciar conjuntos de sinônimos diretamente dentro do sistema. Cada conjunto de sinônimos consiste em regras de sinonímia, onde um grupo de palavras é tratado como equivalente nas buscas.

Exemplo de criação de um conjunto de sinônimos

Isso cria um conjunto chamado "meu-conjunto-de-sinônimos", onde "olá" e "oi" são tratados como equivalentes, assim como "tchau" e "adeus".

Implementação da criação de sinônimos para o catálogo de produtos.

A seguir, está o método responsável por construir um conjunto de sinônimos e inseri-lo no Elasticsearch. As regras de sinônimos são geradas com base no mapeamento de sinônimos sugerido pelo LLM. Cada regra possui um ID, correspondente ao nome do produto no formato slug, e a lista de sinônimos calculada pelo LLM.

A seguir, está a carga útil da solicitação para criar o conjunto de sinônimos:

Com o conjunto de sinônimos criado no cluster, podemos prosseguir para a próxima etapa, que é a criação de um novo índice com suporte a sinônimos usando o conjunto definido.

O código Python completo, com os sinônimos gerados pelo LLM e a criação do conjunto de sinônimos definida pela API de Sinônimos, encontra-se abaixo:

Criando um índice com suporte a sinônimos

Um novo índice será criado onde todos os dados do índice products serão reindexados. Este índice usará o synonyms_filter, que aplica o products-synonyms-set criado anteriormente.

A seguir, o mapeamento de índice configurado para usar sinônimos:

Reindexando o índice products

Agora, usaremos a API Reindex para migrar os dados do índice products para o novo índice products_02 , que inclui suporte a sinônimos. O seguinte código foi executado no Kibana DevTools:

Após a migração, o índice products_02 será preenchido e estará pronto para validar pesquisas usando o conjunto de sinônimos configurado.

Validação da pesquisa com sinônimos

Vamos comparar os resultados da pesquisa entre os dois índices. Executaremos a mesma consulta em ambos os índices e validaremos se os sinônimos estão sendo usados para recuperar os resultados.

Pesquisar no índice products (sem sinônimos)

Usaremos o Kibana para realizar buscas e analisar os resultados. No menu Analytics > Discovery, criaremos uma visualização de dados para visualizar os dados dos índices que criamos.

Dentro do Discovery, clique em Visualização de Dados e defina um nome e um padrão de índice. Para o índice "produtos", usaremos o padrão "produtos ". Em seguida, repetiremos o processo para criar uma nova visualização de dados para o índice "products_02", usando o padrão "products_02" .

Com as visualizações de dados configuradas, podemos retornar a Analytics > Discovery e iniciar as validações.

Aqui, após selecionar os produtos DataView e pesquisar pelo termo "tablet", não obtemos resultados, embora saibamos que existem produtos como "Kindle Paperwhite" e "Apple iPad Air".

Pesquisar no índice products_02 (suporta sinônimos)

Ao executar a mesma consulta na visualização de dados "products_synonyms", que suporta sinônimos, os produtos foram recuperados com sucesso. Isso demonstra que o conjunto de sinônimos configurado está funcionando corretamente, garantindo que diferentes variações dos termos pesquisados retornem os resultados esperados.

Podemos obter o mesmo resultado executando a mesma consulta diretamente no Kibana DevTools. Basta pesquisar o índice products_02 usando a API de pesquisa do Elasticsearch:

Conclusão

A implementação de sinônimos no Elasticsearch melhorou a precisão e a abrangência das buscas no catálogo de produtos. O principal diferencial foi o uso de um LLM ( Language-Level Model), que gerou sinônimos automaticamente e contextualmente, eliminando a necessidade de listas predefinidas. O modelo analisou nomes e categorias de produtos, garantindo sinônimos relevantes para o comércio eletrônico.

Além disso, a API de Sinônimos simplificou o gerenciamento de dicionários, permitindo que os conjuntos de sinônimos fossem modificados dinamicamente. Com essa abordagem, a busca tornou-se mais flexível e adaptável a diferentes padrões de consulta do usuário.

Esse processo pode ser continuamente aprimorado com novos dados e ajustes de modelo, garantindo uma experiência de pesquisa cada vez mais eficiente.

Referências

Executar o Elasticsearch localmente

https://www.elastic.co/guide/en/elasticsearch/reference/current/run-elasticsearch-locally.html

API de sinônimos

https://www.elastic.co/guide/en/elasticsearch/reference/current/synonyms-apis.html

Neste artigo, explicaremos como configurar o Airbyte para ingerir dados no Elasticsearch, abordando conceitos-chave, pré-requisitos e integração passo a passo.

Conceitos fundamentais do Airbyte

O Airbyte possui diversos conceitos essenciais para sua utilização. A seguir, destacamos os principais:

• Fontes: Define a origem dos dados que serão extraídos.

• Destinos: Define onde os dados serão enviados e armazenados.

• Conexões: Configura a relação entre a origem e o destino, incluindo a frequência de sincronização.

Integração do Airbyte com o Elasticsearch

Nesta demonstração, realizaremos uma integração onde os dados armazenados em um bucket do S3 serão migrados para um índice do Elasticsearch. Mostraremos como configurar a origem (S3) e o destino (Elasticsearch) no Airbyte.

Pré-requisitos

Para acompanhar esta demonstração, os seguintes pré-requisitos devem ser atendidos:

1. Crie um bucket na AWS onde os arquivos JSON contendo os dados serão armazenados.

2. Instale o Airbyte localmente usando o Docker.

3. Crie um cluster Elasticsearch no Elastic Cloud para armazenar os dados ingeridos.

A seguir, detalharemos cada uma dessas etapas.

Instalando o Airbyte

O Airbyte pode ser executado localmente usando o Docker ou na nuvem, onde existem custos associados ao uso. Para esta demonstração, usaremos a versão local com Docker.

A instalação pode levar alguns minutos. Após seguir as instruções de instalação, o Airbyte estará disponível em: http://localhost:8000.

Após efetuar o login, podemos começar a configurar a integração.

Criando o balde

Nesta etapa, você precisará de uma conta da AWS para criar um bucket do S3. Além disso, é essencial definir as permissões corretas criando uma política e um usuário IAM para permitir o acesso ao bucket.

No bucket, carregaremos arquivos JSON contendo diferentes registros de log, que posteriormente serão migrados para o Elasticsearch. Os arquivos de registro contêm o seguinte:

Abaixo estão os arquivos carregados no bucket:

Configuração do Elastic Cloud

Para facilitar a demonstração, usaremos o Elastic Cloud. Se você ainda não possui uma conta, pode criar uma conta de avaliação gratuita aqui: Cadastro no Elastic Cloud.

Após configurar a implantação no Elastic Cloud, você precisará obter:

• O URL do servidor Elasticsearch.

• Um usuário para acessar o Elasticsearch.

Para obter a URL, acesse Implantações > Minha implantação, em Aplicativo, encontre Elasticsearch e clique em 'Copiar endpoint'.

Para criar o usuário, siga os passos abaixo:

1. Acesse Kibana > Gerenciamento de Pilha > Usuários.

2. Crie um novo usuário com a função de superusuário.

3. Preencha os campos para criar o usuário.

Agora que está tudo configurado, podemos começar a configurar os conectores no Airbyte.

Configurando o conector de origem

Nesta etapa, criaremos o conector de origem para o S3. Para isso, acessaremos a interface do Airbyte e selecionaremos a opção Fonte no menu. Em seguida, procuraremos o conector S3. A seguir, detalhamos os passos necessários para configurar o conector:

1. Acesse o Airbyte e vá para o menu Fontes.

2. Procure e selecione o conector S3.

3. Configure os seguintes parâmetros:

   1. Nome da fonte: Defina um nome para a fonte de dados.

   2. Método de entrega: Selecione "Replicar registros" (recomendado para dados estruturados).

   3. Formato de dados: Selecione o formato JSON.

   4. Nome do fluxo: Defina o nome do índice no Elasticsearch.

   5. Nome do bucket: Insira o nome do bucket na AWS.

   6. Chave de acesso da AWS e chave secreta da AWS: Insira as credenciais de acesso.

Clique em Configurar fonte e aguarde a validação.

Conector de destino de configuração

Nesta etapa, configuraremos o conector de destino, que será o Elasticsearch. Para isso, acessaremos o menu e selecionaremos a opção Destino. Em seguida, pesquisaremos por Elasticsearch e clicaremos no resultado retornado. Agora, vamos prosseguir com a configuração desta conexão:

1. Acesse o Airbyte e vá para o menu Destinos.

2. Pesquise e selecione o conector Elasticsearch.

3. Configure os seguintes parâmetros:

   1. Método de autenticação: Escolha Nome de usuário/Senha.

   2. Nome de usuário e senha: Utilize as credenciais criadas no Kibana.

   3. Endpoint do servidor: Cole a URL copiada do Elastic Cloud.

Clique em Configurar destino e aguarde a validação.

Criando a conexão de origem e destino

Após a criação da Origem e do Destino, a conexão entre eles será estabelecida, concluindo assim a integração.

A seguir, as instruções para criar a conexão:

1. No menu, acesse Conexões e clique em Criar primeira conexão.

2. Na tela seguinte, você poderá selecionar uma fonte existente ou criar uma nova. Como já temos uma Origem criada, selecionaremos a Origem S3.

3. O próximo passo será selecionar o destino. Como já criamos o conector Elasticsearch, ele será selecionado para finalizar a configuração.

Na próxima etapa, será necessário definir o Modo de Sincronização e qual esquema será utilizado. Como apenas o esquema de log foi criado, essa será a única opção disponível para seleção.

4. Vamos prosseguir para a etapa de Configuração de Conexão. Aqui, podemos definir o nome da conexão e a frequência de execução da integração. A frequência pode ser configurada de três maneiras:

• Cron: Executa as sincronizações com base na expressão cron definida pelo usuário (ex: 0 0 15 * * ?, Às 15:00 todos os dias);

• Agendado: Executa as sincronizações no intervalo de tempo especificado (por exemplo, a cada 24 horas, a cada 2 horas);

• Manual: Execute as sincronizações manualmente.

Para esta demonstração, selecionaremos a opção Manual.

Por fim, ao clicar em Configurar conexão, a conexão entre a origem e o destino será estabelecida.

Sincronizando dados do S3 para o Elasticsearch

Ao retornar à tela Conexões, você poderá ver a conexão que foi criada. Para executar o processo, basta clicar em Sincronizar. A partir desse momento, terá início a migração de dados do S3 para o Elasticsearch.

Se tudo correr bem, você receberá o status de sincronização.

Visualizando dados no Kibana

Agora, vamos ao Kibana para analisar os dados e verificar se foram indexados corretamente. Na seção Kibana Discovery, criaremos uma visualização de dados chamada logs. Com isso, poderemos explorar os dados existentes apenas no índice de logs, que foi criado após a sincronização.

Agora podemos visualizar os dados indexados e realizar análises sobre eles. Dessa forma, validamos todo o fluxo de migração usando o Airbyte, onde carregamos os dados presentes no bucket e os indexamos no Elasticsearch.

Conclusão: Integração do Airbyte e do Elasticsearch

O Airbyte provou ser uma ferramenta eficiente para integração de dados, permitindo-nos conectar diversas fontes e destinos de forma automatizada. Neste tutorial, demonstramos como ingerir dados de um bucket S3 em um índice Elasticsearch, destacando as principais etapas do processo.

Essa abordagem facilita a ingestão de grandes volumes de dados e permite análises dentro do Elasticsearch, como buscas complexas, agregações e visualizações de dados.

Referências

Guia rápido do Airbyte:

https://docs.airbyte.com/using-airbyte/getting-started/oss-quickstart#part-1-install-abctl

Conceitos básicos:

https://docs.airbyte.com/using-airbyte/core-concepts/

O que é o LlamaIndex?

O LlamaIndex é uma estrutura que facilita a criação de agentes e fluxos de trabalho baseados em Modelos de Linguagem de Grande Porte (LLMs, na sigla em inglês) para interagir com dados específicos ou privados. Permite a integração de dados de diversas fontes (APIs, PDFs, bases de dados) com LLMs, possibilitando tarefas como pesquisa, extração de informações e geração de respostas contextualizadas.

Conceitos-chave:

• Agentes: Assistentes inteligentes que utilizam LLMs para executar tarefas, desde respostas simples até ações complexas.

• Fluxos de trabalho: Processos de várias etapas que combinam agentes, conectores de dados e ferramentas para tarefas avançadas.

• Aumento de contexto: uma técnica que enriquece o modelo de aprendizagem linear (LLM) com dados externos, superando suas limitações de treinamento.

Integração do LlamaIndex com o Elasticsearch:

O Elasticsearch pode ser usado de diversas maneiras com o LlamaIndex:

• Fonte de dados: Utilize o Elasticsearch Reader para extrair os documentos.

• Modelo de embeddings: Codifica dados em vetores para buscas semânticas.

• Armazenamento vetorial: Utilize o Elasticsearch como repositório para busca de documentos vetorizados.

• Armazenamento avançado: configure estruturas como resumos de documentos ou grafos de conhecimento.

Utilizando LlamaIndex e Elasticsearch para construir uma busca de perguntas frequentes (FAQ).

Preparação de dados

Usaremos as Perguntas Frequentes do Elasticsearch Service como exemplo. Cada pergunta foi extraída do site e salva em um arquivo de texto individual. Você pode usar qualquer abordagem para organizar os dados; neste exemplo, optamos por salvar os arquivos localmente.

Arquivo de exemplo:

Após salvar todas as perguntas, o diretório ficará assim:

Instalação de dependências

Implementaremos a ingestão e a pesquisa usando a linguagem Python, sendo a versão utilizada a 3.9. Como pré-requisito, será necessário instalar as seguintes dependências:

O Elasticsearch e o Kibana serão criados com o Docker, configurados via docker-compose.yml para executar a versão 8.16.2. Isso facilita a criação do ambiente local.

Ingestão de documentos usando LlamaIndex

Os documentos serão indexados no Elasticsearch usando o LlamaIndex. Primeiro, carregamos os arquivos com SimpleDirectoryReader, que permite carregar arquivos de um diretório local. Após carregar os documentos, iremos indexá-los usando o VectorStoreIndex.

Os Vector Stores no LlamaIndex são responsáveis por armazenar e gerenciar incorporações de documentos. O LlamaIndex suporta diferentes tipos de armazenamentos vetoriais e, neste caso, usaremos o Elasticsearch. No StorageContext, configuramos a instância do Elasticsearch. Como o contexto é local, não foram necessários parâmetros adicionais. Para configurações em outros ambientes, consulte a documentação para verificar os parâmetros necessários: Configuração do ElasticsearchStore.

Por padrão, o LlamaIndex usa o modelo text-embedding-ada-002 da OpenAI para gerar embeddings. No entanto, neste exemplo, usaremos o modelo text-embedding-3-small . É importante ressaltar que será necessária uma chave de API da OpenAI para usar o modelo.

Abaixo está o código completo para ingestão de documentos.

Após a execução, os documentos serão indexados no índice de perguntas frequentes , conforme mostrado abaixo:

Pesquisar com RAG

Para realizar buscas, configuramos o cliente ElasticsearchStore , definindo os campos index_name e es_url com a URL do Elasticsearch. Em retrieval_strategy, definimos a AsyncDenseVectorStrategy para buscas vetoriais. Outras estratégias, como AsyncBM25Strategy (busca por palavra-chave) e AsyncSparseVectorStrategy (vetores esparsos), também estão disponíveis. Mais detalhes podem ser encontrados na documentação oficial.

Em seguida, será criado um objeto VectorStoreIndex , onde configuraremos o vector_store usando o objeto ElasticsearchStore. Com o método as_retriever , realizamos a busca pelos documentos mais relevantes para uma consulta, definindo o número de resultados retornados para 5 através do parâmetro similarity_top_k .

O próximo passo é o RAG. Os resultados da busca vetorial são incorporados a um prompt formatado para o LLM, permitindo uma resposta contextualizada com base nas informações recuperadas.

No PromptTemplate, definimos o formato do prompt, que inclui:

• Contexto ({context_str}): documentos recuperados pelo recuperador.

• Consulta ({query_str}): a pergunta do usuário.

• Instruções: diretrizes para o modelo responder com base no contexto, sem depender de conhecimento externo.

Por fim, o LLM processa a solicitação e retorna uma resposta precisa e contextualizada.

O código completo está abaixo:

Agora podemos realizar nossa busca, por exemplo, "Os serviços da Elastic são gratuitos?" e obter uma resposta contextualizada com base nos próprios dados das perguntas frequentes.

Para gerar esta resposta, foram utilizados os seguintes documentos:

Conclusão

Utilizando o LlamaIndex, demonstramos como criar um sistema de busca de FAQs eficiente com suporte para o Elasticsearch como banco de dados vetorial. Os documentos são ingeridos e indexados usando incorporações, possibilitando buscas vetoriais. Por meio de um PromptTemplate, os resultados da pesquisa são incorporados ao contexto e enviados ao LLM, que gera respostas precisas e contextualizadas com base nos documentos recuperados.

Este fluxo de trabalho integra a recuperação de informações com a geração de respostas contextualizadas para fornecer resultados precisos e relevantes.

Referências

https://www.elastic.co/guide/en/cloud/current/ec-faq-getting-started.html

https://docs.llamaindex.ai/en/stable/api_reference/readers/elasticsearch/

https://docs.llamaindex.ai/en/stable/module_guides/indexing/vector_store_index/

https://docs.llamaindex.ai/en/stable/examples/query_engine/custom_query_engine/

https://www.elastic.co/search-labs/integrations/llama-index

A busca facetada é uma ferramenta poderosa em plataformas de comércio eletrônico. Isso ajuda a organizar e refinar os resultados da pesquisa com base nas características dos itens exibidos. Embora frequentemente confundidos com filtros, os facets funcionam de maneira diferente. Os filtros são atributos fixos, definidos por informações sempre presentes no índice, como a categoria ou o formato de um produto. As facetas, por outro lado, são dinâmicas e geradas a partir dos resultados retornados pela pesquisa executada.

Imagine um catálogo de roupas: campos como "categoria" (por exemplo, camisetas, calças) ou "gênero" (por exemplo, masculino, feminino) são filtros que ajudam a refinar os resultados. As facetas, no entanto, refletem características específicas dos produtos que aparecem nos resultados, como cores comuns, tamanhos disponíveis ou materiais. Isso permite uma experiência de busca mais adaptável e contextual.

Abaixo, você encontrará uma imagem onde interagimos com uma faceta e podemos ver os resultados da pesquisa filtrados por ela.

Como a IA pode aprimorar a geração de facetas

A Inteligência Artificial é frequentemente associada à busca semântica e aos embeddings, mas e quanto às facetas? Como a IA pode ser utilizada para tornar os filtros mais úteis e específicos ao contexto de cada pesquisa?

Uma possibilidade intrigante é usar IA para criar novas categorizações que vão além das classificações tradicionais do índice. Ao analisar características específicas do conteúdo, essas novas categorias podem fornecer uma contextualização mais rica e precisa, tornando os aspectos mais relevantes e alinhados às necessidades dos usuários. Isso possibilita um refinamento mais significativo dos resultados em comparação com as categorias de documentos originais.

Como a IA pode refinar as classificações de filmes para melhores buscas

Vamos analisar os seguintes filmes, todos atualmente classificados no gênero Drama:

• Réquiem para um Sonho Resumo: As utopias induzidas por drogas de quatro pessoas de Coney Island são destruídas quando seus vícios se tornam profundos.

• Beleza Americana Resumo: Um pai suburbano sexualmente frustrado entra em crise de meia-idade após se apaixonar pela melhor amiga de sua filha.

• Good Will Hunting Resumo: Will Hunting, um zelador do MIT, tem um talento especial para matemática, mas precisa da ajuda de um psicólogo para encontrar um rumo na vida.

Essa classificação por gênero não capta as diferenças sutis ou os contextos únicos de cada filme. Ao utilizar inteligência artificial para analisar sinopses e temas centrais, podemos criar novas categorias que reflitam melhor o verdadeiro contexto de cada filme. Por exemplo:

• Réquiem para um Sonho - Nova categoria: "Vício e Dependência"

• Beleza Americana - Nova Categoria: "Crise da Meia-Idade"

• Gênio Indomável - Nova categoria: "Luta Intelectual"

Essas novas categorias tornam as buscas muito mais precisas, ao mesmo tempo que oferecem aos usuários filtros mais relevantes para refinar seus resultados. Essa abordagem é particularmente eficaz quando as categorias originais são muito genéricas, permitindo que os usuários encontrem exatamente o que procuram com maior facilidade.

Criando novas categorias com GPT-4: Exemplo de busca facetada

Neste exemplo, mostraremos como um modelo de IA pode ser usado para criar novas categorias de filmes que sejam mais precisas e alinhadas ao contexto de cada obra. Para demonstrar esse processo, utilizaremos o pipeline de simulação da Elastic juntamente com o serviço de inferência da OpenAI. Será criado um pipeline com vários processadores, incluindo o Processador de Scripts, que será responsável por criar o prompt a ser executado no Processador de Inferência, capaz de determinar as novas categorias. Os demais processadores serão utilizados para manipular os dados e os campos auxiliares gerados durante a execução do pipeline. Vale ressaltar que essa lógica também pode ser aplicada a outras ferramentas ou modelos semelhantes.

Primeiro, precisamos criar o endpoint de inferência, onde definimos o serviço como OpenAI, o token necessário para acessar o serviço e o modelo. Neste exemplo, estou usando gpt-4o-mini. Para obter mais detalhes sobre o serviço de inferência da OpenAI, clique aqui.

Com o endpoint criado, agora estamos prontos para usá-lo para criar as novas categorias. A seguir, apresentamos um fluxo de trabalho que gerencia todo o processo de manipulação de dados de documentos e geração de prompts. Explicarei detalhadamente a função de cada processador.

O primeiro processador será responsável por construir o prompt. É muito importante detalhar claramente as instruções para que a IA possa analisar e identificar os tópicos corretamente. Neste pedido, solicito dois tópicos com base na análise do título, da descrição e dos gêneros dos filmes.

O próximo pipeline é o pipeline de inferência, que receberá a solicitação e a enviará para o nosso endpoint generate_topics_ia . A resposta gerada pelo modelo será armazenada no campo de resultado.

Em seguida, temos 3 processadores usados para manipular a resposta e defini-la no campo de tópicos, além de remover os campos temporários que eu criei.

Ao executar esse pipeline, obteremos os seguintes resultados:

Note que temos novas categorias que estão mais relacionadas ao contexto dos filmes, embora algumas sejam inicialmente do mesmo gênero.

Agora podemos usar essas novas categorias e indexá-las juntamente com o documento. Dessa forma, ao gerar as facetas, além da categoria primária, temos subcategorias mais específicas que estão alinhadas com o contexto dos filmes.

Além disso, é possível vetorizar essas novas categorias e usá-las em buscas vetoriais. Isso significa que as novas categorias não servem apenas como filtros, mas também podem ser usadas para calcular similaridades semânticas com os termos de busca, aumentando ainda mais a relevância dos resultados apresentados.

Pipeline completo:

Conclusão

O uso de IA para aprimorar os filtros pode transformar a experiência de busca, tornando os resultados mais específicos e contextuais. Ao contrário das categorias fixas, que costumam ser amplas, as categorias geradas por IA podem refletir melhor o contexto. Por exemplo, ao reclassificar filmes, podemos capturar o contexto que as categorias primárias não abrangem, fornecendo agrupamentos muito mais relevantes.

Essas novas categorias podem ser adicionadas ao índice não apenas para aprimorar a filtragem por facetas, mas também para possibilitar buscas vetoriais. O resultado é uma experiência de busca mais eficiente, com filtros mais adequados ao contexto.

Referências

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-openai.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/script-processor.html

O Apache Airflow é uma plataforma projetada para criar, agendar e monitorar fluxos de trabalho. É utilizado para orquestrar processos ETL, pipelines de dados e outros fluxos de trabalho complexos, oferecendo flexibilidade e escalabilidade. Sua interface visual e recursos de monitoramento em tempo real tornam o gerenciamento de pipelines mais acessível e eficiente, permitindo acompanhar o progresso e os resultados de suas execuções. Abaixo estão seus quatro pilares principais:

• Dinâmico: Os pipelines são definidos em Python, permitindo a geração de fluxos de trabalho dinâmicos e flexíveis.

• Extensível: O Airflow pode ser integrado a uma variedade de ambientes, operadores personalizados podem ser criados e códigos específicos podem ser executados conforme necessário.

• Elegante: os pipelines são escritos de forma clara e explícita.

• Escalável: Sua arquitetura modular utiliza uma fila de mensagens para orquestrar um número arbitrário de trabalhadores.

Na prática, o Airflow pode ser usado em cenários como:

• Importação de dados: Orquestre a ingestão diária de dados em um banco de dados como o Elasticsearch.

• Monitoramento de logs: Gerencie a coleta e o processamento de arquivos de log, que são então analisados no Elasticsearch para identificar erros ou anomalias.

• Integração de múltiplas fontes de dados: Combine informações de diferentes sistemas (APIs, bancos de dados, arquivos) em uma única camada no Elasticsearch, simplificando a busca e a geração de relatórios.

Entendendo os DAGs (Grafos Acíclicos Direcionados) no fluxo de ar

No Airflow, os fluxos de trabalho são representados por DAGs (Grafos Acíclicos Direcionados). Um DAG (Grafo Acíclico Direcionado) é uma estrutura que define a sequência em que as tarefas serão executadas. As principais características dos DAGs são:

• Composição por tarefas independentes: Cada tarefa representa uma unidade de trabalho e foi concebida para ser executada de forma independente.

• Sequenciamento: A sequência em que as tarefas são executadas é definida explicitamente no DAG (grafo acíclico direcionado).

• Reutilização: os DAGs são projetados para serem executados repetidamente, facilitando a automação de processos.

Componentes do fluxo de ar

O ecossistema Airflow é composto por diversos componentes que trabalham em conjunto para orquestrar tarefas:

• Agendador: Responsável por agendar DAGs e enviar tarefas para execução pelos workers.

• Executor: Gerencia a execução de tarefas, delegando-as aos trabalhadores.

• Servidor Web: Fornece uma interface gráfica para interação com DAGs e tarefas.

• Pasta DAGs: Pasta onde armazenamos os DAGs escritos em Python.

• Metadados: Banco de dados que serve como repositório para a ferramenta, usado pelo agendador e pelo executor para armazenar o status da execução.

Apache Airflow e Elasticsearch

Iremos demonstrar o uso do Apache Airflow e do Elasticsearch para orquestrar tarefas e indexar resultados no Elasticsearch. O objetivo desta demonstração é criar um fluxo de tarefas para atualizar registros em um índice do Elasticsearch. Este índice contém um banco de dados de filmes, onde os usuários podem avaliar e atribuir notas. Imaginando um cenário com centenas de avaliações diárias, é necessário manter o registro de avaliações atualizado. Para isso, será desenvolvido um DAG (Grafo Acíclico Direcionado) que será executado diariamente, responsável por obter as novas classificações consolidadas e atualizar os registros no índice.

No fluxo DAG, teremos uma tarefa para obter as classificações, seguida de uma tarefa para validar os resultados. Caso os dados não existam, o DAG será direcionado para uma tarefa de falha. Caso contrário, os dados serão indexados no Elasticsearch. O objetivo é atualizar o campo de classificação de filmes em um índice, recuperando as classificações por meio de um método com o mecanismo responsável pelo cálculo das pontuações.

Utilizando Apache Airflow e Elasticsearch com Docker

Para criar um ambiente conteinerizado, usaremos o Apache Airflow com o Docker. Siga as instruções do guia "Executando o Airflow no Docker" para configurar o Airflow na prática.

Quanto ao Elasticsearch, usarei um cluster no Elastic Cloud, mas, se preferir, você também pode configurar o Elasticsearch com o Docker. Já foi criado um índice contendo um catálogo de filmes, com os dados dos filmes indexados. O campo de 'classificação' desses filmes será atualizado.

Criando o DAG

Após a instalação via Docker, será criada uma estrutura de pastas, incluindo a pasta dags, onde devemos colocar nossos arquivos DAG para que o Airflow os reconheça.

Antes disso, precisamos garantir que as dependências necessárias estejam instaladas. Aqui estão as dependências deste projeto:

Criaremos o arquivo update_ratings_movies.py e começaremos a codificar as tarefas.

Agora, vamos importar as bibliotecas necessárias:

Usaremos o ElasticsearchPythonHook, um componente que simplifica a integração entre o Airflow e um cluster Elasticsearch, abstraindo a conexão e o uso de APIs externas.

Em seguida, definimos o DAG, especificando seus principais argumentos:

• dag_id: o nome do DAG.

• start_date: quando o DAG será iniciado.

• schedule: define a periodicidade (diária no nosso caso).

• doc_mdDocumentação que será importada e exibida na interface do Airflow.

Definindo as tarefas

Agora, vamos definir as tarefas do DAG. A primeira tarefa será responsável por obter os dados de classificação dos filmes. Usaremos o PythonOperator com o task_id definido como 'get_movie_ratings'. O parâmetro python_callable chamará a função responsável por obter as classificações.

Em seguida, precisamos validar se os resultados são válidos. Para isso, usaremos uma condicional com um BranchPythonOperator. O task_id será 'validate_result' e o python_callable chamará a função de validação. O parâmetro op_args será usado para passar o resultado da tarefa anterior, 'get_movie_ratings', para a função de validação.

Se a validação for bem-sucedida, pegaremos os dados da tarefa 'get_movie_ratings' e os indexaremos no Elasticsearch. Para alcançar isso, criaremos uma nova tarefa, 'index_movie_ratings', que usará o PythonOperator. O parâmetro op_args passará os resultados da tarefa 'get_movie_ratings' para a função de indexação.

Se a validação indicar uma falha, o DAG prosseguirá para uma tarefa de notificação de falha. Neste exemplo, simplesmente imprimimos uma mensagem, mas em um cenário real, poderíamos configurar alertas para notificar sobre as falhas.

Por fim, definimos as dependências das tarefas, garantindo que elas sejam executadas na ordem correta:

Segue agora o código completo do nosso DAG:

Visualizando a execução do DAG

Na interface do Apache Airflow, podemos visualizar a execução dos DAGs (grafos acíclicos direcionados). Basta acessar a aba "DAGs" e localizar o DAG que você criou.

Abaixo, podemos visualizar a execução das tarefas e seus respectivos status. Ao selecionar uma execução para uma data específica, podemos acessar os registros de cada tarefa. Observe que na tarefa index_movie_ratings , podemos ver os resultados da indexação no índice e que ela foi concluída com sucesso.

Nas outras abas, é possível acessar informações adicionais sobre as tarefas e o DAG, auxiliando na análise e resolução de possíveis problemas.

Conclusão

Neste artigo, demonstramos como integrar o Apache Airflow com o Elasticsearch para criar uma solução de ingestão de dados. Mostramos como configurar o DAG, definir as tarefas responsáveis por recuperar, validar e indexar dados de filmes, bem como monitorar e visualizar a execução dessas tarefas na interface do Airflow.

Essa abordagem pode ser facilmente adaptada a diferentes tipos de dados e fluxos de trabalho, tornando o Airflow uma ferramenta útil para orquestrar pipelines de dados em diversos cenários.

Referências

Apache AirFlow

https://airflow.apache.org/

Instale o Apache Airflow com o Docker.

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Gancho Python do Elasticsearch

https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/stable/hooks/elasticsearch_python_hook.html

Operador Python

https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/python.html

Pré-requisitos

• Docker e Docker Compose: Certifique-se de ter o Docker e o Docker Compose instalados em sua máquina.

• Python 3.x: Para executar os scripts do produtor e do consumidor.

Introdução ao Apache Kafka

O Apache Kafka é uma plataforma de streaming distribuída que permite alta escalabilidade e disponibilidade, além de tolerância a falhas. No Kafka, o gerenciamento de dados ocorre por meio dos seguintes componentes principais:

• Intermediário (Broker): responsável por armazenar e distribuir mensagens entre produtores e consumidores.

• Zookeeper: gerencia e coordena os brokers do Kafka, controlando o estado do cluster, os líderes de partição e as informações do consumidor.

• Tópicos: canais onde os dados são publicados e armazenados para consumo.

• Consumidores e Produtores: enquanto os produtores enviam dados para os tópicos, os consumidores recuperam esses dados.

Esses componentes trabalham juntos para formar o ecossistema Kafka, fornecendo uma estrutura robusta para streaming de dados.

Estrutura do projeto

Para entender o processo de ingestão de dados, dividimos o processo em etapas:

• Provisionamento de infraestrutura: configuração do ambiente Docker para suportar Kafka, Elasticsearch e Kibana.

• Criação do produtor: implementação do produtor Kafka, que envia dados para o tópico de logs.

• Criação do consumidor: desenvolvimento do consumidor Kafka para ler e indexar mensagens no Elasticsearch.

• Validação de ingestão: verificação e validação dos dados enviados e consumidos.

Configuração de infraestrutura com Docker Compose

Utilizamos o Docker Compose para configurar e gerenciar os serviços necessários. A seguir, você encontrará o código Docker Compose que configura cada serviço necessário para a integração do Apache Kafka, Elasticsearch e Kibana, garantindo um processo de ingestão de dados.

Você pode acessar o arquivo diretamente do repositório GitHub do Elasticsearch Labs.

Envio de dados com o Kafka Producer

O produtor é responsável por enviar mensagens para o tópico de logs. Ao enviar mensagens em lotes, aumenta-se a eficiência do uso da rede, permitindo otimizações com as configurações batch_size e linger_ms , que controlam a quantidade e a latência dos lotes, respectivamente. A configuração acks='all' garante que as mensagens sejam armazenadas de forma durável, o que é essencial para dados de log importantes.

Ao iniciar o produtor, as mensagens são enviadas em lotes para o tópico, conforme mostrado abaixo:

Consumo e indexação de dados com o Kafka Consumer.

O consumidor foi projetado para processar mensagens de forma eficiente, consumindo lotes do tópico de logs e indexando-os no Elasticsearch. Com auto_offset_reset='latest', garante-se que o consumidor comece a processar as mensagens mais recentes, ignorando as mais antigas, e max_poll_records=10 limita o lote a 10 mensagens. Com fetch_max_wait_ms=2000, o consumidor espera até 2 segundos para acumular mensagens suficientes antes de processar o lote.

Em seu loop principal, o consumidor consome mensagens de log, processa e indexa cada lote no Elasticsearch, garantindo a ingestão contínua de dados.

Visualizando dados no Kibana

Com o Kibana, podemos explorar e validar os dados ingeridos do Kafka e indexados no Elasticsearch. Ao acessar as Ferramentas de Desenvolvimento no Kibana, você pode visualizar as mensagens indexadas e confirmar se os dados estão conforme o esperado. Por exemplo, se o nosso produtor Kafka enviar 5 lotes de 10 mensagens cada, devemos ver um total de 50 registros no índice.

Para verificar os dados, você pode usar a seguinte consulta na seção Ferramentas de Desenvolvimento :

Resposta.

Além disso, o Kibana oferece a capacidade de criar visualizações e painéis que podem ajudar a tornar a análise mais intuitiva e interativa. Abaixo, você pode ver alguns exemplos dos painéis e visualizações que criamos, os quais ilustram os dados em vários formatos, aprimorando nossa compreensão das informações processadas.

Ingestão de dados com Kafka Connect

O Kafka Connect é um serviço projetado para facilitar a integração entre fontes de dados e destinos (sinks), como bancos de dados ou sistemas de arquivos. Ele opera com conectores predefinidos que gerenciam a movimentação de dados automaticamente. Em nosso caso, o Elasticsearch funciona como o coletor de dados.

Ao usar o Kafka Connect, podemos simplificar o processo de ingestão de dados, eliminando a necessidade de implementar manualmente o fluxo de trabalho de ingestão de dados no Elasticsearch. Com o conector apropriado, o Kafka Connect permite que os dados enviados para um tópico do Kafka sejam indexados diretamente no Elasticsearch com configuração mínima e sem necessidade de codificação adicional.

Trabalhando com o Kafka Connect

Para implementar o Kafka Connect, adicionaremos o serviço kafka-connect à nossa configuração do Docker Compose. Uma parte fundamental dessa configuração é a instalação do conector Elasticsearch, que ficará responsável pela indexação dos dados.

Após configurar o serviço e criar o contêiner do Kafka Connect, será necessário um arquivo de configuração para o conector do Elasticsearch. Este arquivo define parâmetros essenciais, tais como:

• connection.urlURL de conexão para o Elasticsearch.

• topicsO tópico do Kafka que o conector irá monitorar (neste caso, "logs").

• type.nameTipo de documento no Elasticsearch (normalmente _doc).

• value.converterConverte mensagens do Kafka para o formato JSON.

• value.converter.schemas.enableEspecifica se o esquema deve ser incluído.

• schema.ignore e key.ignore: Configurações para ignorar esquemas e chaves do Kafka durante a indexação.

Abaixo está o comando curl para criar o conector Elasticsearch no Kafka Connect:

Com essa configuração, o Kafka Connect começará automaticamente a ingerir os dados enviados para o tópico "logs" e a indexá-los no Elasticsearch. Essa abordagem permite a ingestão e indexação de dados totalmente automatizadas, sem a necessidade de codificação adicional, simplificando assim todo o processo de integração.

Conclusão

A integração do Kafka e do Elasticsearch cria um poderoso pipeline para ingestão e análise de dados em tempo real. Este guia fornece uma abordagem fundamental para a construção de uma arquitetura robusta de ingestão de dados, com visualização e análise integradas no Kibana, pronta para se adaptar a requisitos mais complexos no futuro.

Além disso, o uso do Kafka Connect torna a integração entre o Kafka e o Elasticsearch ainda mais simplificada, eliminando a necessidade de código adicional para processar e indexar dados. O Kafka Connect permite que os dados enviados para um tópico específico sejam indexados automaticamente no Elasticsearch com configuração mínima.

Além de integrar a busca híbrida, demonstraremos como adicionar recursos que tornarão sua solução de busca ainda mais robusta. Isso inclui segmentação por facetas e promoções de produtos personalizadas. Além disso, mostraremos como capturar interações do usuário e gerar insights valiosos usando a ferramenta de Análise Comportamental da Elastic.

Nesta implementação, você verá como construir tanto a interface que permite aos usuários visualizar e interagir com os resultados da pesquisa quanto a API responsável por retornar as informações. Para acessar os repositórios com o código-fonte, os links são fornecidos abaixo:

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/product-store-search

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/app-product-store

Dividimos este guia em várias etapas, desde a criação do índice até a implementação de recursos avançados, como facetas e personalização de resultados. Ao final, você terá uma solução de busca robusta, pronta para ser usada em um cenário de comércio eletrônico.

Configuração do ambiente para pesquisa híbrida de comércio eletrônico

Antes de iniciarmos a implementação, precisamos configurar o ambiente. Você pode optar por usar um serviço na Elastic Cloud ou uma solução em contêineres para gerenciar o Elasticsearch. Se você optar pela conteinerização, uma configuração via Docker Compose pode ser encontrada neste repositório: docker-compose.yml.

Criação de índice e ingestão de catálogo de produtos

O índice será criado com base em um catálogo de produtos cosméticos, que inclui campos como nome, descrição, foto, categoria e etiquetas. Os campos usados para pesquisa de texto completo, como "nome" e "descrição", serão mapeados como text, enquanto os campos usados para agregações, como "categoria" e "marca", serão mapeados como keyword para permitir a filtragem facetada.

O campo "descrição" será usado para a busca vetorial, pois fornece mais contexto sobre os produtos. Este campo será definido como dense_vector, , armazenando a representação vetorial da descrição.

O mapeamento do índice será o seguinte:

O script para criar o índice pode ser encontrado aqui.

Geração de incorporação

Para vetorizar as descrições dos produtos, utilizamos o modelo all-MiniLM-L6-v2. Neste caso, a aplicação é responsável por gerar os embeddings antes da indexação. Outra opção seria importar o modelo para o cluster Elasticsearch, mas para este ambiente local, optamos por realizar a vetorização diretamente dentro da aplicação.

Utilizamos o conjunto de dados de cosméticos disponível no Kaggle para preencher o índice e, para melhorar a eficiência da ingestão de dados, usamos o processamento em lote. Durante essa mesma etapa de ingestão, geraremos os embeddings para o campo "description" e os indexaremos no novo campo "description_embeddings".

Todo o processo de ingestão de dados pode ser acompanhado e executado diretamente através do Jupyter Notebook disponível no repositório. O notebook fornece um guia passo a passo sobre como os dados são lidos, processados e indexados no Elasticsearch, permitindo fácil replicação e experimentação.

Você pode acessar o notebook no seguinte link: Notebook de Ingestão.

Implementação de busca híbrida

Agora, vamos implementar a busca híbrida. Para a pesquisa baseada em palavras-chave, usamos a consulta multi_match , direcionada aos campos "nome", "categoria" e "descrição". Isso garante que os documentos que contenham o termo de pesquisa em qualquer um desses campos sejam recuperados.

Para a busca vetorial, utilizamos a consulta KNN. O termo de pesquisa precisa ser vetorizado antes da execução da consulta, e isso é feito usando o método que vetoriza o termo de entrada. Note que o mesmo modelo usado durante a ingestão também é usado para o termo de pesquisa.

A combinação das duas buscas é realizada utilizando o algoritmo Reciprocal Rank Fusion (RRF) , que mescla os resultados das duas consultas e aumenta a precisão da busca ao reduzir o ruído. O RRF permite que as buscas baseadas em palavras-chave e em vetores funcionem em conjunto, aprimorando a compreensão da consulta do usuário.

Comparação de resultados: pesquisa por palavra-chave vs. pesquisa híbrida

Agora, vamos comparar os resultados de uma pesquisa tradicional por palavras-chave com a pesquisa híbrida. Ao pesquisar por "base para pele seca" usando a busca por palavras-chave, obtemos os seguintes resultados:

1. Base Revlon ColorStay para Pele Normal/SecaDescrição: A Base Revlon ColorStay oferece cobertura de longa duração com uma fórmula leve que não craquela, desbota ou transfere. Com a tecnologia de liberação gradual, esta fórmula sem óleo e com equilíbrio de hidratação foi especialmente desenvolvida para peles normais ou secas, proporcionando hidratação contínua. Características: Maquiagem confortável e com duração de até 24 horas. Cobertura média a total. Disponível em uma variedade de lindas cores.

2. Base Mousse Dream Smooth da Maybelline: Por que você vai amar? Esta base cremosa exclusiva proporciona uma pele 100% macia como a de um bebê. Pele com aparência e sensação de hidratação por 14 horas - nunca áspera ou ressecada. Fórmula leve que proporciona cobertura perfeitamente hidratante. Mistura-se perfeitamente e proporciona uma sensação de frescor o dia todo. Sem óleo, sem fragrância, testado por dermatologistas, testado contra alergias, não comedogênico – não obstrui os poros. Seguro. Para peles sensíveis.

Análise: Ao pesquisar por "base para pele seca", os resultados foram obtidos pela correspondência exata entre as palavras-chave do termo de pesquisa e os títulos e descrições dos produtos. No entanto, essa combinação nem sempre representa a melhor escolha. Por exemplo, a base Revlon ColorStay para pele normal/seca é uma boa opção, pois é formulada especificamente para pele seca. Apesar de ser isento de óleo, sua fórmula foi desenvolvida para proporcionar hidratação contínua. Em contrapartida, também recebemos a base Maybelline Dream Smooth Mousse, que, embora seja livre de óleo e mencione hidratação, geralmente é mais recomendada para peles oleosas ou mistas, já que os produtos sem óleo tendem a se concentrar no controle da oleosidade em vez de fornecer a hidratação extra necessária para peles secas. Isso evidencia a limitação das buscas baseadas em palavras-chave, que podem retornar produtos que não atendem completamente às necessidades específicas de pessoas com pele seca.

Agora, ao realizar a mesma pesquisa usando a abordagem híbrida:

1. Base Cremosa CoverGirl Outlast Stay Luminous Natural (820): Descrição: A Base CoverGirl Outlast Stay Luminous é perfeita para obter um acabamento luminoso e um brilho sutil. É livre de óleo, com uma fórmula não oleosa que proporciona à sua pele uma luminosidade natural que dura o dia todo! Esta base de longa duração hidrata a pele enquanto proporciona uma cobertura impecável. Análise: Este produto é uma excelente opção, pois prioriza a hidratação, que é fundamental para usuários com pele seca. Os termos "hidrata a pele" e "acabamento luminoso" estão alinhados com a intenção do usuário de encontrar uma base para pele seca. A busca vetorial provavelmente compreendeu o conceito de hidratação e o relacionou à necessidade de uma base que trate a pele seca.

2. Base Revlon ColorStay para Pele Normal/Seca: Descrição: A base Revlon ColorStay oferece cobertura de longa duração com uma fórmula leve que não craquela, desbota ou transfere. Com a tecnologia de liberação gradual, esta fórmula sem óleo e com equilíbrio de hidratação foi especialmente desenvolvida para peles normais ou secas, proporcionando hidratação contínua. Análise: Este produto aborda diretamente as necessidades de usuários com pele seca, mencionando explicitamente que sua fórmula é indicada para pele normal ou seca. A "fórmula de equilíbrio de umidade" e a hidratação contínua são ideais para quem busca uma base que atenda às necessidades da pele seca. A busca vetorial recuperou com sucesso esse resultado, não apenas pela correspondência de palavras-chave, mas também pelo foco na hidratação e pela menção específica de pele seca como público-alvo.

3. Descrição da Base Sérum: As bases sérum são fórmulas leves com cobertura média, disponíveis em uma ampla gama de 21 tons. Essas bases oferecem cobertura moderada com aparência natural e uma sensação de sérum muito leve. Possuem viscosidade muito baixa e são dispensados com a bomba fornecida ou com o conta-gotas de vidro opcional, disponível para compra separadamente, caso seja de preferência. Análise: Neste caso, a descrição enfatiza uma base sérum leve com toque natural, o que está de acordo com as necessidades de pessoas com pele seca, que geralmente buscam produtos suaves, hidratantes e que proporcionem um acabamento sem efeito craquelado. A busca vetorial provavelmente captou o contexto mais amplo de cobertura leve e natural e a textura semelhante a um sérum, que está associada à retenção de umidade e a uma aplicação confortável, tornando-a relevante para pele seca, mesmo que o termo "pele seca" não seja mencionado explicitamente.

Implementação de facetas

Os filtros são essenciais para refinar e filtrar os resultados da pesquisa de forma eficiente, proporcionando aos usuários uma navegação mais direcionada, especialmente em cenários com grande variedade de produtos, como no comércio eletrônico. Elas permitem que os usuários ajustem os resultados com base em atributos como categoria, marca ou preço, tornando a busca mais precisa. Para implementar este recurso, usamos agregações de termos nos campos category e brand , que foram definidos como keyword durante o estágio de criação do índice.

O código completo da implementação pode ser encontrado aqui.

Veja abaixo os resultados da busca por "base para pele seca":

Personalizando resultados: consultas fixadas

Em alguns casos, pode ser benéfico promover determinados produtos nos resultados da pesquisa. Para isso, utilizamos Consultas Fixadas, que permitem que produtos específicos apareçam no topo dos resultados. A seguir, realizaremos uma busca pelo termo "Fundação" sem promover nenhum produto:

Em nosso exemplo, podemos promover produtos que tenham a etiqueta "Sem Glúten". Ao utilizarmos os IDs dos produtos, garantimos que eles sejam priorizados nos resultados da pesquisa. Especificamente, promoveremos os seguintes produtos: Base Sérum (ID: 1043), Base de Alta Cobertura (ID: 1042) e Pó Translúcido Realista (ID: 1039).

Utilizamos IDs de produto específicos para garantir que eles sejam priorizados nos resultados da consulta. A estrutura da consulta inclui uma lista de IDs de produtos que devem ser "fixados" no topo (neste caso, os IDs 1043, 1042 e 1039), enquanto os resultados restantes seguem o fluxo orgânico da pesquisa, usando uma combinação de condições como a consulta de texto nos campos "nome", "categoria" e "descrição". Dessa forma, é possível promover itens de maneira controlada, garantindo sua visibilidade, enquanto o restante da busca permanece baseado na relevância usual.

Abaixo, você pode ver o resultado da execução da consulta com os produtos promovidos:

O código completo da consulta pode ser encontrado aqui.

Analisando o comportamento de busca com análise comportamental.

Até o momento, já adicionamos funcionalidades para melhorar a relevância dos resultados de busca e facilitar a descoberta de produtos. Agora, vamos finalizar nossa solução de busca incluindo um recurso que nos ajudará a analisar o comportamento de busca do usuário, identificando padrões como consultas com ou sem resultados e cliques nos resultados da busca. Para isso, usaremos o recurso de Análise Comportamental fornecido pela Elastic. Com ele, em apenas alguns passos, podemos monitorar e analisar o comportamento de busca do usuário, obtendo informações valiosas para otimizar a experiência de busca.

Criando a coleta de dados de análise comportamental

Nossa primeira ação será criar uma coleção, que será responsável por receber todos os eventos de análise comportamental. Para criar a coleção, acesse a interface do Kibana em Pesquisa > Análise Comportamental. No exemplo abaixo, criamos a coleção chamada tracking-search.

Integrar a análise comportamental à interface.

Nosso aplicativo front-end foi desenvolvido em JavaScript e, para integrar o Behavioral Analytics, seguiremos os passos descritos na documentação oficial da Elastic para instalar o Behavioral Analytics JavaScript Tracker.

Implementando o rastreador JavaScript

Agora, vamos importar o cliente rastreador para nosso aplicativo e usar os métodos trackPageView, trackSearch e trackSearchClick para capturar as interações do usuário.

Aviso: Embora utilizemos uma ferramenta para coletar dados de interação do usuário, é essencial garantir a conformidade com o GDPR. Isso significa informar claramente os usuários sobre quais dados estão sendo coletados, como serão usados e fornecer a opção de desativar o rastreamento. Além disso, devemos implementar medidas de segurança robustas para proteger as informações coletadas e respeitar os direitos do usuário, como o acesso e a exclusão de dados, garantindo que todas as etapas estejam em conformidade com os princípios do GDPR.

Etapa 1: Criando a instância do rastreador

Primeiro, criaremos a instância do rastreador que monitorará as interações. Nessa configuração, definimos o endpoint de destino, o nome da coleção e a chave da API:

Etapa 2: Capturando visualizações de página

Para rastrear visualizações de página, podemos configurar o evento trackPageView :

Para obter mais detalhes sobre o evento trackPageView , você pode consultar esta documentação.

Etapa 3: Capturar consultas de pesquisa

Para monitorar as ações de busca dos usuários, utilizaremos o método trackSearch :

Aqui estamos coletando o termo de pesquisa e os resultados da pesquisa.

Etapa 4: Rastreamento de cliques nos resultados da pesquisa

Finalmente, para capturar cliques nos resultados da pesquisa, usaremos o método trackSearchClick :

Coletamos informações sobre o ID do documento clicado, bem como o termo de pesquisa e os resultados da pesquisa.

Analisando os dados no Kibana

Agora que os eventos de interação do usuário estão sendo capturados, podemos obter dados valiosos sobre as ações de busca. O Kibana utiliza a ferramenta de Análise Comportamental para visualizar e analisar esses dados comportamentais. Para visualizar os resultados, basta navegar até Pesquisa > Análise Comportamental > Minha Coleção, onde será exibida uma visão geral dos eventos capturados.

Nesta visão geral, obtemos uma perspectiva ampla dos eventos registrados para cada ação integrada à nossa interface. A partir dessas informações, podemos obter insights valiosos sobre o comportamento de busca do usuário. No entanto, se você deseja criar painéis personalizados com métricas mais relevantes para o seu cenário específico, o Kibana oferece ferramentas poderosas para a criação de painéis, permitindo que você crie diversas visualizações de suas métricas.

Abaixo, criei algumas visualizações e gráficos para monitorar, por exemplo, os termos mais pesquisados ao longo do tempo, as consultas que não retornaram resultados, uma nuvem de palavras destacando os termos mais pesquisados e, finalmente, uma visualização geográfica para identificar a origem do acesso à pesquisa.

Conclusão

Neste artigo, implementamos uma solução de busca híbrida que combina busca por palavras-chave e busca vetorial, fornecendo resultados mais precisos e relevantes para os usuários. Exploramos também como usar recursos adicionais, como filtros e personalização de resultados com Consultas Fixadas, para criar uma experiência de busca mais completa e eficiente.

Além disso, integramos o Behavioral Analytics da Elastic para capturar e analisar o comportamento do usuário durante suas interações com o mecanismo de busca. Ao usar métodos como trackPageView, trackSearch e trackSearchClick, conseguimos monitorar consultas de pesquisa, cliques em resultados de pesquisa e visualizações de página, gerando informações valiosas sobre o comportamento de pesquisa.

Referências

Conjunto de dados

https://www.kaggle.com/datasets/shivd24coder/cosmetic-brand-products-dataset

Transformador

https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

Fusão de Classificação Recíproca

https://www.elastic.co/guide/en/elasticsearch/reference/current/rrf.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/retriever.html#rrf-retriever

Consulta Knn

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

Consulta fixada

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-pinned-query.html

APIs de análise comportamental

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-apis.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-overview.html

Muitos sites de comércio eletrônico estão interessados em aprimorar a experiência de busca de receitas. A busca semântica, quando aplicada corretamente, permite que os clientes encontrem rapidamente os ingredientes necessários com base em consultas mais naturais, como "algo para o Dia dos Namorados" ou "refeições de Ação de Graças".

Neste artigo, demonstraremos como usar o Elasticsearch para implementar uma busca semântica que suporte esse tipo de consulta. Vamos configurar um índice para armazenar o catálogo de ingredientes e produtos de um supermercado e demonstrar como esse índice pode ser usado para melhorar as buscas por receitas. Ao longo do artigo, explicaremos como criar essa estrutura de dados e aplicar técnicas de processamento de linguagem natural para fornecer resultados relevantes e alinhados à intenção do cliente.

Todo o código apresentado neste artigo foi desenvolvido em Python e está disponível no GitHub. Você pode acessar o repositório para revisar o código-fonte, fazer ajustes conforme necessário e implementar as soluções diretamente em seu ambiente de desenvolvimento.

Iniciando a implementação da busca semântica

Para começar a implementar a busca semântica, primeiro precisamos definir o modelo de linguagem natural. A Elastic oferece seu próprio modelo, o ELSER, mas também oferece suporte para a integração de modelos de PNL de diversos fornecedores, como o Hugging Face. Essa flexibilidade permite que você escolha a opção que melhor se adapta às suas necessidades.

Neste artigo, utilizaremos o ELSER, que reduz a complexidade de implantação e gerenciamento de modelos de PNL (Processamento de Linguagem Natural). Além disso, o Elastic oferece o recurso semantic_text , que simplifica bastante o processo. Com o semantic_text, todo o processo de geração de embeddings torna-se simples e automatizado. Basta definir um ponto de inferência e especificar o campo que receberá os embeddings no seu mapeamento de índice. Durante a indexação de documentos, os elementos incorporados serão gerados e associados automaticamente ao campo especificado.

Etapas de configuração

A seguir estão os passos para criar um índice com suporte para pesquisa semântica. Seguindo estas instruções, você terá um índice configurado e pronto para buscas semânticas:

1. Crie o ponto de inferência.

2. Crie o índice, definindo o campo de descrição como semantic_text para que ele possa receber os embeddings.

3. Indexe os dados no índice do catálogo de produtos, que armazenará um catálogo de produtos. Este catálogo foi obtido a partir de um conjunto de dados disponível aqui.

Aplicação da busca semântica em supermercados

Agora que temos o índice preenchido com dados de produtos de supermercado, estamos testando e validando consultas para melhorar os resultados da pesquisa usando a busca semântica. Nosso objetivo é proporcionar uma experiência de busca mais inteligente, que compreenda o contexto e a intenção do usuário, oferecendo resultados mais relevantes e precisos.

Desafios resolvidos pela busca semântica

Com base no catálogo de produtos, vamos explorar como a busca semântica pode transformar a experiência de busca em supermercados, abordando problemas de vocabulário e contexto que a busca lexical tradicional costuma ter dificuldades em resolver.

1. Interpretação das intenções culinárias

Problema 01: Um cliente pode pesquisar por "frutos do mar para grelhar", mas um sistema de busca lexical pode não entender completamente a intenção por trás da consulta. Pode ser que o sistema não consiga identificar todos os frutos do mar adequados para grelhar, retornando apenas aqueles que contenham exatamente os termos "frutos do mar" ou "grelhar" no título do produto.

Primeiramente, realizaremos uma busca lexical e analisaremos os resultados. Em seguida, faremos o mesmo com uma busca semântica, comparando os resultados para o mesmo termo de busca.

Consulta de pesquisa lexical

Resultados:

Tipo de pesquisa

Nome

Pontuação

Lexical

Caranguejo-das-neves Bairdi do Alasca, peixe do noroeste

10,453125

Lexical

Molho Gourmet Original do Sr. Yoshida

7,2289705

Lexical

Pacote Variado de Frutos do Mar Premium - 20 unidades

7.1924105

Lexical

Pargo-vermelho americano - Inteiro, com cabeça, limpo

6,998647

Lexical

Garras e patas de lagosta, capturadas de forma sustentável na natureza.

6,438654

A busca lexical retornou alguns frutos do mar adequados para grelhar, como o pargo-vermelho americano e o caranguejo-das-neves-do-Alasca Bairdi da Northwest Fish. No entanto, a busca lexical retornou produtos menos relevantes no topo da lista, como o molho Mr. Yoshida, que não é um produto à base de frutos do mar, mas sim um molho para carne, sugerindo que o algoritmo lexical teve dificuldades em compreender totalmente o contexto de "para grelhar".

Solução de busca semântica

Usamos uma consulta que combina o termo "frutos do mar" com contextos de preparo como "grelhar" para retornar uma lista abrangente de opções, como filés de peixe, camarão e vieiras, que são ideais para grelhar — mesmo que as palavras "grelhar" ou "frutos do mar" não apareçam diretamente no nome do produto. Isso garante que os resultados da pesquisa estejam mais alinhados com a intenção do cliente.

Pesquisa semântica de consulta:

Tipo de pesquisa

Nome

Pontuação

Semântica

Robalo inteiro, limpo e com cabeça.

16.175909

Semântica

Bacalhau-negro do Alasca (peixe-sable)

15,855331

Semântica

Pargo-vermelho americano - Inteiro, com cabeça

15,454779

Semântica

Caranguejo-das-neves Bairdi do Alasca, peixe do noroeste

15,855331

Semântica

Pargo-vermelho americano - Inteiro, com cabeça

15,3892355

A busca semântica não apenas retornou produtos diretamente relacionados ao termo "frutos do mar", mas também compreendeu o contexto de "grelhar", apresentando peixes inteiros e filés adequados para grelhar. O ponto crucial aqui é a precisão dos resultados, que incluíram opções de peixes inteiros, como o robalo e o bacalhau negro do Alasca, ambos comumente usados para grelhar.

Problema 02 : Muitos clientes procuram soluções rápidas e fáceis para o jantar depois de um longo dia de trabalho, usando termos como "refeições fáceis para a semana". A busca lexical tradicional pode não capturar completamente o conceito de refeições rápidas, muitas vezes focando apenas em produtos que incluem a palavra "fácil" em seu nome.

Assim como fizemos no problema anterior, começaremos realizando uma busca lexical. Em seguida, aplicaremos uma solução utilizando busca semântica.

Consulta de pesquisa lexical

Resultados:

Tipo de pesquisa

Nome

Pontuação

Lexical

Etiquetas adesivas Avery Easy Peel para endereços, pacote com 4200 unidades

8.017723

Lexical

Refeições portáteis/de emergência com aquecimento automático Omeals 32

6,592727

Lexical

Poke de Atum Albacora em Cubos da Coastal Seafood

5,836883

Lexical

Espuma Hefty Super Weight de 340 g (12 oz)

5,8116536

Lexical

Guardanapos Vanity Fair Everyday, 2 camadas, pacote com 110 unidades

5,752989

A busca lexical retornou resultados muito menos relevantes, incluindo itens completamente não relacionados a refeições, como Etiquetas de Endereço Avery Easy Peel e Guardanapos Vanity Fair Everyday. Esses produtos não atendem à necessidade do usuário por refeições rápidas. Embora a busca lexical tenha retornado um produto útil (Omeals Self Heating Emergency Meals), outros resultados, como guardanapos e etiquetas, só correspondiam às palavras "fácil" ou "noite de semana" em suas descrições, sem realmente abordar a intenção do usuário de encontrar uma solução rápida para refeições.

Solução de busca semântica

Implementamos uma consulta que entende a intenção por trás de refeições rápidas e fáceis. Associa produtos que podem ser preparados rapidamente, como carnes pré-cozidas, massas congeladas ou kits de refeição, mesmo que não incluam explicitamente a palavra "fácil" no nome. Essa abordagem garante que os clientes encontrem as opções mais adequadas para jantares rápidos durante a semana, atendendo à necessidade de praticidade.

Pesquisa semântica de consulta

Resultados:

Tipo de pesquisa

Nome

Pontuação

Semântica

Refeições portáteis/de emergência com aquecimento automático Omeals 32

14.610006

Semântica

Nissin, Cup Noodles, Camarão, 70g

13,751424

Semântica

Mistura para Waffles e Panquecas Namaste Sem Glúten

13,73376

Semântica

Batatas Idaho, Batatas Hashbrown Douradas Grelhadas

12,549422

Semântica

Nissin, Cup Noodles, Frango, 24 unidades

12.034527

A busca semântica retornou produtos claramente relacionados a refeições rápidas e práticas, como macarrão instantâneo (Cup Noodles), batatas pré-cozidas e misturas para panquecas, que são opções típicas para jantares fáceis durante a semana. Isso demonstra que a busca semântica consegue captar o conceito por trás da frase "refeições fáceis para noites de semana", identificando a intenção do usuário de encontrar refeições rápidas e práticas. Curiosamente, produtos de outras categorias, como "refrigerantes", também podem ser incluídos quando relevantes no contexto (por exemplo, bebidas para acompanhar as refeições).

2. Termos regionais e variações de vocabulário

Problema: Um cliente pode pesquisar por "refrigerante", enquanto outro cliente pode usar "refrigerante" para o mesmo produto. A busca lexical tradicional não reconhece que ambos os termos se referem ao mesmo item.

Consulta de pesquisa lexical

Resultados:

Tipo de pesquisa

Nome

Pontuação

Lexical

Prime Hydration+ Sticks - Mistura para Bebida Eletrolítica

14,492869

Lexical

Capri Sun, 100% Suco, Pacote Variado

12.340851

Lexical

Bebida energética Joyburst, Frosé Rosé, 12

11,839179

Lexical

Pop-Tarts da Kellogg's, com cobertura de açúcar mascavo e canela.

9,97788

Lexical

Kind Mini Bars, Pacote Variado, 0,7

9,336912

A busca lexical concentra-se em correspondências exatas de palavras. Embora tenha retornado produtos como Prime Hydration e Capri Sun, a correspondência direta com o termo "pop" também levou a resultados irrelevantes, como Pop-Tarts da Kellogg's, que é um lanche e não uma bebida. Isso demonstra como a busca lexical pode ser menos eficaz quando um termo possui múltiplos significados ou pode ser ambíguo.

Solução de busca semântica

Em consultas semânticas, podemos superar o problema das variações de vocabulário que a busca lexical não consegue resolver. Ao expandir os termos de pesquisa, conseguimos obter resultados baseados no significado contextual, fornecendo respostas mais relevantes e abrangentes.

Consulta:

Resultados:

Tipo de pesquisa

Nome

Pontuação

Semântica

Refrigerante Prebiótico Olipop 355ml (12 oz) - Variedade

14,776867

Semântica

Bai Antioxidante Cocofusion, Pacote Variado, 18

14,663253

Semântica

Bebida energética Monster, Zero Ultra, 24

14,486348

Semântica

Joyburst Energy Variedade, 355 ml

14.007214

Semântica

Bebida energética Joyburst, Frosé Rosé, 12

13,641038

A busca semântica retorna produtos que correspondem diretamente ao conceito de "refrigerante" como sinônimo de "soda" (como Olipop Prebiotics Soda), mesmo que o termo exato "refrigerante" não esteja presente no nome do produto. A busca compreendeu a intenção do usuário — uma bebida refrescante e com baixo teor de açúcar — e conseguiu retornar produtos relevantes, incluindo opções como refrigerantes prebióticos (Olipop) e bebidas energéticas sem açúcar (Monster Energy Drink).

Conclusão

A implementação da busca semântica no contexto de supermercados provou ser altamente eficaz na compreensão de consultas complexas como "frutos do mar para grelhar" e "refeições fáceis para a semana". Essa abordagem nos permitiu interpretar a intenção do usuário com mais precisão, retornando produtos altamente relevantes.

Ao utilizar o Elasticsearch e simplificar o processo com o ELSER, conseguimos aplicar a busca semântica de forma rápida e eficiente, melhorando significativamente os resultados da busca e proporcionando uma experiência de compra mais ágil e direcionada. Isso não apenas otimizou o processo de busca, mas também aumentou a relevância dos resultados oferecidos aos clientes.

Referências

Modelo ELSER:

https://www.elastic.co/guide/en/elasticsearch/reference/current/put-inference-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-elser.html

Texto semântico:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-text.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

Conjunto de dados:

https://www.kaggle.com/datasets/bhavikjikadara/grocery-store-dataset?select=GroceryDataset.csv

Busca semântica:

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search-semantic-text.html

O que é o Apache Camel?

O Apache Camel é uma estrutura de integração de código aberto que simplifica a conexão de diversos sistemas, permitindo que os desenvolvedores se concentrem na lógica de negócios sem se preocuparem com as complexidades da comunicação entre sistemas. O conceito central do Camel é o de "rotas", que definem o caminho que uma mensagem percorre da origem ao destino, podendo incluir etapas intermediárias como transformações, validações e filtragem.

Arquitetura Apache Camel

O Camel usa "componentes" para se conectar a diferentes sistemas e protocolos, como bancos de dados e serviços de mensagens, e "pontos de extremidade" para representar os pontos de entrada e saída das mensagens. Esses conceitos proporcionam um design modular e flexível, facilitando a configuração e o gerenciamento de integrações complexas de forma eficiente e escalável.

Utilizando Elasticsearch e Apache Camel

Vamos demonstrar como configurar uma aplicação Java simples que utiliza o Apache Camel para ingerir dados em um cluster Elasticsearch. Os processos de criação, atualização e exclusão de dados no Elasticsearch usando rotas definidas no Apache Camel também serão abordados.

1. Adicionando dependências

O primeiro passo para configurar esta integração é adicionar as dependências necessárias ao arquivo pom.xml do seu projeto. Isso incluirá as bibliotecas Apache Camel e Elasticsearch. Usaremos a nova biblioteca Java API Client, portanto, devemos importar o componente camel-elasticsearch e a versão deve ser a mesma da biblioteca camel-core .

Se você deseja usar o cliente REST de baixo nível em Java, deve usar o componente Cliente REST de baixo nível do Elasticsearch.

2. Configurando e executando o contexto do Camel

A configuração começa com a criação de um novo contexto Camel usando a classe DefaultCamelContext , que serve como base para definir e executar rotas. Em seguida, configuramos o componente Elasticsearch, que permitirá que o Apache Camel interaja com um cluster Elasticsearch. A instância ESlasticsearchComponent está configurada para se conectar ao endereço localhost:9200, que é o endereço padrão para um cluster Elasticsearch local. Para uma configuração de ambiente que requer autenticação, você deve ler a documentação sobre como configurar o componente e habilitar a autenticação básica, referida como "Configurar o componente e habilitar a autenticação básica".

Em seguida, esse componente é adicionado ao contexto do Camel, permitindo que as rotas definidas o utilizem para realizar operações no Elasticsearch.

Em seguida, as rotas são adicionadas ao contexto. Criaremos rotas para indexação, atualização e exclusão em massa de documentos.

3. Configurando rotas do Camel

Indexação de dados

A primeira rota que configuraremos é para indexação de dados. Utilizaremos um arquivo JSON contendo um catálogo de filmes. A rota será configurada para ler o arquivo localizado em src/main/resources/movies.json, desserializar o conteúdo JSON em objetos Java e, em seguida, aplicar uma estratégia de agregação para combinar várias mensagens em uma só, permitindo operações em lote no Elasticsearch. O tamanho configurado para 500 itens por mensagem é o seguinte: o processo em lote indexará 500 filmes por vez.

Roteamento Elasticsearch Operação em massa

O lote de documentos será enviado para o endpoint de operações em lote do Elasticsearch. Essa abordagem garante eficiência e rapidez no processamento de grandes volumes de dados.

Atualização de dados

O próximo passo será atualizar os documentos. Na etapa anterior, indexamos alguns filmes e agora criaremos novas rotas para pesquisar um documento por código de referência e, em seguida, atualizar o campo de classificação.

Configuramos um contexto Camel (DefaultCamelContext), onde um componente Elasticsearch é registrado e uma rota personalizada IngestionRoute é adicionada. A operação começa com o envio do código do documento através do ProducerTemplate, que inicia a rota a partir do endpoint direct:update-ingestion.

Em seguida, temos o IngestionRoute, que é o ponto de extremidade de entrada para este fluxo. A rota executa diversas operações em dutos. Primeiro, é feita uma busca no Elasticsearch para localizar o documento pelo código (direct:search-by-id), onde o SearchByCodeProcessor monta a consulta com base no código. Em seguida, o documento recuperado é processado pelo UpdateRatingProcessor, que converte o resultado em objetos Movie, atualiza a classificação do filme para um valor específico e prepara o documento atualizado para ser enviado de volta ao Elasticsearch para atualização.

O processador SearchByCodeProcessor foi configurado apenas para executar a consulta de pesquisa:

O processador UpdateRatingProcessor é responsável por atualizar o campo de classificação.

Exclusão de dados

Por fim, a rota para exclusão de documentos está configurada. Aqui, vamos excluir um documento usando seu ID. No Elasticsearch, para excluir um documento, precisamos saber o identificador do documento, o índice onde o documento está armazenado e executar uma solicitação de exclusão. No Apache Camel, realizaremos essa operação criando uma nova rota, conforme mostrado abaixo.

A rota começa no endpoint direct:op-delete, que serve como ponto de entrada. Quando um documento precisa ser excluído, seu identificador (_id) é recebido no corpo da mensagem. A rota então define o cabeçalho indexId com o valor deste identificador usando simples("${body}"), que extrai o _id do corpo da mensagem.

Por fim, a mensagem é direcionada para o endpoint especificado por URI_DELETE_OPERATION, que se conecta ao Elasticsearch para executar a operação de remoção do documento no índice correspondente. Agora que criamos a rota, podemos criar um contexto Camel (DefaultCamelContext), que está configurado para incluir o componente Elasticsearch.

Em seguida, a rota de exclusão, definida pela classe OperationDeleteRoute , é adicionada ao contexto. Com o contexto inicializado, um ProducerTemplate é usado para passar o identificador do documento que deve ser excluído para o endpoint direct:op-delete , que aciona a rota de exclusão.

Conclusão

A integração entre o Apache Camel e o Elasticsearch permite uma ingestão de dados robusta e eficiente, aproveitando a flexibilidade do Camel para definir rotas que podem lidar com diferentes cenários de manipulação de dados, como indexação, atualização e exclusão. Com essa configuração, você pode orquestrar e automatizar processos complexos de forma escalável, garantindo que seus dados sejam gerenciados com eficiência no Elasticsearch. Este exemplo demonstrou como essas ferramentas podem ser usadas em conjunto para criar uma solução eficiente e adaptável para ingestão de dados.

Referências

• Camelo Apache

• Arquitetura Apache Camel

• Apache Camel agregado

• Componente de arquivo

• componente Elasticsearch