Han Xiang Choong - Elasticsearch Labs

Técnicas avançadas de RAG, parte 2: Consultas e testes

Han Xiang Choong — Thu, 15 Aug 2024 00:00:00 GMT

Todo o código pode ser encontrado no repositório Searchlabs, na branch advanced-rag-techniques.

Bem-vindo(a) à Parte 2 do nosso artigo sobre Técnicas Avançadas de RAG! Na parte 1 desta série, configuramos, discutimos e implementamos os componentes de processamento de dados do pipeline RAG avançado:

Nesta parte, vamos prosseguir com a consulta e o teste da nossa implementação. Vamos direto ao assunto!

Índice

Pesquisar e recuperar, gerar respostas

Vamos fazer nossa primeira pergunta, idealmente alguma informação encontrada principalmente no relatório anual. Que tal:

Who audits Elastic?"

Agora, vamos aplicar algumas de nossas técnicas para aprimorar a consulta.

Enriquecendo as consultas com sinônimos

Em primeiro lugar, vamos aumentar a diversidade na formulação da consulta e transformá-la em um formato que possa ser facilmente processado em uma consulta do Elasticsearch. Vamos utilizar o GPT-4o para converter a consulta em uma lista de cláusulas OR. Vamos escrever esta pergunta:

ELASTIC_SEARCH_QUERY_GENERATOR_PROMPT = ''' You are an AI assistant specialized in generating Elasticsearch query strings. Your task is to create the most effective query string for the given user question. This query string will be used to search for relevant documents in an Elasticsearch index. Guidelines: 1. Analyze the user's question carefully. 2. Generate ONLY a query string suitable for Elasticsearch's match query. 3. Focus on key terms and concepts from the question. 4. Include synonyms or related terms that might be in relevant documents. 5. Use simple Elasticsearch query string syntax if helpful (e.g., OR, AND). 6. Do not use advanced Elasticsearch features or syntax. 7. Do not include any explanations, comments, or additional text. 8. Provide only the query string, nothing else. For the question "What is Clickthrough Data?", we would expect a response like: clickthrough data OR click-through data OR click through rate OR CTR OR user clicks OR ad clicks OR search engine results OR web analytics AND operator is not allowed. Use only OR. User Question: [The user's question will be inserted here] Generate the Elasticsearch query string: '''

Quando aplicado à nossa consulta, o GPT-4o gera sinônimos da consulta base e vocabulário relacionado.

'audits elastic OR elasticsearch audits OR elastic auditor OR elasticsearch auditor OR elastic audit firm OR elastic audit company OR elastic audit organization OR elastic audit service'

Na classe ESQueryMaker , defini uma função para dividir a consulta:

def parse_or_query(self, query_text: str) -> List[str]: # Split the query by 'OR' and strip whitespace from each term # This converts a string like "term1 OR term2 OR term3" into a list ["term1", "term2", "term3"] return [term.strip() for term in query_text.split(' OR ')]

Sua função é pegar essa sequência de cláusulas OR e dividi-las em uma lista de termos, permitindo-nos fazer uma correspondência múltipla em nossos campos-chave do documento:

["original_text", 'keyphrases', 'potential_questions', 'entities']

Finalmente, cheguei a esta pergunta:

'query': { 'bool': { 'must': [ { 'multi_match': { 'query': 'audits Elastic Elastic auditing Elastic audit process Elastic compliance Elastic security audit Elasticsearch auditing Elasticsearch compliance Elasticsearch security audit', 'fields': [ 'original_text', 'keyphrases', 'potential_questions', 'entities' ], 'type': 'best_fields', 'operator': 'or' } } ]

Isso abrange muito mais aspectos do que a consulta original, reduzindo, esperamos, o risco de perder um resultado de pesquisa por termos esquecido um sinônimo. Mas podemos fazer mais.

Voltar ao topo

HyDE (Incorporação Hipotética de Documentos)

Vamos recorrer ao GPT-4o novamente, desta vez para implementar o HyDE.

A premissa básica do HyDE é gerar um documento hipotético – o tipo de documento que provavelmente conteria a resposta à consulta original. A veracidade ou exatidão do documento não é uma preocupação. Com isso em mente, vamos escrever a seguinte pergunta:

HYDE_DOCUMENT_GENERATOR_PROMPT = ''' You are an AI assistant specialized in generating hypothetical documents based on user queries. Your task is to create a detailed, factual document that would likely contain the answer to the user's question. This hypothetical document will be used to enhance the retrieval process in a Retrieval-Augmented Generation (RAG) system. Guidelines: 1. Carefully analyze the user's query to understand the topic and the type of information being sought. 2. Generate a hypothetical document that: a. Is directly relevant to the query b. Contains factual information that would answer the query c. Includes additional context and related information d. Uses a formal, informative tone similar to an encyclopedia or textbook entry 3. Structure the document with clear paragraphs, covering different aspects of the topic. 4. Include specific details, examples, or data points that would be relevant to the query. 5. Aim for a document length of 200-300 words. 6. Do not use citations or references, as this is a hypothetical document. 7. Avoid using phrases like "In this document" or "This text discusses" - write as if it's a real, standalone document. 8. Do not mention or refer to the original query in the generated document. 9. Ensure the content is factual and objective, avoiding opinions or speculative information. 10. Output only the generated document, without any additional explanations or meta-text. User Question: [The user's question will be inserted here] Generate a hypothetical document that would likely contain the answer to this query: '''

Como a busca vetorial normalmente opera com base na similaridade de vetores de cosseno, a premissa do HyDE é que podemos obter melhores resultados combinando documentos com documentos em vez de consultas com documentos.

O que nos interessa é a estrutura, a fluidez e a terminologia. Não se trata tanto de factualidade. O GPT-4o gera um documento HyDE como este:

'Elastic N.V., the parent company of Elastic, the organization known for developing Elasticsearch, is subject to audits to ensure financial accuracy, regulatory compliance, and the integrity of its financial statements. The auditing of Elastic N.V. is typically conducted by an external, independent auditing firm. This is common practice for publicly traded companies to provide stakeholders with assurance regarding the company\'s financial position and operations.\n\nThe primary external auditor for Elastic is the audit firm Ernst & Young LLP (EY). Ernst & Young is one of the four largest professional services networks in the world, commonly referred to as the "Big Four" audit firms. These firms handle a substantial number of audits for major corporations around the globe, ensuring adherence to generally accepted accounting principles (GAAP) and international financial reporting standards (IFRS).\n\nThe audit process conducted by EY involves several steps. Initially, the auditors perform a risk assessment to identify areas where misstatements due to error or fraud could occur. They then design audit procedures to test the accuracy and completeness of financial statements, which include examining financial transactions, assessing internal controls, and reviewing compliance with relevant laws and regulations. Upon completion of the audit, Ernst & Young issues an audit report, which includes the auditor’s opinion on whether the financial statements are free from material misstatement and are presented fairly in accordance with the applicable financial reporting framework.\n\nIn addition to external audits by firms like Ernst & Young, Elastic may also be subject to internal audits. Internal audits are performed by the company’s own internal auditors to evaluate the effectiveness of internal controls, risk management, and governance processes.\n\nOverall, the auditing process plays a crucial role in maintaining the transparency and reliability of Elastic\'s financial information, providing confidence to investors, regulators, and other stakeholders.'

Parece bastante convincente, como o candidato ideal para os tipos de documentos que gostaríamos de indexar. Vamos incorporar isso e usar para busca híbrida.

Voltar ao topo

Busca híbrida

Este é o núcleo da nossa lógica de busca. Nosso componente de busca lexical serão as strings da cláusula OR geradas. Nosso componente vetorial denso será um documento HyDE incorporado (também conhecido como vetor de busca). Utilizamos o KNN para identificar de forma eficiente vários documentos candidatos mais próximos do nosso vetor de busca. Por padrão, denominamos nosso componente de busca lexical como "Pontuação com TF-IDF e BM25" . Finalmente, as pontuações lexicais e de vetor denso serão combinadas usando a proporção 30/70 recomendada por Wang et al.

def hybrid_vector_search(self, index_name: str, query_text: str, query_vector: List[float], text_fields: List[str], vector_field: str, num_candidates: int = 100, num_results: int = 10) -> Dict: """ Perform a hybrid search combining text-based and vector-based similarity. Args: index_name (str): The name of the Elasticsearch index to search. query_text (str): The text query string, which may contain 'OR' separated terms. query_vector (List[float]): The query vector for semantic similarity search. text_fields (List[str]): List of text fields to search in the index. vector_field (str): The name of the field containing document vectors. num_candidates (int): Number of candidates to consider in the initial KNN search. num_results (int): Number of final results to return. Returns: Dict: A tuple containing the Elasticsearch response and the search body used. """ try: # Parse the query_text into a list of individual search terms # This splits terms separated by 'OR' and removes any leading/trailing whitespace query_terms = self.parse_or_query(query_text) # Construct the search body for Elasticsearch search_body = { # KNN search component for vector similarity "knn": { "field": vector_field, # The field containing document vectors "query_vector": query_vector, # The query vector to compare against "k": num_candidates, # Number of nearest neighbors to retrieve "num_candidates": num_candidates # Number of candidates to consider in the KNN search }, "query": { "bool": { # The 'must' clause ensures that matching documents must satisfy this condition # Documents that don't match this clause are excluded from the results "must": [ { # Multi-match query to search across multiple text fields "multi_match": { "query": " ".join(query_terms), # Join all query terms into a single space-separated string "fields": text_fields, # List of fields to search in "type": "best_fields", # Use the best matching field for scoring "operator": "or" # Match any of the terms (equivalent to the original OR query) } } ], # The 'should' clause boosts relevance but doesn't exclude documents # It's used here to combine vector similarity with text relevance "should": [ { # Custom scoring using a script to combine vector and text scores "script_score": { "query": {"match_all": {}}, # Apply this scoring to all documents that matched the 'must' clause "script": { # Script to combine vector similarity and text relevance "source": """ # Calculate vector similarity (cosine similarity + 1) # Adding 1 ensures the score is always positive double vector_score = cosineSimilarity(params.query_vector, params.vector_field) + 1.0; # Get the text-based relevance score from the multi_match query double text_score = _score; # Combine scores: 70% vector similarity, 30% text relevance # This weighting can be adjusted based on the importance of semantic vs keyword matching return 0.7 * vector_score + 0.3 * text_score; """, # Parameters passed to the script "params": { "query_vector": query_vector, # Query vector for similarity calculation "vector_field": vector_field # Field containing document vectors } } } } ] } } } # Execute the search request against the Elasticsearch index response = self.conn.search(index=index_name, body=search_body, size=num_results) # Log the successful execution of the search for monitoring and debugging logger.info(f"Hybrid search executed on index: {index_name} with text query: {query_text}") # Return both the response and the search body (useful for debugging and result analysis) return response, search_body except Exception as e: # Log any errors that occur during the search process logger.error(f"Error executing hybrid search on index: {index_name}. Error: {e}") # Re-raise the exception for further handling in the calling code raise e

Finalmente, podemos montar uma função RAG. Nosso processo RAG, da pergunta à resposta, seguirá este fluxo:

Converter consulta em cláusulas OR.
Gere o documento HyDE e incorpore-o.
Passe ambos como entradas para a Busca Híbrida.
Recuperar os n melhores resultados, inverter a ordem para que a pontuação mais relevante seja a "mais recente" na memória contextual do LLM (Empacotamento Inverso). Exemplo de Empacotamento Inverso: Consulta: "Técnicas de otimização de consultas do Elasticsearch". Documentos recuperados (ordenados por relevância): Ordem invertida para o contexto do LLM: Ao inverter a ordem, a informação mais relevante (1) aparece por último no contexto, potencialmente recebendo mais atenção do LLM durante a geração de respostas.
1. "Use consultas booleanas para combinar vários critérios de pesquisa de forma eficiente."
2. "Implementar estratégias de cache para melhorar os tempos de resposta das consultas."
3. "Otimize os mapeamentos de índice para um desempenho de pesquisa mais rápido."
4. "Otimize os mapeamentos de índice para um desempenho de pesquisa mais rápido."
5. "Implementar estratégias de cache para melhorar os tempos de resposta das consultas."
6. "Use consultas booleanas para combinar vários critérios de pesquisa de forma eficiente."
Passe o contexto para o LLM para geração.

def get_context(index_name, match_query, text_query, fields, num_candidates=100, num_results=20, text_fields=["original_text", 'keyphrases', 'potential_questions', 'entities'], embedding_field="primary_embedding"): embedding=embedder.get_embeddings_from_text(text_query) results, search_body = es_query_maker.hybrid_vector_search( index_name=index_name, query_text=match_query, query_vector=embedding[0][0], text_fields=text_fields, vector_field=embedding_field, num_candidates=num_candidates, num_results=num_results ) # Concatenates the text in each 'field' key of the search result objects into a single block of text. context_docs=['\n\n'.join([field+":\n\n"+j['_source'][field] for field in fields]) for j in results['hits']['hits']] # Reverse Packing to ensure that the highest ranking document is seen first by the LLM. context_docs.reverse() return context_docs, search_body def retrieval_augmented_generation(query_text): match_query= gpt4o.generate_query(query_text) fields=['original_text'] hyde_document=gpt4o.generate_HyDE(query_text) context, search_body=get_context(index_name, match_query, hyde_document, fields) answer= gpt4o.basic_qa(query=query_text, context=context) return answer, match_query, hyde_document, context, search_body

Vamos executar nossa consulta e obter a resposta:

According to the context, Elastic N.V. is audited by an independent registered public accounting firm, PricewaterhouseCoopers (PwC). This information is found in the section titled "report of independent registered public accounting firm," which states: "We have audited the accompanying consolidated balance sheets of Elastic N.V. [...] / s / pricewaterhouseco."

Legal. Isso mesmo.

Voltar ao topo

Experimentos

Há uma pergunta importante a ser respondida agora. O que ganhamos investindo tanto esforço e complexidade adicional nessas implementações?

Vamos fazer uma pequena comparação. O pipeline RAG que implementamos em comparação com a busca híbrida básica, sem nenhuma das melhorias que fizemos. Realizaremos uma pequena série de testes para verificar se notamos alguma diferença significativa. Vamos nos referir ao RAG que acabamos de implementar como AdvancedRAG e ao pipeline básico como SimpleRAG.

Resumo dos resultados

Esta tabela resume os resultados de cinco testes de ambos os pipelines RAG. Avaliei a superioridade relativa de cada método com base no detalhamento e na qualidade das respostas, mas essa é uma avaliação totalmente subjetiva. As respostas corretas estão reproduzidas abaixo desta tabela para sua análise. Dito isso, vamos dar uma olhada em como eles se saíram!

O SimpleRAG não conseguiu responder às perguntas 1 e 5. O AdvancedRAG, por sua vez, apresentou respostas muito mais detalhadas nas perguntas 2, 3 e 4. Com base nesse maior nível de detalhamento, considerei as respostas do AdvancedRAG de melhor qualidade.

Teste

Pergunta

Desempenho AdvancedRAG

Desempenho SimpleRAG

Latência RAG Avançada

Latência SimpleRAG

Ganhador

Quem audita a Elastic?

Identificou corretamente a PwC como auditora.

Não foi possível identificar o auditor.

11,6s

4,4s

RAG Avançado

Qual foi a receita total em 2023?

Forneceu o valor correto da receita. Incluímos contexto adicional com a receita de anos anteriores.

Forneceu o valor correto da receita.

13,3s

2,8s

RAG Avançado

De qual produto depende principalmente o crescimento? Quanto?

Identificamos corretamente o Elastic Cloud como o principal fator impulsionador. Inclui contexto geral de receita e detalhes adicionais.

Identificamos corretamente o Elastic Cloud como o principal fator impulsionador.

14,1s

12,8s

RAG Avançado

Descreva o plano de benefícios para funcionários.

Apresentou uma descrição completa dos planos de aposentadoria, programas de saúde e outros benefícios. Inclui valores de contribuição específicos para diferentes anos.

Apresentou uma boa visão geral dos benefícios, incluindo remuneração, planos de aposentadoria, ambiente de trabalho e o programa Elastic Cares.

26,6s

11,6s

RAG Avançado

Quais empresas a Elastic adquiriu?

As aquisições recentes mencionadas no relatório foram listadas corretamente (CmdWatch, Build Security, Optimyze). Foram fornecidas algumas datas de aquisição e preços de compra.

Não foi possível recuperar informações relevantes do contexto fornecido.

11,9s

2,7s

RAG Avançado

Teste 1: Quem audita a Elastic?

RAG Avançado

SimpleRAG

According to the provided context, no specific auditing firm or company is mentioned as the auditor for Elastic. The context provided talks about various features, strengths, deployment options, and other details related to Elastic and its operations but does not specify which auditing firm is responsible for auditing Elastic's financial statements or internal controls.

Resumo: A SimpleRAG não identificou a PwC como auditora.

Bem, isso é realmente surpreendente. Parece ser uma falha de busca por parte do SimpleRAG. Não foram recuperados documentos relacionados à auditoria. Vamos diminuir um pouco a dificuldade no próximo teste.

Teste 2: receita total em 2023

RAG Avançado

### Total Revenue for 2023 According to the provided context, the total revenue for the year ended April 30, 2023, was **$1,068,989,000**. This information can be found several times in the provided text. Specifically, one part states: "The following table sets forth our results of operations for the periods presented in dollars and as a percentage of our total revenue. ... year ended April 30, 2023, ... total revenue 1,068,989". Additionally, it is mentioned here as well: "For the years ended April 30, 2023, 2022, and 2021, representing year-over-year growth of 24% for the year ended April 30, 2023... total revenue $1,068,989". Therefore, the total revenue for 2023 is $1.069 billion.

SimpleRAG

According to the context provided, the total revenue for the fiscal year ended April 30, 2023, is: $1,068,989,000 (or approximately $1.1 billion).

Resumo: Ambas as equipes RAG acertaram a resposta: receita total de US$ 1.068.989.000 em 2023.

Ambos estavam bem aqui. Parece que a AdvancedRAG pode ter adquirido uma gama mais ampla de documentos? Certamente a resposta é mais detalhada e incorpora informações de anos anteriores. Isso era de se esperar, considerando as melhorias que fizemos, mas ainda é muito cedo para afirmar algo com certeza.

Vamos aumentar a dificuldade.

Teste 3: De qual produto depende principalmente o crescimento? Quanto?

RAG Avançado

### Product Growth Primarily Depends On: According to the context, "our revenue is derived primarily from subscriptions of search, observability and security built into the elastic stack." The document mentions various strategies and factors contributing to the company’s growth which include investment in "elastic cloud," "elastic stack," and the conversion of free users to paid subscribers. ### Quantitative Data: - **Revenue**: The document states, "Our total revenue was $1.1 billion, $862.4 million, and $608.5 million for the years ended April 30, 2023, 2022, and 2021, respectively." - **Subscription Revenue**: "Subscriptions accounted for 92%, 93%, and 93% of our total revenue for the years ended April 30, 2023, 2022, and 2021, respectively." - **Elastic Cloud Contribution**: "For the years ended April 30, 2023, 2022, and 2021, Elastic Cloud contributed 40%, 35%, and 27% of our total revenue, respectively." - **Customer Growth**: The number of customers increased from "over 15,000 as of April 30, 2021," to "approximately 20,200 as of April 30, 2023." ### Summary: Product growth for the company primarily depends on the "Elastic Stack" (which includes search, observability, and security solutions) and particularly the "Elastic Cloud." The Elastic Cloud's growing contribution to revenue highlights its significance, which grew from 27% in 2021 to 40% in 2023.

SimpleRAG

According to the provided context, growth primarily depends on **Elastic Cloud**, which is described as the company's "family of cloud-based offerings." The context also emphasizes the significance of Elastic Cloud in achieving the company's long-term growth potential and its role in increasing subscription revenue. From the context: - "Increasing adoption of Elastic Cloud... is an important growth opportunity for our business. Organizations are increasingly looking for hosted deployment alternatives with reduced administrative burdens." - "We believe that offering Elastic Cloud is important for achieving our long-term growth potential, and we expect Elastic Cloud’s contribution to our subscription revenue to continue to increase." In terms of the contribution to total revenue, here are the specific figures provided: - Elastic Cloud contributed 40% of the total revenue for the year ended April 30, 2023. - Elastic Cloud contributed 35% of the total revenue for the year ended April 30, 2022. - Elastic Cloud contributed 27% of the total revenue for the year ended April 30, 2021. This progression shows a clear upward trend in the importance and contribution of Elastic Cloud to the company's overall revenue.

Resumo: Ambos os RAGs identificaram corretamente o Elastic Cloud como o principal motor de crescimento. No entanto, o AdvancedRAG inclui mais detalhes, levando em consideração as receitas de assinaturas e o crescimento da base de clientes, e menciona explicitamente outras ofertas da Elastic.

Teste 4: Descreva o plano de benefícios para funcionários

RAG Avançado

### Employee Benefit Plan Overview The provided context outlines various elements of the employee benefit plan at Elastic, often referred to as "Elasticians." Here are the key components described in the texts: 1. **401(k) Plan**: - **Coverage**: The 401(k) plan is available to substantially all U.S. employees who meet minimum age and service requirements. - **Contributions**: Elastic makes contributions to the 401(k) plan up to 6% of the participating employee’s W-2 earnings and wages. - **Expenses**: For the fiscal years ended April 30, Elastic recorded expenses of $17.9 million (2023), $15.2 million (2022), and $11.4 million (2021) related to the 401(k) plan. - **Defined-Contribution Plans in Other Countries**: Elastic has defined-contribution plans in various other countries and recorded respective expenses of $9.4 million (2023), $7.2 million (2022), and $5.1 million (2021). 2. **Stock-Based Compensation**: - **Types of Awards**: Stock options, restricted stock units (RSUs), and shares under the Employee Stock Purchase Plan (ESPP). - **Fair Value Measurement**: Fair value of these stock awards is measured using models like Black-Scholes. - **Employee Stock Purchase Plan (2022 ESPP)**: - Started in 2022, it allows employees to acquire ordinary shares at a discount (85% of the market value at the beginning or end of the offering period). - Offering periods are approximately six months long. 3. **Total Rewards Compensation**: - **Components**: Includes cash compensation as well as equity awards, reflecting a comprehensive interest in the well-being of the employees. - **Programs**: Market competitive medical and dental programs, mental health, and holistic well-being programs. - **Paid Time Off**: Features 16 weeks of paid leave for new parents and life-planning benefits. 4. **Retirement and Income Protection Plans**: - **401(k) Match**: Elastic provides a dollar-for-dollar match up to 6% of eligible earnings up to a plan-limit maximum for U.S.-based employees. - **Similar Plans Outside the U.S.**: Competitive retirement plans available for employees based outside the United States. 5. **Flexible Work Environment**: - **Distributed Workforce**: Elastic operates with a global distributed workforce model, allowing employees to work remotely and providing a broad candidate pool. 6. **Learning and Development**: - **Programs**: Access to on-demand video-based learning, leadership development programs, and other specific training to develop managers and leaders. 7. **Employee Engagement and Surveys**: - **Mechanisms**: Annual employee engagement survey and mid-year pulse survey. - **Objectives**: To monitor morale, develop action plans, and maintain high engagement scores. 8. **Onboarding Program**: - **X-School**: An extensive new-hire orientation program to help new employees meet peers and learn about the company's products and solutions. In summary, Elastic's employee benefit plan encompasses a broad spectrum of financial, health, well-being, and professional development benefits designed to support and enhance the lives of its employees. The plan is both competitive and comprehensive, aiming to attract, retain, and engage its global workforce.

SimpleRAG

The employee benefit plan at the Company includes several key components aimed at enhancing the overall well-being and professional development of employees, referred to as "Elasticians." 1. **Compensation and Benefits:** - The Company provides market-competitive compensation packages which typically include cash compensation and equity awards. - Comprehensive medical and dental programs are offered, emphasizing mental health and holistic well-being. - Paid time off programs feature: - 16 weeks of paid leave for new parents. - Life-planning benefits. - Travel reimbursements for certain healthcare services. 2. **Retirement and Income Protection Plans:** - In the United States, employees are eligible for a 401k plan with a dollar-for-dollar match by the Company up to 6% of eligible earnings, subject to a plan limit. - Similar competitive retirement and income protection plans are available for employees outside the United States. 3. **Work Environment:** - The Company offers a flexible work environment, allowing most employees to work from anywhere as often as they would like. - Physical offices around the world are available for employees who prefer to work on-site or need a space for face-to-face interactions. 4. **Community Involvement:** - The Elastic Cares Program supports charitable organizations that matter to employees on both local and global levels. - The program includes: - Donation matching. - Providing the Company's technology for free to certain nonprofit organizations. - Volunteer time off initiative.

Resumo: A AdvancedRAG aborda o assunto com muito mais profundidade e detalhes, mencionando o plano 401K para funcionários baseados nos EUA, além de definir planos de contribuição fora dos EUA. O texto também menciona planos de saúde e bem-estar, mas omite o programa Elastic Cares, que é citado pela SimpleRAG.

Teste 5: Quais empresas a Elastic adquiriu?

RAG Avançado

Elastic acquired several companies over the years to enhance its technology and market presence. According to the provided context, the specific acquisitions include: 1. **CmdWatch Security Inc.**: Acquired on September 17, 2021. The total purchase consideration was $77.8 million. 2. **Build Security Ltd.**: Acquired on September 2, 2021. The combined purchase price for Build Security Ltd. and another acquisition was $57.2 million. 3. **Optimyze Cloud Inc.**: Acquired on November 1, 2021. Part of the combined purchase price mentioned above with Build Security Ltd. 4. **Endgame, Inc.**: Although the context mentions an amended and restated stock incentive plan, it indicates that Endgame, Inc. was associated with Elastic, suggesting it could have been acquired at some point. These acquisitions are part of Elastic's strategy to enhance the technology underlying its security and observability offerings.

SimpleRAG

The provided context does not specify any companies that Elastic has acquired. Therefore, based on the context, there is no information available about the companies acquired by Elastic.

Resumo: O SimpleRAG não recupera nenhuma informação relevante sobre aquisições, resultando em uma resposta incorreta. A AdvancedRAG lista corretamente a CmdWatch, a Build Security e a Optimyze, que foram as principais aquisições mencionadas no relatório.

Voltar ao topo

Conclusão

Com base em nossos testes, nossas técnicas avançadas parecem aumentar o alcance e a profundidade das informações apresentadas, potencialmente melhorando a qualidade das respostas RAG.

Além disso, pode haver melhorias na confiabilidade, já que perguntas formuladas de maneira ambígua, como Which companies did Elastic acquire? e Who audits Elastic foram respondidas corretamente pelo AdvancedRAG, mas não pelo SimpleRAG.

No entanto, vale a pena ter em mente que, em 3 de 5 casos, o pipeline RAG básico, incorporando a Busca Híbrida, mas nenhuma outra técnica, conseguiu produzir respostas que capturaram a maior parte das informações essenciais.

Devemos observar que, devido à incorporação de LLMs nas fases de preparação e consulta de dados, a latência do AdvancedRAG é geralmente de 2 a 5 vezes maior que a do SimpleRAG. Este é um custo significativo que pode tornar o AdvancedRAG adequado apenas para situações em que a qualidade da resposta é priorizada em detrimento da latência.

Os custos significativos de latência podem ser atenuados usando um modelo de linguagem latente (LLM) menor e mais barato, como o Claude Haiku ou o GPT-4o-mini, na fase de preparação dos dados. Salve os modelos avançados para geração de respostas.

Isso está de acordo com as conclusões de Wang et al. Conforme demonstram os resultados, quaisquer melhorias realizadas são relativamente incrementais. Resumindo, o método RAG básico e simples permite chegar a um produto final bastante satisfatório, sendo ainda mais barato e rápido. Para mim, é uma conclusão interessante. Para casos de uso em que velocidade e eficiência são essenciais, o SimpleRAG é a escolha sensata. Para casos de uso em que é necessário extrair o máximo desempenho possível, as técnicas incorporadas no AdvancedRAG podem oferecer uma solução.

Voltar ao topo

Apêndice

Prompts

Pergunta RAG para responder:

Solicitação para que o LLM gere respostas com base na consulta e no contexto.

BASIC_RAG_PROMPT = ''' You are an AI assistant tasked with answering questions based primarily on the provided context, while also drawing on your own knowledge when appropriate. Your role is to accurately and comprehensively respond to queries, prioritizing the information given in the context but supplementing it with your own understanding when beneficial. Follow these guidelines: 1. Carefully read and analyze the entire context provided. 2. Primarily focus on the information present in the context to formulate your answer. 3. If the context doesn't contain sufficient information to fully answer the query, state this clearly and then supplement with your own knowledge if possible. 4. Use your own knowledge to provide additional context, explanations, or examples that enhance the answer. 5. Clearly distinguish between information from the provided context and your own knowledge. Use phrases like "According to the context..." or "The provided information states..." for context-based information, and "Based on my knowledge..." or "Drawing from my understanding..." for your own knowledge. 6. Provide comprehensive answers that address the query specifically, balancing conciseness with thoroughness. 7. When using information from the context, cite or quote relevant parts using quotation marks. 8. Maintain objectivity and clearly identify any opinions or interpretations as such. 9. If the context contains conflicting information, acknowledge this and use your knowledge to provide clarity if possible. 10. Make reasonable inferences based on the context and your knowledge, but clearly identify these as inferences. 11. If asked about the source of information, distinguish between the provided context and your own knowledge base. 12. If the query is ambiguous, ask for clarification before attempting to answer. 13. Use your judgment to determine when additional information from your knowledge base would be helpful or necessary to provide a complete and accurate answer. Remember, your goal is to provide accurate, context-based responses, supplemented by your own knowledge when it adds value to the answer. Always prioritize the provided context, but don't hesitate to enhance it with your broader understanding when appropriate. Clearly differentiate between the two sources of information in your response. Context: [The concatenated documents will be inserted here] Query: [The user's question will be inserted here] Please provide your answer based on the above guidelines, the given context, and your own knowledge where appropriate, clearly distinguishing between the two: '''

prompt do gerador de consultas elásticas

Solicitação para enriquecer as consultas com sinônimos e convertê-las para o formato OU.

Possíveis perguntas para o gerador

Solicitação para gerar possíveis perguntas e enriquecer os metadados do documento.

RAG_QUESTION_GENERATOR_PROMPT = ''' You are an AI assistant specialized in generating questions for Retrieval-Augmented Generation (RAG) systems. Your task is to analyze a given document and create 10 diverse questions that would effectively test a RAG system's ability to retrieve and synthesize information from this document. Guidelines: 1. Thoroughly analyze the entire document. 2. Generate exactly 10 questions that cover various aspects and levels of complexity within the document's content. 3. Create questions that specifically target: a. Key facts and information b. Main concepts and ideas c. Relationships between different parts of the content d. Potential applications or implications of the information e. Comparisons or contrasts within the document 4. Ensure questions require answers of varying lengths and complexity, from simple retrieval to more complex synthesis. 5. Include questions that might require combining information from different parts of the document. 6. Frame questions to test both literal comprehension and inferential understanding. 7. Avoid yes/no questions; focus on open-ended questions that promote comprehensive answers. 8. Consider including questions that might require additional context or knowledge to fully answer, to test the RAG system's ability to combine retrieved information with broader knowledge. 9. Number the questions from 1 to 10. 10. Output only the ten questions, without any additional text, explanations, or answers. Document: [The document content will be inserted here] Generate 10 questions optimized for testing a RAG system based on this document: '''

prompt do gerador HyDE

Solicitação para gerar documentos hipotéticos usando o HyDE

Exemplo de consulta de pesquisa híbrida

{'knn': {'field': 'primary_embedding', 'query_vector': [0.4265527129173279, -0.1712949573993683, -0.042020395398139954, ...], 'k': 100, 'num_candidates': 100}, 'query': {'bool': {'must': [{'multi_match': {'query': 'audits Elastic Elastic auditing Elastic audit process Elastic compliance Elastic security audit Elasticsearch auditing Elasticsearch compliance Elasticsearch security audit', 'fields': ['original_text', 'keyphrases', 'potential_questions', 'entities'], 'type': 'best_fields', 'operator': 'or'}}], 'should': [{'script_score': {'query': {'match_all': {}}, 'script': {'source': '\n double vector_score = cosineSimilarity(params.query_vector, params.vector_field) + 1.0;\n double text_score = _score;\n return 0.7 * vector_score + 0.3 * text_score;\n ', 'params': {'query_vector': [0.4265527129173279, -0.1712949573993683, -0.042020395398139954, ...], 'vector_field': 'primary_embedding'}}}}]}}, 'size': 10}

Técnicas avançadas de RAG, parte 1: Processamento de dados

Han Xiang Choong — Wed, 14 Aug 2024 00:00:00 GMT

Esta é a Parte 1 da nossa exploração das Técnicas Avançadas RAG. Clique aqui para a Parte 2!

O artigo recente "Searching for Best Practices in Retrieval-Augmented Generation" avalia empiricamente a eficácia de várias técnicas de aprimoramento de RAG (Geração Aumentada de Recuperação), com o objetivo de convergir para um conjunto de melhores práticas para RAG.

Implementaremos algumas dessas boas práticas propostas, principalmente aquelas que visam melhorar a qualidade da busca (Fragmentação de Sentenças, HyDE, Empacotamento Reverso).

Por uma questão de brevidade, omitiremos as técnicas focadas na melhoria da eficiência (Classificação e Sumarização de Consultas).

Implementaremos também algumas técnicas que não foram abordadas, mas que eu pessoalmente considero úteis e interessantes (Inclusão de Metadados, Incorporação Composta de Múltiplos Campos, Enriquecimento de Consultas).

Por fim, realizaremos um breve teste para verificar se a qualidade dos nossos resultados de pesquisa e das respostas geradas melhorou em comparação com a linha de base. Vamos lá!

Visão geral do RAG

O RAG visa aprimorar os LLMs (Modelos de Aprendizagem Baseados em Aprendizagem) recuperando informações de bases de conhecimento externas para enriquecer as respostas geradas. Ao fornecer informações específicas do domínio, os LLMs podem ser rapidamente adaptados para casos de uso fora do escopo de seus dados de treinamento; sendo significativamente mais baratos do que o ajuste fino e mais fáceis de manter atualizados.

As medidas para melhorar a qualidade do RAG normalmente se concentram em duas vertentes:

Aprimorar a qualidade e a clareza da base de conhecimento.
Melhorar a abrangência e a especificidade das consultas de pesquisa.

Essas duas medidas alcançarão o objetivo de aumentar as chances de o mestrando em Direito ter acesso a fatos e informações relevantes e, portanto, ser menos propenso a ter alucinações ou recorrer ao seu próprio conhecimento, que pode estar desatualizado ou ser irrelevante.

A diversidade de métodos é difícil de esclarecer em poucas frases. Vamos direto à implementação para que as coisas fiquem mais claras.

Índice

Configurar

Todo o código pode ser encontrado no repositório Searchlabs.

Em primeiro lugar, o mais importante. Você precisará do seguinte:

Implantação na Nuvem Elástica
Uma API LLM - Neste notebook, estamos usando uma implantação do GPT-4o no Azure OpenAI.
Python versão 3.12.4 ou posterior

Executaremos todo o código do notebook main.ipynb.

Faça o clone do repositório usando o Git, navegue até supporting-blog-content/advanced-rag-techniques e execute os seguintes comandos:

# Create a new virtual environment named 'rag_env' python -m venv rag_env # Activate the virtual environment (for Unix-based systems) source rag_env/bin/activate # (For Windows) .\rag_env\Scripts\activate # Install packages listed in requirements.txt pip install -r requirements.txt

Feito isso, crie um arquivo .env. Abra o arquivo e preencha os seguintes campos (Referenciado em .env.example). Agradecimentos ao meu coautor, Claude-3.5, pelos comentários úteis.

# Elastic Cloud: Found in the 'Deployment' page of your Elastic Cloud # console ELASTIC_CLOUD_ENDPOINT="" ELASTIC_CLOUD_ID="" # Elastic Cloud: Created during deployment setup or in 'Security' # settings ELASTIC_USERNAME="" ELASTIC_PASSWORD="" # Elastic Cloud: The name of the index you created in Kibana or via API ELASTIC_INDEX_NAME="" # Azure AI Studio: Found in 'Keys and Endpoint' section of your Azure # OpenAI resource AZURE_OPENAI_KEY_1="" AZURE_OPENAI_KEY_2="" AZURE_OPENAI_REGION="" AZURE_OPENAI_ENDPOINT="" # Azure AI Studio: Found in 'Deployments' section of your Azure OpenAI # resource AZURE_OPENAI_DEPLOYMENT_NAME="" # Using BAAI/bge-small-en-v1.5 because I think it is a good balance of # resource efficiency and performance. HUGGINGFACE_EMBEDDING_MODEL="BAAI/bge-small-en-v1.5"

Em seguida, selecionaremos o documento a ser importado e o colocaremos na pasta de documentos. Para este artigo, usaremos o Relatório Anual da Elastic NV de 2023. É um documento bastante complexo e denso, perfeito para testar a resistência das nossas técnicas RAG.

Agora que está tudo pronto, vamos à ingestão. Abra o arquivo main.ipynb e execute as duas primeiras células para importar todos os pacotes e inicializar todos os serviços.

Voltar ao topo

Ingestão, processamento e incorporação de documentos

Ingestão de dados

Nota pessoal: Estou impressionado com a praticidade do LlamaIndex. Antigamente, antes dos mestrados em direito e do LlamaIndex, importar documentos de vários formatos era um processo doloroso de coletar pacotes esotéricos de todos os cantos. Agora, tudo se resume a uma única chamada de função. Selvagem.

O SimpleDirectoryReader carregará todos os documentos em directory_path. Para arquivos .pdf , ele retorna uma lista de objetos de documento, que eu converto em dicionários Python porque acho mais fácil trabalhar com eles.

# llamaindex_processor.py from llama_index.core import SimpleDirectoryReader class LlamaIndexProcessor: def __init__(self): pass def load_documents(self, directory_path): ''' Load all documents in directory ''' reader = SimpleDirectoryReader(input_dir=directory_path) return reader.load_data() # main.ipynb llamaindex_processor=LlamaIndexProcessor() documents=llamaindex_processor.load_documents('./documents/') documents=[dict(doc_obj) for doc_obj in documents]

Cada dicionário contém o conteúdo da chave no campo text . Também contém metadados úteis, como número da página, nome do arquivo, tamanho do arquivo e tipo.

{ 'id_': '5f76f0b3-22d8-49a8-9942-c2bbab14f63f', 'metadata': {'page_label': '5', 'file_name': 'Elastic_NV_Annual-Report-Fiscal-Year-2023.pdf', 'file_path': '/Users/han/Desktop/Projects/truckasaurus/documents/Elastic_NV_Annual-Report-Fiscal-Year-2023.pdf', 'file_type': 'application/pdf', 'file_size': 3724426, 'creation_date': '2024-07-27', 'last_modified_date': '2024-07-27'}, 'text': 'Table of Contents\nPage\nPART I\nItem 1. Business 3\n15 Item 1A. Risk Factors\nItem 1B. Unresolved Staff Comments 48\nItem 2. Properties 48\nItem 3. Legal Proceedings 48\nItem 4. Mine Safety Disclosures 48\nPART II\nItem 5. Market for Registrant's Common Equity, Related Stockholder Matters and Issuer Purchases of \nEquity Securities49\nItem 6. [Reserved] 49\nItem 7. Management's Discussion and Analysis of Financial Condition and Results of Operations 50\nItem 7A. Quantitative and Qualitative Disclosures About Market Risk 64\nItem 8. Financial Statements and Supplementary Data 66\nItem 9. Changes in and Disagreements With Accountants on Accounting and Financial Disclosure 100\n100\n101Item 9A. Controls and Procedures\nItem 9B. Other Information\nItem 9C. Disclosure Regarding Foreign Jurisdictions That Prevent Inspections 101\nPART III\n102\n102\n102\n102Item 10. Directors, Executive Officers and Corporate Governance\nItem 11. Executive Compensation\nItem 12. Security Ownership of Certain Beneficial Owners and Management, and Related Stockholder Matters \nItem 13. Certain Relationships and Related Transactions, and Director Independence\nItem 14. Principal Accountant Fees and Services 102\nPART IV\n103\n105Item 15. Exhibits and Financial Statement Schedules \nItem 16. Form 10-K Summary\nSignatures 106\ni', ... }

Voltar ao topo

Segmentação por tokens e em nível de frase

A primeira coisa a fazer é reduzir nossos documentos a blocos de tamanho padrão (para garantir consistência e facilidade de gerenciamento). Os modelos de incorporação possuem limites de token únicos (tamanho máximo de entrada que podem processar). Os tokens são as unidades básicas de texto que modelam o processo. Para evitar a perda de informações (truncamento ou omissão de conteúdo), devemos fornecer textos que não excedam esses limites (dividindo textos mais longos em segmentos menores).

O particionamento (chunking) tem um impacto significativo no desempenho. Idealmente, cada bloco representaria uma informação autossuficiente, capturando informações contextuais sobre um único tópico. Os métodos de fragmentação incluem a fragmentação ao nível da palavra, em que os documentos são divididos pela contagem de palavras, e a fragmentação semântica, que utiliza um modelo de lógica de divisão (LLM) para identificar pontos de quebra lógicos.

A segmentação em nível de palavra é barata, rápida e fácil, mas apresenta o risco de dividir frases e, assim, quebrar o contexto. A fragmentação semântica torna-se lenta e dispendiosa, especialmente se estivermos lidando com documentos como o Relatório Anual da Elastic, com 116 páginas.

Vamos optar por uma abordagem intermediária. A segmentação em nível de frase ainda é simples, mas pode preservar o contexto de forma mais eficaz do que a segmentação em nível de palavra, além de ser significativamente mais barata e rápida. Além disso, implementaremos uma janela deslizante para capturar parte do contexto circundante e atenuar o impacto da divisão de parágrafos.

# chunker.py import uuid import re class Chunker: def __init__(self, tokenizer): self.tokenizer = tokenizer def split_into_sentences(self, text): """Split text into sentences.""" return re.split(r'(?<=[.!?])\s+', text) def sentence_wise_tokenized_chunk_documents(self, documents, chunk_size=512, overlap=20, min_chunk_size=50): ''' 1. Split text into sentences. 2. Tokenize using the provided tokenizer method. 3. Build chunks up to the chunk_size limit. 4. Create an overlap based on tokens - to preserve context. 5. Only keep chunks that meet the minimum token size requirement. ''' chunked_documents = [] for doc in documents: sentences = self.split_into_sentences(doc['text']) tokens = [] sentence_boundaries = [0] # Tokenize all sentences and keep track of sentence boundaries for sentence in sentences: sentence_tokens = self.tokenizer.encode(sentence, add_special_tokens=True) tokens.extend(sentence_tokens) sentence_boundaries.append(len(tokens)) # Create chunks chunk_start = 0 while chunk_start < len(tokens): chunk_end = chunk_start + chunk_size # Find the last complete sentence that fits in the chunk sentence_end = next((i for i in sentence_boundaries if i > chunk_end), len(tokens)) chunk_end = min(chunk_end, sentence_end) # Create the chunk chunk_tokens = tokens[chunk_start:chunk_end] # Check if the chunk meets the minimum size requirement if len(chunk_tokens) >= min_chunk_size: # Create a new document object for this chunk chunk_doc = { 'id_': str(uuid.uuid4()), 'chunk': chunk_tokens, 'original_text': self.tokenizer.decode(chunk_tokens), 'chunk_index': len(chunked_documents), 'parent_id': doc['id_'], 'chunk_token_count': len(chunk_tokens) } # Copy all other fields from the original document for key, value in doc.items(): if key != 'text' and key not in chunk_doc: chunk_doc[key] = value chunked_documents.append(chunk_doc) # Move to the next chunk start, considering overlap chunk_start = max(chunk_start + chunk_size - overlap, chunk_end - overlap) return chunked_documents # main.ipynb # Initialize Embedding Model HUGGINGFACE_EMBEDDING_MODEL = os.environ.get('HUGGINGFACE_EMBEDDING_MODEL') embedder=EmbeddingModel(model_name=HUGGINGFACE_EMBEDDING_MODEL) # Initialize Chunker chunker=Chunker(embedder.tokenizer)

A classe Chunker recebe o tokenizador do modelo de incorporação para codificar e decodificar o texto. Agora vamos construir blocos de 512 tokens cada, com uma sobreposição de 20 tokens. Para isso, vamos dividir o texto em frases, tokenizar essas frases e, em seguida, adicionar as frases tokenizadas ao nosso bloco atual até que não possamos adicionar mais sem ultrapassar nosso limite de tokens.

Finalmente, decodifique as frases de volta ao texto original para incorporação, armazenando-o em um campo chamado original_text. Os blocos são armazenados em um campo chamado chunk. Para reduzir o ruído (ou seja, documentos inúteis), descartaremos quaisquer documentos com menos de 50 tokens de comprimento.

Vamos executar o programa em nossos documentos:

chunked_documents=chunker.sentence_wise_tokenized_chunk_documents(documents, chunk_size=512)

E receba trechos de texto com a seguinte aparência:

print(chunked_documents[4]['original_text']) [CLS] the aggregate market value of the ordinary shares held by non - affiliates of the registrant, based on the closing price of the shares of ordinary shares on the new york stock exchange on october 31, 2022 ( the last business day of the registrant 's second fiscal quarter ), was approximately $ 6. 1 billion. [SEP] [CLS] as of may 31, 2023, the registrant had 97, 390, 886 ordinary shares, par value €0. 01 per share, outstanding. [SEP] [CLS] documents incorporated by reference portions of the registrant 's definitive proxy statement relating to the registrant 's 2 023 annual general meeting of shareholders are incorporated by reference into part iii of this annual ... ...

Voltar ao topo

Inclusão e geração de metadados

Dividimos nossos documentos em partes menores. Agora é hora de enriquecer os dados. Desejo gerar ou extrair metadados adicionais. Esses metadados adicionais podem ser usados para influenciar e melhorar o desempenho da busca.

Vamos definir uma classe DocumentEnricher , cuja função é receber uma lista de documentos (dicionários Python) e uma lista de funções de processamento. Essas funções serão executadas na coluna original_text dos documentos e armazenarão suas saídas em novos campos.

Primeiro, extraímos as palavras-chave usando o TextRank. O TextRank é um algoritmo baseado em grafos que extrai frases e sentenças-chave de um texto, classificando sua importância com base nas relações entre as palavras.

Em seguida, vamos gerar perguntas potenciais usando o GPT-4o.

Por fim, vamos extrair as entidades usando o Spacy.

Como o código para cada um deles é bastante extenso e complexo, vou evitar reproduzi-lo aqui. Caso tenha interesse, os arquivos estão marcados nos exemplos de código abaixo.

Vamos executar o enriquecimento de dados:

# documentenricher.py from tqdm import tqdm class DocumentEnricher: def __init__(self): pass def enrich_document(self, documents, processors, text_col='text'): for doc in tqdm(documents, desc="Enriching documents using processors: "+str(processors)): for (processor, field) in processors: metadata=processor(doc[text_col]) if isinstance(metadata, list): metadata='\n'.join(metadata) doc.update({field: metadata}) # main.ipynb # Initialize processor classes nltkprocessor=NLTKProcessor() // nltk_processor.py entity_extractor=EntityExtractor() // entity_extractor.py gpt4o = LLMProcessor(model='gpt-4o') // llm.py # Initialize LLM documentenricher=DocumentEnricher() # Create new fields in the documents - These are the outputs of the processor functions. processors=[ (nltkprocessor.textrank_phrases, "keyphrases"), (gpt4o.generate_questions, "potential_questions"), (entity_extractor.extract_entities, "entities") ] # .enrich_document() will modify chunked_docs in place. # To view the results, we'll print chunked_docs in the next few cells! documentenricher.enrich_document(chunked_docs, text_col='original_text', processors=processors)

E veja os resultados:

Palavras-chave extraídas pelo TextRank

Essas palavras-chave representam os tópicos principais do bloco. Se a consulta estiver relacionada à segurança cibernética, a pontuação desse segmento será aumentada.

print(chunked_documents[25]['keyphrases']) 'elastic agent stop', 'agent stop malware', 'stop malware ransomware', 'malware ransomware environment', 'ransomware environment wide', 'environment wide visibility', 'wide visibility threat', 'visibility threat detection', 'sep cl key', 'cl key feature'

Possíveis perguntas geradas pelo GPT-4o

Essas perguntas em potencial podem corresponder diretamente às consultas do usuário, oferecendo um aumento na pontuação. Solicitamos ao GPT-4o que gere perguntas que possam ser respondidas usando as informações encontradas no bloco atual.

print(chunked_documents[25]['potential_questions']) 1. What are the primary functions that Elastic Agent provides in terms of cybersecurity? 2. Describe how Logstash contributes to data management within an IT environment. 3. List and explain any key features of Logstash mentioned in the document. 4. How does Elastic Agent enhance environment-wide visibility in threat detection? 5. What capabilities does Logstash offer for handling data beyond simple collection? 6. In what ways does the document suggest that Elastic Agent stops malware and ransomware? 7. Can you identify any relationships between the functionalities of Elastic Agent and Logstash in an integrated environment? 8. What implications might the advanced threat detection capabilities of Elastic Agent have for organizational security policies? 9. Compare and contrast the roles of Elastic Agent and Logstash based on their described functions. 10. How might the centralized collection ability of Logstash support the threat detection capabilities of Elastic Agent?

Entidades extraídas pelo Spacy

Essas entidades têm uma finalidade semelhante à das palavras-chave, mas capturam os nomes de organizações e indivíduos, que a extração por palavras-chave pode não incluir.

print(chunked_documents[29]['entities']) 'appdynamics', 'apm data', 'azure sentinel', 'microsoft', 'mcafee', 'broadcom', 'cisco', 'dynatrace', 'coveo', 'lucidworks'

Voltar ao topo

Incorporações compostas de múltiplos campos

Agora que enriquecemos nossos documentos com metadados adicionais, podemos aproveitar essas informações para criar representações vetoriais mais robustas e sensíveis ao contexto.

Vamos recapitular o ponto em que nos encontramos no processo. Cada documento contém quatro áreas de interesse.

{ "chunk": "...", "keyphrases": "...", "potential_questions": "...", "entities": "..." }

Cada campo representa uma perspectiva diferente sobre o contexto do documento, podendo destacar uma área-chave para o mestrado em Direito (LLM) se concentrar.

O plano é incorporar cada um desses campos e, em seguida, criar uma soma ponderada das incorporações, conhecida como Incorporação Composta.

Com sorte, essa incorporação composta permitirá que o sistema se torne mais sensível ao contexto, além de introduzir mais um hiperparâmetro ajustável para controlar o comportamento de busca.

Primeiro, vamos incorporar cada campo e atualizar cada documento no local, usando nosso modelo de incorporação definido localmente e importado no início do notebook main.ipynb.

# EmbeddingModel defined in embedding_model.py embedder=EmbeddingModel(model_name=HUGGINGFACE_EMBEDDING_MODEL) cols_to_embed=['keyphrases', 'potential_questions', 'entities'] embedding_cols=[] for col in cols_to_embed: # Works on text input embedding_col=embedder.embed_documents_text_wise(chunked_documents, text_field=col) embedding_cols.append(embedding_col) # Works on token input embedding_col=embedder.embed_documents_token_wise(chunked_documents, token_field="chunk") embedding_cols.append(embedding_col)

Cada função de incorporação retorna o campo da incorporação, que é simplesmente o campo de entrada original com um sufixo _embedding .

Vamos agora definir os pesos da nossa incorporação composta:

embedding_cols=[ 'keyphrases_embedding', 'potential_questions_embedding', 'entities_embedding', 'chunk_embedding'] combination_weights=[ 0.1, 0.15, 0.05, 0.7 ]

Os pesos permitem atribuir prioridades a cada componente, com base no seu caso de uso e na qualidade dos seus dados. Intuitivamente, a magnitude dessas ponderações depende do valor semântico de cada componente. Como o texto em si é de longe o mais rico, atribuo uma ponderação de 70%. Como as entidades são as menores, sendo apenas uma lista de nomes de organizações ou pessoas, atribuo a elas uma ponderação de 5%. A configuração precisa desses valores deve ser determinada empiricamente, caso a caso, para cada situação específica.

Finalmente, vamos escrever uma função para aplicar as ponderações e criar nossa representação composta. Também excluiremos todos os elementos incorporados dos componentes para economizar espaço.

from tqdm import tqdm def combine_embeddings(objects, embedding_cols, combination_weights, primary_embedding='primary_embedding'): # Ensure the number of weights matches the number of embedding columns assert len(embedding_cols) == len(combination_weights), "Number of embedding columns must match number of weights" # Normalize weights to sum to 1 weights = np.array(combination_weights) / np.sum(combination_weights) for obj in tqdm(objects, desc="Combining embeddings"): # Initialize the combined embedding combined = np.zeros_like(obj[embedding_cols[0]]) # Compute the weighted sum for col, weight in zip(embedding_cols, weights): combined += weight * np.array(obj[col]) # Add the new combined embedding to the object obj.update({primary_embedding:combined.tolist()}) # Remove the original embedding columns for col in embedding_cols: obj.pop(col, None) combine_embeddings(chunked_documents, embedding_cols, combination_weights)

Com isso, concluímos o processamento de nossos documentos. Agora temos uma lista de objetos de documento com a seguinte aparência:

{ 'id_': '7fe71686-5cd0-4831-9e79-998c6dbeae0c', 'chunk': [2312, 14613, ...], 'original_text': 'if an emerging growth company, indicate by check mark if the registrant has elected not to use the extended ...', 'chunk_index': 3, 'chunk_token_count': 399, 'metadata': {'page_label': '3', 'file_name': 'Elastic_NV_Annual-Report-Fiscal-Year-2023.pdf', ... 'keyphrases': 'sep cl unk\ncheck mark registrant\ncl unk indicate\nunk indicate check\nindicate check mark\nprincipal executive office\naccelerate filer unk\ncompany unk emerge\nunk emerge growth\nemerge growth company', 'potential_questions': '1. What are the different types of registrant statuses mentioned in the document?\n2. Under what section of the Sarbanes-Oxley Act must registrants file a report on the effectiveness of their internal ...', 'entities': 'the effe ctiveness of\nsection 13\nSEP\nUNK\nsection 21e\n1934\n1933\nu. s. c.\nsection 404\nsection 12\nal', 'primary_embedding': [-0.3946287803351879, -0.17586839850991964, ...] }

Indexação para Elastic

Vamos fazer o upload em massa de nossos documentos para o Elastic Search. Para esse propósito, há muito tempo defini um conjunto de funções auxiliares elásticas em elastic_helpers.py. É um trecho de código muito extenso, então vamos nos ater à análise das chamadas de função.

es_bulk_indexer.bulk_upload_documents Funciona com qualquer lista de objetos de dicionário, aproveitando os convenientes mapeamentos dinâmicos do Elasticsearch.

# Initialize Elasticsearch ELASTIC_CLOUD_ID = os.environ.get('ELASTIC_CLOUD_ID') ELASTIC_USERNAME = os.environ.get('ELASTIC_USERNAME') ELASTIC_PASSWORD = os.environ.get('ELASTIC_PASSWORD') ELASTIC_CLOUD_AUTH = (ELASTIC_USERNAME, ELASTIC_PASSWORD) es_bulk_indexer = ESBulkIndexer(cloud_id=ELASTIC_CLOUD_ID, credentials=ELASTIC_CLOUD_AUTH) es_query_maker = ESQueryMaker(cloud_id=ELASTIC_CLOUD_ID, credentials=ELASTIC_CLOUD_AUTH) # Define Index Name index_name=os.environ.get('ELASTIC_INDEX_NAME') # Create index and bulk upload index_exists = es_bulk_indexer.check_index_existence(index_name=index_name) if not index_exists: logger.info(f"Creating new index: {index_name}") es_bulk_indexer.create_es_index(es_configuration=BASIC_CONFIG, index_name=index_name) success_count = es_bulk_indexer.bulk_upload_documents( index_name=index_name, documents=chunked_documents, id_col='id_', batch_size=32 )

Acesse o Kibana e verifique se todos os documentos foram indexados. Deveriam ser 224. Nada mal para um documento tão grande!

Voltar ao topo

Pausa para o gato

Vamos fazer uma pausa, o artigo está um pouco denso, eu sei. Vejam só o meu gato:

Adorável. O chapéu sumiu e eu suspeito que ela o roubou e escondeu em algum lugar :(

Parabéns por ter chegado até aqui :)

Junte-se a mim na Parte 2 para testes e avaliação do nosso pipeline RAG!

Apêndice

Definições

1. Segmentação de Frases

Uma técnica de pré-processamento usada em sistemas RAG para dividir o texto em unidades menores e significativas.
Processo:
1. Entrada: Bloco grande de texto (ex.: documento, parágrafo)
2. Saída: Segmentos de texto menores (normalmente frases ou pequenos grupos de frases)
Propósito:
- Cria segmentos de texto granulares e específicos ao contexto.
- Permite uma indexação e recuperação mais precisas.
- Melhora a relevância das informações recuperadas em sistemas RAG.
Características:
- Os segmentos têm significado semântico.
- Podem ser indexados e recuperados independentemente.
- Frequentemente preserva algum contexto para garantir a compreensibilidade de forma independente.
Benefícios:
- Aumenta a precisão de recuperação
- Permite uma ampliação mais focada em pipelines RAG.

2. HyDE (Incorporação Hipotética de Documentos)

Uma técnica que utiliza um modelo de lógica latente (LLM) para gerar um documento hipotético para expansão de consultas em sistemas RAG.
Processo:
1. Inserir consulta em um LLM
2. O LLM gera um documento hipotético que responde à pergunta.
3. Incorpore o documento gerado
4. Use o embedding para busca vetorial
Principal diferença:
- RAG tradicional: relaciona a consulta aos documentos.
- HyDE: Correspondência entre documentos.
Propósito:
- Melhorar o desempenho de recuperação de dados, especialmente para consultas complexas ou ambíguas.
- Captura um contexto semântico mais rico do que uma consulta curta.
Benefícios:
- Aproveita o conhecimento do LLM para ampliar as consultas.
- Pode potencialmente melhorar a relevância dos documentos recuperados.
Desafios:
- Requer inferência LLM adicional, aumentando a latência e o custo.
- O desempenho depende da qualidade do documento hipotético gerado.

3. Reembalagem reversa

Uma técnica utilizada em sistemas RAG para reordenar os resultados da pesquisa antes de passá-los para o LLM.
Processo:
1. O mecanismo de busca (por exemplo, Elasticsearch) retorna documentos em ordem decrescente de relevância.
2. A ordem é invertida, colocando o documento mais relevante por último.
Propósito:
- Explora o viés de recência dos mestrados em direito, que tendem a se concentrar mais nas informações mais recentes em seu contexto.
- Garante que as informações mais relevantes sejam as mais "atualizadas" na janela de contexto do LLM.
Exemplo: Ordem original: [Mais relevante, Segundo mais relevante, Terceiro mais relevante, ...] Ordem inversa: [..., Terceiro mais relevante, Segundo mais relevante, Mais relevante]

4. Classificação de consultas

Uma técnica para otimizar a eficiência do sistema RAG, determinando se uma consulta requer RAG ou se pode ser respondida diretamente pelo LLM.
Processo:
1. Desenvolver um conjunto de dados personalizado específico para o LLM em uso.
2. Treinar um modelo de classificação especializado
3. Utilize o modelo para categorizar as consultas recebidas.
Propósito:
- Melhore a eficiência do sistema evitando o processamento desnecessário de RAG (raiz, grafite e agregação).
- Direcione as consultas para o mecanismo de resposta mais apropriado.
Requisitos:
- Conjunto de dados e modelo específicos para LLM
- Aperfeiçoamento contínuo para manter a precisão.
Benefícios:
- Reduz a sobrecarga computacional para consultas simples.
- Potencialmente melhora o tempo de resposta para consultas que não sejam RAG.

5. Resumo

Uma técnica para condensar documentos recuperados em sistemas RAG.
Processo:
1. Recuperar documentos relevantes
2. Gere resumos concisos de cada documento.
3. Utilize resumos em vez de documentos completos no pipeline RAG.
Propósito:
- Melhore o desempenho RAG concentrando-se em informações essenciais.
- Reduzir o ruído e a interferência de conteúdo menos relevante
Benefícios:
- Potencialmente melhora a relevância das respostas do LLM
- Permite a inclusão de mais documentos dentro dos limites do contexto.
Desafios:
- Risco de perder detalhes importantes na sumarização.
- Sobrecarga computacional adicional para geração de resumos.

6. Inclusão de Metadados

Uma técnica para enriquecer documentos com informações contextuais adicionais.
Tipos de metadados:
- Palavras-chave
- Títulos
- Datas
- Detalhes da autoria
- Resumos
Propósito:
- Aumentar a informação contextual disponível para o sistema RAG
- Proporcionar aos alunos de mestrado em Direito uma compreensão mais clara do conteúdo e da relevância dos documentos.
Benefícios:
- Potencialmente melhora a precisão da recuperação.
- Aumenta a capacidade do LLM de avaliar a utilidade dos documentos.
Implementação:
- Pode ser feito durante o pré-processamento do documento.
- Pode exigir etapas adicionais de extração ou geração de dados.

7. Incorporações compostas de múltiplos campos

Uma técnica avançada de incorporação para sistemas RAG que cria incorporações separadas para diferentes componentes do documento.
Processo:
1. Identifique os campos relevantes (ex.: título, palavras-chave, sinopse, conteúdo principal).
2. Gere embeddings separados para cada campo.
3. Combine ou armazene esses embeddings para uso na recuperação de informações.
Diferença em relação à abordagem padrão:
- Tradicional: Incorporação única para todo o documento.
- Composição: Incorporação múltipla para diferentes aspectos do documento
Propósito:
- Criar representações de documentos mais matizadas e sensíveis ao contexto.
- Capturar informações de uma variedade maior de fontes em um documento.
Benefícios:
- Potencialmente melhora o desempenho em consultas ambíguas ou multifacetadas.
- Permite uma ponderação mais flexível de diferentes aspectos do documento na recuperação.
Desafios:
- Aumento da complexidade na incorporação de processos de armazenamento e recuperação
- Pode exigir algoritmos de correspondência mais sofisticados.

8. Enriquecimento de consultas

Uma técnica para expandir a consulta original com termos relacionados, a fim de melhorar o alcance da pesquisa.
Processo:
1. Analise a consulta original
2. Gere sinônimos e frases semanticamente relacionadas.
3. Aprimore a consulta com estes termos adicionais.
Propósito:
- Aumentar o leque de correspondências potenciais no conjunto de documentos.
- Melhorar o desempenho de recuperação de dados para consultas com linguagem específica ou técnica.
Benefícios:
- Pode recuperar documentos relevantes que não correspondam exatamente aos termos da consulta original.
- Pode ajudar a superar a incompatibilidade de vocabulário entre consultas e documentos.
Desafios:
- Risco de desvio de consulta se não for implementado com cuidado.
- Pode aumentar a sobrecarga computacional no processo de recuperação.

Voltar ao topo