开箱即用的Semantic Kernel Elasticsearch向量存储连接器（Vector Store Connector）支持Semantic Kernel向量存储抽象，这使得开发人员在构建人工智能代理时能够非常容易地将Elasticsearch作为向量存储插件。

Elasticsearch 在开源社区拥有坚实的基础，最近采用了AGPL 许可证。这些工具与开源的微软语义内核（Microsoft Semantic Kernel）相结合，可提供强大的企业级解决方案。您可以通过运行此命令curl -fsSL https://elastic.co/start-local | sh ，在几分钟内启动 Elasticsearch（详情请参考start-local），然后在生产人工智能代理的同时，迁移到云托管或自托管版本。

在本篇博客中，我们将探讨在使用Semantic Kernel（语义内核）时，如何使用Semantic Kernel Elasticsearch向量存储连接器。该连接器的 Python 版本将在未来推出。

高级应用场景：利用 Semantic Kernel& Elasticsearch 构建 RAG 应用程序

下面我们将举例说明。在高层次上，我们正在构建一个 RAG（检索增强生成）应用程序，它将用户的问题作为输入，并返回一个答案。我们将使用 Azure OpenAI （ 也可使用 本地 LLM ）作为 LLM，Elasticsearch 作为向量存储，Semantic Kernel (.net) 作为将所有组件连接在一起的框架。

如果您不熟悉 RAG 架构，可以通过以下文章快速了解： https://www.elastic.co/search-labs/blog/retrieval-augmented-generation-rag。

答案由 LLM 生成，LLM 从 Elasticsearch 向量存储中获取与问题相关的上下文。答复还包括法律硕士用作背景的资料来源。

RAG 示例

在这个具体例子中，我们创建了一个应用程序，允许用户就内部酒店数据库中存储的酒店提出问题。例如，用户可以根据不同标准搜索特定酒店，或要求提供酒店列表。

在示例数据库中，我们生成了一个包含 100 个条目的酒店列表。为了让您尽可能轻松地试用连接器演示，我们特意设置了较小的样本量。在实际应用中，Elasticsearch 连接器将显示出其优于其他选项（如 "InMemory "向量存储实现）的优势，尤其是在处理超大数据量时。

完整的演示应用程序可在 Elasticsearch 向量存储连接器存储库中找到。

让我们先将所需的 NuGet 软件包和指令添加到项目中：

现在，我们可以创建我们的数据模型，并为其提供语义内核（Semantic Kernel）的特定属性，以定义存储模型模式和文本搜索的一些提示：

存储模型模式属性（`VectorStore*`）与 Elasticsearch 向量存储连接器的实际使用最为相关，即

• VectorStoreRecordKey 来标记记录类上的一个属性，作为记录存储在向量存储中的键。

• VectorStoreRecordData 将记录类的一个属性标记为 "数据"。

• VectorStoreRecordVector 将记录类的一个属性标记为矢量。

所有这些属性都接受各种可选参数，可用于进一步定制存储模型。以VectorStoreRecordKey 为例，可以指定不同的距离函数或不同的索引类型。

文本搜索属性 (TextSearch*) 在本示例的最后一步中非常重要。我们稍后再谈。

下一步，我们将初始化语义内核引擎，并获取核心服务的引用。在实际应用中，应使用依赖注入而不是直接访问服务集合。同样的道理也适用于硬编码的配置和秘密，它们应该使用配置提供程序来读取：

现在可以使用vectorStoreCollection 服务创建数据集，并摄取一些演示记录：

由此可见，语义内核（Semantic Kernel）是如何将向量存储的使用及其复杂性简化为几个简单的方法调用的。

在 Elasticsearch 中创建一个新索引，并创建所有必要的属性映射。然后，我们的数据集会完全透明地映射到存储模型中，并最终存储到索引中。下面是映射在 Elasticsearch 中的显示方式。

embeddings.GenerateEmbeddingsAsync() 会透明地调用已配置的 Azure AI 嵌入生成服务。

在这个演示的最后一个步骤中，我们还可以看到更多的神奇之处。

当用户就数据提问时，只需调用InvokePromptAsync ，就能执行以下所有操作：

1.为用户的问题生成嵌入代码

2.在矢量存储器中搜索相关条目

3.将查询结果插入提示模板

4.最终提示形式的实际查询将发送到人工智能聊天完成服务

还记得我们之前在数据模型上定义的TextSearch* 属性吗？有了这些属性，我们就能在提示模板中使用相应的占位符，这些占位符会根据向量存储中的条目信息自动填充。

对于我们的问题"，请告诉我所有拥有屋顶酒吧的酒店。" ，最终答复如下：

正确答案是指 hotels.csv 中的以下条目

这个例子很好地说明了微软语义内核的使用是如何通过其深思熟虑的抽象功能大大降低复杂性，并实现高度灵活性的。例如，只需修改一行代码，就可以更换向量存储或所使用的人工智能服务，而无需重构代码的任何其他部分。

同时，该框架还提供了大量高级功能，如 "InvokePrompt "函数或模板或搜索插件系统。

完整的演示应用程序可在 Elasticsearch 向量存储连接器存储库中找到。

Elasticsearch 还能做什么

• Elasticsearch 新语义文本映射：简化语义搜索

• 利用检索器在 Elasticsearch 中进行语义重排

• 高级 RAG 技术第 1 部分：数据处理

• 高级 RAG 技术第 2 部分：查询和测试

• 使用 Llama 3 开放源代码和 Elastic 构建 RAG

• 使用 LangGraph、LLaMA3 和 Elasticsearch 向量存储从零开始构建本地代理的教程

Elasticsearch& Semantic Kernel（语义内核）：下一步是什么？

• 我们展示了在.NET中构建GenAI应用时，如何将Elasticsearch向量存储轻松插入Semantic Kernel。敬请期待下一步的 Python 集成。

• 由于Semantic Kernel（语义内核）为混合搜索等高级搜索功能建立了抽象，Elasticsearch连接将使.NET开发人员能够在使用Semantic Kernel（语义内核）的同时轻松实现这些功能。

在本篇文章中，我们将探讨在 RAG（检索增强生成）流程中使用公共 LLM 时保护个人身份信息 (PII) 和敏感数据的方法。我们将探索使用开源库和正则表达式屏蔽 PII 和敏感数据，以及在调用公共 LLM 之前使用本地 LLM 屏蔽数据。

在开始之前，让我们回顾一下我们在本篇文章中使用的一些术语。

术语

LlamaIndex是用于构建 LLM（大型语言模型）应用程序的领先数据框架。LlamaIndex 为构建 RAG（检索增强生成）应用程序的各个阶段提供了抽象概念。像 LlamaIndex 和 LangChain 这样的框架提供了抽象，因此应用程序不会与任何特定 LLM 的应用程序接口紧密耦合。

Elasticsearch由Elastic 提供。Elastic 是 Elasticsearch 背后的行业领导者，Elasticsearch 是一个可扩展的数据存储和矢量数据库，支持精确的全文搜索、语义理解的矢量搜索以及两全其美的混合搜索。Elasticsearch 是一个分布式 RESTful 搜索和分析引擎、可扩展数据存储和矢量数据库。我们在本博客中使用的 Elasticsearch 功能在 Elasticsearch 的免费开放版本中提供。

检索增强生成（RAG）是一种人工智能技术/模式，在这种模式下，LLM 可以利用外部知识生成对用户查询的回复。这样，法律硕士的答复就可以根据具体情况量身定做，而不是泛泛而谈。

嵌入是文本/媒体意义的数字表示。它们是高维信息的低维表示。

RAG 和数据保护

一般来说，大型语言模型（LLM）善于根据模型中的可用信息生成响应，而这些信息可能是在互联网数据上训练出来的。然而，对于那些模型中没有信息的查询，则需要向法律硕士提供模型中没有的外部知识或具体细节。这些信息可能存在于您的数据库或内部知识系统中。检索增强生成（RAG）是一种技术，对于给定的用户查询，首先从外部（LLM）系统（如数据库）检索相关的上下文/信息，然后将上下文与用户查询一起发送给 LLM，以生成更具体、更相关的响应。

这使得 RAG 技术在问题解答、内容创建以及任何有利于深入理解上下文和细节的应用中都非常有效。

因此，在 RAG 管道中，您有可能将 PII（个人身份信息）等内部信息和敏感信息（如姓名、出生日期、账号等）暴露给公共 LLM。

虽然在使用 Elasticsearch 等矢量数据库时，数据是安全的（通过各种杠杆，如基于角色的访问控制、文档级安全等），但在向外部公共 LLM 发送数据时必须小心谨慎。

在使用大型语言模型 (LLM) 时，出于多种原因，保护个人身份信息 (PII) 和敏感数据至关重要：

• 隐私合规：许多地区都有严格的法规，如欧洲的《通用数据保护条例》（GDPR）或美国的《加利福尼亚消费者隐私法》（CCPA），这些法规都要求保护个人数据。要避免法律后果和罚款，就必须遵守这些法律。

• 用户信任：确保敏感信息的保密性和完整性可建立用户信任。用户更愿意使用他们认为能保护其隐私的系统，并与之互动。

• 数据安全：防止数据泄露至关重要。如果没有足够的保障措施，暴露在法律硕士面前的敏感数据很容易被窃取或滥用，从而导致身份被盗或金融欺诈等潜在危害。

• 道德方面的考虑：从道德角度讲，尊重用户隐私并负责任地处理他们的数据非常重要。对 PII 处理不当会导致歧视、侮辱或其他负面社会影响。

• 企业声誉：未能保护敏感数据的公司可能会声誉受损，这可能会对其业务造成长期负面影响，包括失去客户和收入。

• 减少滥用风险：安全处理敏感数据有助于防止对数据或模型的恶意使用，例如在有偏见的数据上训练模型，或利用数据操纵或伤害个人。

总之，为了确保法律合规、维护用户信任、确保数据安全、坚持道德标准、保护企业声誉和降低滥用风险，必须对 PII 和敏感数据进行强有力的保护。

快速回顾

在上一篇文章中，我们讨论了如何使用 RAG 技术，将 Elasticsearch 作为向量数据库，同时使用 LlamaIndex 和本地运行的 Mistral LLM 来实现 Q&A 体验。在此基础上，我们将继续努力。

阅读上一篇文章是可有可无的，因为我们现在将快速讨论/复述上一篇文章中的内容。

我们有一个样本数据集，内容是一家虚构的家庭保险公司的座席人员与客户之间的呼叫中心对话。我们开发了一个简单的 RAG 应用程序，可以回答 "客户因哪些与水有关的问题而提出索赔 "等问题。

从高度上看，流程是这样的。

在索引阶段，我们使用 LlamaIndex 管道加载并索引文档。文档被分块并连同其嵌入一起存储在 Elasticsearch 向量数据库中。

在查询阶段，当用户提出问题时，LlamaIndex 会检索与查询相关的前 K 个相似文档。这些排名前 K 位的相关文档连同查询结果被发送到本地运行的 Mistral LLM，然后由其生成响应并发送回用户。请随时查看上一篇文章或探索代码。

在上一篇文章中，我们在本地运行了 LLM。不过，在生产过程中，您可能希望使用OpenAI、Mistral、Anthropic等公司提供的外部 LLM。这可能是因为您的使用案例需要一个更大的基础模型，或者由于企业生产的需要（如可扩展性、可用性、性能等），在本地运行不是一种选择。

在 RAG 管道中引入外部 LLM 会使您面临不慎将敏感和 PII 泄露给 LLM 的风险。在本篇文章中，我们将探讨如何在将文档发送给外部法律硕士之前，将 PII 信息屏蔽作为 RAG 管道的一部分。

持有公共法学硕士学位的 RAG

在讨论如何在 RAG 管道中保护 PII 和敏感信息之前，我们将首先使用 LlamaIndex、Elasticsearch 向量数据库和 OpenAI LLM 构建一个简单的 RAG 应用程序。

准备工作

我们需要以下材料

• 运行Elasticsearch作为向量数据库来存储嵌入。按照上一篇文章中关于安装 Elasticsearch 的说明进行操作。

• 开放人工智能应用程序接口密钥。

简单的 RAG 应用

整个代码可在Github Repository（branch:protection-pii）中找到，以供参考。克隆该 repo 是可选的，因为我们将在下文中详细介绍代码。

在您最喜欢的集成开发环境中，用以下 3 个文件创建一个新的 Python 应用程序。

• index.py 与索引数据有关的代码的位置。

• query.py 与查询和 LLM 交互相关的代码都放在这里。

• .env 配置属性（如 API 密钥）的位置。

我们需要安装一些软件包。首先，我们要在应用程序的根文件夹中创建一个新的 python虚拟环境。

激活虚拟环境并安装以下所需软件包。

在 .env 中配置 OpenAI 和 Elasticsearch 连接属性锉刀

索引数据

下载conversations.json文件，其中包含客户与我们虚构的房屋保险公司呼叫中心座席之间的对话。将该文件与 2 个 python 文件和 .env 文件一起放在应用程序的根目录中。文件。下面是该文件内容的示例。

在index.py 中粘贴下面的代码，该代码负责索引数据。

运行上述代码可看到在 Elasticsearch 中创建了一个索引，将嵌入信息存储在名为convo_index 的 Elasticsearch 索引中。

如果您需要有关 LlamaIndex IngestionPipeline 的解释，请参阅上一篇文章中的创建 IngestionPipeline 部分。

查询

在上一篇文章中，我们使用了本地 LLM 进行查询。

在本篇文章中，我们将使用公共 LLM OpenAI，如下所示。

上述代码将打印 OpenAI 的响应如下。

客户提出了各种与水有关的索赔，包括地下室水渍、水管爆裂、冰雹对屋顶造成的损坏等问题，以及由于未及时通知、维护问题、逐渐磨损和原有损坏等原因造成的拒赔。在每个案例中，客户都对索赔被拒表示沮丧，并寻求对其索赔进行公平的评估和决定。

在 RAG 中屏蔽 PII

到目前为止，我们所做的工作是将文档原样连同用户查询一起发送给 OpenAI。

在 RAG 管道中，从矢量存储中检索到相关上下文后，我们有机会在将查询和上下文发送到 LLM 之前屏蔽 PII 和敏感信息。

在向外部法律硕士发送 PII 信息之前，有多种方法可以掩盖 PII 信息，每种方法都有自己的优点。下面我们来看看其中的一些选择

1. 使用 spacy.io 或Presidio（微软维护的开源库）等 NLP 库。

2. 使用开箱即用的 LlamaIndex NERPIINodePostprocessor.

3. 通过 PIINodePostprocessor

使用上述任何一种方法实现屏蔽逻辑后，您就可以使用后处理器（您自己定制的后处理器或 LlamaIndex 开箱即用的后处理器）配置 LlamaIndex 的 IngestionPipeline。

使用 NLP 库

作为 RAG 管道的一部分，我们可以使用 NLP 库屏蔽敏感数据。我们将在本演示中使用 spacy.io 软件包。

创建一个新文件query_masking_nlp.py 并添加以下代码。

法律硕士的答复如下。

在上述代码中，当创建 Llama 索引查询引擎时，我们提供了一个 CustomPostProcessor。

QueryEngine 调用的逻辑在CustomPostProcessor 的_postprocess_nodes 方法中定义。我们正在使用 SpaCy.io 库来检测文件中的命名实体，然后使用一些正则表达式来替换这些名称以及敏感信息，然后再将文件发送到 LLM。

以下是自定义 PostProcessor 创建的原始会话和屏蔽会话的部分示例。

原文如此：

由 CustomPostProcessor 生成的屏蔽文本。

请注意：

识别和屏蔽 PII 和敏感信息并不是一项简单的任务。要涵盖敏感信息的各种格式和语义，就必须充分了解自己的领域和数据。虽然上述代码可能适用于某些使用情况，但您可能需要根据自己的需求和测试情况进行修改。

使用开箱即用的 LlamaIndex NERPIINodePostprocessor

LlamaIndex 通过引入以下功能，使保护 RAG 管道中的 PII 信息变得更加容易 NERPIINodePostprocessor.

答复如下

通过 PIINodePostprocessor

我们还可以利用本地或专用网络中运行的 LLM，在将数据发送到公共 LLM 之前完成屏蔽工作。

我们将使用运行在本地机器 Ollama 上的 Mistral 来进行屏蔽。

本地运行 Mistral

下载并安装Ollama。安装 Ollama 后，运行此命令下载并运行mistral

首次下载并在本地运行模型可能需要几分钟时间。通过提出类似下面 "写一首关于云的诗 "的问题来验证 mistral 是否在运行，并验证诗歌是否符合您的要求。保持 ollama 运行，因为我们稍后需要通过代码与 mistral 模型交互。

新建一个名为query_masking_local_LLM.py 的文件，并添加以下代码。

响应如下所示

结论

在这篇文章中，我们介绍了在 RAG 流程中使用公共 LLM 时如何保护 PII 和敏感数据。我们展示了实现这一目标的多种方法。强烈建议在采用这些方法之前，根据您的用例和需求对其进行测试。

在开始之前，我们先来了解一些术语。

术语

LlamaIndex是用于构建 LLM（大型语言模型）应用程序的领先数据框架。LlamaIndex 为构建 RAG（检索增强生成）应用程序的各个阶段提供了抽象概念。像 LlamaIndex 和 LangChain 这样的框架提供了抽象，因此应用程序不会与任何特定 LLM 的应用程序接口紧密耦合。

Elasticsearch由Elastic 提供。Elastic 是 Elasticsearch 背后的行业领导者，Elasticsearch 是一个搜索和分析引擎，支持精确的全文搜索、语义理解的矢量搜索以及两全其美的混合搜索。Elasticsearch 是一种可扩展的数据存储和矢量数据库。我们在本博客中使用的 Elasticsearch 功能在 Elasticsearch 的免费开放版本中提供。

检索增强生成（RAG）是一种人工智能技术/模式，它为 LLM 提供外部知识，以生成对用户查询的回复。这样，法律硕士的答复就可以根据具体情况量身定做，答复也更加具体。

Mistral提供开源和优化的企业级 LLM 模型。在本教程中，我们将使用可在笔记本电脑上运行的开源模型mistral-7b。如果你不想在笔记本电脑上运行模型，也可以使用他们的云版本，在这种情况下，你必须修改本博客中的代码，以使用正确的 API 密钥和软件包。

Ollama可帮助您在笔记本电脑上本地运行 LLM。我们将使用 Ollama 在本地运行开源的 Mistral-7b 模型。

嵌入是文本/媒体意义的数字表示。它们是高维信息的低维表示。

使用 LlamaIndex、Elasticsearch& Mistral 构建 RAG 应用程序：场景概述

场景

我们有一个样本数据集（JSON 文件），内容是一家虚构的家庭保险公司的座席人员与客户之间的呼叫中心对话。我们将建立一个简单的 RAG 应用程序，它可以回答以下问题

Give me summary of water related issues.

高位流量

我们使用 Ollama 在本地运行 Mistral LLM。

接下来，我们以Documents 的形式将 JSON 文件中的对话加载到ElasticsearchStore（由 Elasticsearch 支持的 VectorStore）中。在加载文档时，我们使用本地运行的 Mistral 模型创建嵌入。我们将这些嵌入和对话一起存储在 LlamaIndex Elasticsearch 向量存储（ElasticsearchStore）中。

我们配置一个 LlamaIndex IngestionPipeline，并向其提供我们使用的本地 LLM，在本例中是通过 Ollama 运行的 Mistral。

当我们提出 "请简要介绍与水有关的问题 "这样的问题时、Elasticsearch 可进行语义搜索，并返回与水问题有关的对话。这些对话与原始问题一起发送给本地运行的 LLM，以生成答案。

建立 RAG 应用程序的步骤

本地运行 Mistral

下载并安装Ollama。安装 Ollama 后，运行此命令下载并运行mistral

首次下载并在本地运行模型可能需要几分钟时间。通过提出类似下面 "写一首关于云的诗 "的问题来验证 mistral 是否在运行，并验证诗歌是否符合您的要求。保持 ollama 运行，因为我们稍后需要通过代码与 mistral 模型交互。

安装 Elasticsearch

通过创建云部署（在此说明）或在 docker 中运行（在此说明），启动并运行 Elasticsearch。您也可以从这里开始创建生产级的 Elasticsearch 自托管部署。

假设您使用的是云部署，请按照说明中的要求获取部署的 API 密钥和云 ID。我们稍后将使用它们。

RAG 申请

整个代码可在此Github 代码库中找到，以供参考。克隆 repo 是可选项，因为我们将在下文中介绍代码。

在您最喜欢的集成开发环境中，用以下 3 个文件创建一个新的 Python 应用程序。

• index.py 与索引数据有关的代码的位置。

• query.py 与查询和 LLM 交互相关的代码都放在这里。

• .env 配置属性（如 API 密钥）的位置。

我们需要安装一些软件包。首先，我们要在应用程序的根文件夹中创建一个新的 python虚拟环境。

激活虚拟环境并安装以下所需软件包。

索引数据

下载conversations.json文件，其中包含客户与我们 fictionaly 房屋保险公司呼叫中心座席之间的对话。将该文件与 2 个 python 文件和 .env 文件一起放在应用程序的根目录中。文件。下面是该文件内容的示例。

我们在index.py 中定义了一个名为get_documents_from_file 的函数，用于读取 json 文件并创建文档列表。文档对象是 LlamaIndex 处理信息的基本单位。

创建摄取管道

首先，将在Install Elasticsearch 部分获得的 Elasticsearch CloudID 和 API 密钥添加到.env 文件中。.env 文件应如下所示（使用真实值）。

通过 LlamaIndexIngestionPipeline，您可以使用多个组件组成一个管道。在index.py 文件中添加以下代码。

如前所述，LlamaIndex IngestPipeline 可由多个组件组成。我们将在pipeline = IngestionPipeline(... 行的管道中添加 3 个组件。

• SentenceSplitter：从get_documents_from_file() 的定义中可以看出，每个文档都有一个文本字段，用来保存 json 文件中的对话内容。该文本字段是一段较长的文本。为了使语义搜索工作顺利进行，需要将其分解成小块文本。SentenceSplitter类可以帮我们做到这一点。这些块在 LlamaIndex 术语中称为节点。节点中的元数据指向它们所属的文档。或者，也可以使用 Elasticsearch Ingestpipeline 进行分块，如本博客所示。

• OllamaEmbedding：嵌入模型可将一段文字转换成数字（也称为向量）。有了数字表示法，我们就可以进行语义搜索，搜索结果与词义相匹配，而不仅仅是进行文本搜索。我们为 IngestionPipeline 提供OllamaEmbedding("mistral") 。使用 SentenceSplitter 分割的语块会通过 Ollama 发送到本地机器上运行的 Mistral 模型，然后 mistral 会为这些语块创建嵌入。

• ElasticsearchStoreLlamaIndex ElasticsearchStore 向量存储会将正在创建的嵌入式内容备份到 Elasticsearch 索引中。ElasticsearchStore 负责创建和填充指定 Elasticsearch 索引的内容。在创建 ElasticsearchStore（由es_vector_store 引用）时，我们提供要创建的 Elasticsearch 索引的名称（本例中为calls ）、索引中要存储嵌入的字段（本例中为conversation_vector ）以及要存储文本的字段（本例中为conversation ）。总之，根据我们的配置ElasticsearchStore 在 Elasticsearch 中创建了一个新索引，并将conversation_vector 和conversation 作为字段（以及其他自动创建的字段）。

将这一切联系起来，我们通过调用pipeline.run(documents=documents) 运行管道。

运行 index.py 脚本执行摄取管道：

管道运行完成后，我们应该会在 Elasticsearch 中看到一个名为calls 的新索引。使用开发控制台运行一个简单的 elasticsearch 查询，就能看到数据和嵌入式内容一起加载。

概括地说，我们从 JSON 文件创建了文档，将文档分割成块，为这些块创建了嵌入，并将嵌入（和文本对话）存储在向量存储（ElasticsearchStore）中。

查询

llamaIndexVectorStoreIndex可以让你检索相关文档和查询数据。默认情况下，VectorStoreIndex 会将嵌入存储在SimpleVectorStore 的内存中。不过，也可以使用外部向量存储（如ElasticsearchStore）来使嵌入持久化。

打开query.py 并粘贴以下代码

我们定义了一个本地 LLM (local_llm) 来指向在 Ollama 上运行的 Mistral 模型。接下来，我们从之前创建的 ElasticssearchStore 向量存储中创建一个 VectorStoreIndex (index)，然后从索引中获取一个查询引擎。在创建查询引擎时，我们会引用本地 LLM 来进行响应，我们还会提供 (similarity_top_k=10) 来配置应从向量存储中检索并发送给 LLM 以获得响应的文档数量。

运行query.py 脚本执行 RAG 流程：

我们发送查询Give me summary of water related issues （可随意定制query ），法律硕士的回复应与提供的相关文件类似。

注意事项

这篇博文是关于使用 Elasticsearch 的 RAG 技术的初学者介绍，因此省略了一些功能配置，而这些功能配置将使您能够将这一起点应用到生产中。在构建生产用例时，您需要考虑更复杂的方面，如使用文档级安全保护数据，将数据分块作为 ElasticsearchIngest 管道的一部分，甚至在用于 GenAI/Chat/Q&A 用例的相同数据上运行其他ML 作业。

您还可以考虑使用Elastic Connectors 从各种外部来源（如 Azure Blob Storage、Dropbox、Gmail 等）获取数据并创建嵌入。

Elastic 可实现上述所有功能，并为 GenAI 用例及其他应用提供全面的企业级解决方案。

接下来呢？

• 您可能已经注意到，我们正在将 10 个相关会话与用户问题一起发送给 LLM，以便制定回复。这些对话可能包含 PII（个人身份信息），如姓名、出生日期、地址等。在我们的案例中，LLM 是本地的，因此数据泄漏不是问题。但是，如果您想使用在云中运行的 LLM（例如 OpenAI），则不宜发送包含 PII 信息的文本。在后续博客中，我们将介绍如何在向 RAG 流程中的外部 LLM 发送 PII 信息之前完成屏蔽。

• 在本篇文章中，我们使用了本地 LLM，在接下来的文章 "在 RAG 中屏蔽 PII 数据 "中，我们将介绍如何轻松地从本地 LLM 切换到公共 LLM。