在本文中，我们将讨论这些字段类型、每种类型的使用时间，以及它们与嵌入生成和使用策略的关系，包括在索引和查询过程中的关系。

密集矢量类型

Elasticsearch 中的dense_vector 字段类型用于存储密集向量，密集向量是文本、图像和音频等数据的数字表示，其中几乎所有维度都是相关的。这些向量是使用 OpenAI、Cohere 或 Hugging Face 等平台提供的嵌入模型生成的，旨在捕捉数据的整体语义，即使数据与其他文档不共享确切术语。

在 Elasticsearch 中，稠密向量的维度最多可达 4096，具体取决于所使用的模型。例如，all-MiniLM-L6-v2 模型生成的向量有 384 个维度，而 OpenAI 的 text-embedding-ada-002 模型生成的向量有 1536 个维度。

dense_vector 字段通常被用作存储这类嵌入的默认类型，当需要更多控制时，例如使用预生成向量、应用自定义相似性函数或与外部模型集成。

何时以及为何使用 dense_vector 类型？

密集向量非常适合捕捉句子、段落或整个文档之间的语义相似性。当目标是比较文本的整体含义时，即使它们不共享相同的术语，它们也能很好地发挥作用。

密集矢量字段非常适合已经拥有外部嵌入生成管道，使用 OpenAI、Cohere 或 Hugging Face 等平台提供的模型，并且只想手动存储和查询这些矢量的情况。这种类型的字段与嵌入模型具有很高的兼容性，在生成和查询方面具有充分的灵活性，允许您控制矢量的生成、索引和搜索使用方式。

此外，它还支持不同形式的语义搜索，在需要调整排名逻辑的情况下，可使用 k-NN 或 script_score 等查询。这些可能性使密集矢量成为 RAG（检索增强生成）、推荐系统和基于相似性的个性化搜索等应用的理想选择。

最后，该字段允许您自定义相关性逻辑，使用cosineSimilarity 、dotProduct 或l2norm 等函数，根据使用情况的需要调整排名。

对于需要灵活性、定制化和与上述高级用例兼容的用户来说，密集矢量仍然是最佳选择。

如何使用密集矢量类型查询？

对定义为dense_vector 的字段的搜索使用 k 近邻查询。该查询负责查找密集向量与查询向量最接近的文档。下面举例说明如何将 k-NN 查询应用于密集向量场：

除 k-NN 查询外，如果需要自定义文档评分，也可以使用 script_score 查询，将其与余弦相似度、点积或 l2norm 等向量比较函数相结合，以更可控的方式计算相关性。请看示例：

如果您想深入了解，我建议您阅读《如何在 Elasticsearch 中设置向量搜索》一文。

稀疏矢量类型

sparse_vector 字段类型用于存储稀疏矢量，稀疏矢量是一种数值表示，其中大部分值为零，只有少数项具有重要权重。这种类型的向量在基于术语的模型中很常见，如 SPLADE 或 ELSER（弹性学习稀疏 EncodeR）。

何时以及为何使用稀疏向量类型？

当你需要更精确的词汇搜索而又不牺牲语义智能时，稀疏向量是理想的选择。它们将文本表示为标记/值对，只突出显示最相关的术语和相关权重，从而提供清晰度、控制和效率。

这类字段在根据术语生成向量时特别有用，例如在 ELSER 或 SPLADE 模型中，这些模型会根据每个标记在文本中的相对重要性为其分配不同的权重。

如果您想控制查询中特定词语的影响，稀疏向量类型允许您手动调整词语的权重，以优化结果的排名。

它的主要优点包括：搜索透明，因为可以清楚地了解为什么某个文件被认为是相关的；存储高效，因为只保存非零值的标记，而不像密集向量那样存储所有维度。

此外，稀疏向量是混合搜索策略的理想补充，甚至可以与密集向量相结合，将词汇精确性与语义理解相结合。

如何使用稀疏向量类型查询？

sparse_vector 查询可让您根据标记/值格式的查询向量搜索文档。请看下面的查询示例：

如果希望使用训练有素的模型，可以使用推理端点自动将查询文本转换为稀疏向量：

要进一步探讨这一主题，我建议阅读《用训练有素的 ML 模型理解稀疏向量嵌入》。

语义文本类型

semantic_text 字段类型是在 Elasticsearch 中使用语义搜索的最简单、最直接的方法。它通过一个推理端点，在索引和查询时自动处理嵌入生成。这意味着你不必担心手动生成或存储矢量的问题。

何时以及为何使用语义文本？

semantic_text 字段非常适合那些希望以最少的技术投入、无需手动处理矢量即可开始工作的用户。该字段可自动执行嵌入生成和矢量搜索映射等步骤，使设置更快更方便。

如果您重视简单性和抽象性，就应该考虑使用semantic_text ，因为它消除了手动配置映射、嵌入生成和摄取管道的复杂性。只需选择推理模型，其余的就交给 Elasticsearch 处理。

其主要优势包括在索引和查询过程中自动生成嵌入，以及可随时使用的映射，该映射经过预先配置，可支持选定的推理模型。

此外，该领域还提供对自动分割长文本（文本分块）的本地支持，可将大文本分割成较小的段落，每个段落都有自己的嵌入，从而提高搜索精度。这极大地提高了工作效率，尤其是对于那些希望在不处理语义搜索底层工程的情况下快速实现价值的团队而言。

不过，虽然semantic_text 提供了速度和简便性，但这种方法也有一些局限性。它允许使用市场标准模型，只要这些模型可以作为 Elasticsearch 中的推理端点。但它不支持外部生成的嵌入，而dense_vector 字段则可以做到这一点。

如果您需要对向量的生成方式进行更多控制，希望使用自己的嵌入，或需要将多个字段结合起来以实现高级策略，dense_vector 和sparse_vector 字段可提供更多自定义或特定领域方案所需的灵活性。

如何使用语义文本类型查询

在semantic_text 之前，必须根据嵌入类型（密集或稀疏）使用不同的查询。sparse_vector 查询用于稀疏字段，而dense_vector 字段则需要 KNN 查询。

使用语义文本类型时，搜索是通过语义查询进行的，查询会自动生成查询向量，并与索引文档的嵌入进行比较。semantic_text 类型允许您定义用于嵌入查询的推理端点，但如果未指定任何推理端点，则将对查询应用索引过程中使用的相同端点。

要了解更多信息，我建议您阅读 Elasticsearch 新语义_文本映射这 篇文章 ：简化语义搜索 。

结论

在选择如何在 Elasticsearch 中映射嵌入时，必须了解要如何生成向量以及需要对向量进行何种程度的控制。如果您追求简单，语义文本字段可实现自动和可扩展的语义搜索，使其成为许多初始用例的理想选择。当需要更多控制、微调性能或与自定义模型集成时，密集矢量和稀疏矢量场可提供必要的灵活性。

理想的字段类型取决于您的使用案例、可用基础设施以及机器学习堆栈的成熟度。最重要的是，Elastic 提供了用于构建现代化和高度适应性搜索系统的工具。

参考资料

• 语义文本字段类型

• 稀疏矢量场类型

• 密集矢量场类型

• 语义查询

• 稀疏向量查询

• kNN 搜索

• Elasticsearch 新语义文本映射：简化语义搜索

• 用训练有素的 ML 模型理解稀疏向量嵌入

筛选器与分面

在开始之前，我们先来定义一下什么是过滤器和切面。过滤器是用于限制结果集的预定义属性。例如，在市场中，甚至在进行搜索之前就可以使用筛选器。用户可以先选择一个类别，如"Video games" ，然后再搜索"PS5" ，将搜索范围缩小到更具体的子集，而不是整个数据库。这大大增加了获得更多相关结果的机会。

面板的工作原理与筛选器类似，但只有在执行搜索后才可用。换句话说，搜索会返回结果，并根据这些结果生成新的细化选项列表。例如，在搜索 PS5 游戏机时，可以显示存储容量、运输成本和颜色等信息，帮助用户选择理想的产品。

既然我们已经定义了过滤器和切面，下面我们就来讨论经典方法和基于机器学习 (ML) 的方法对其实施和使用的影响。每种方法都有影响搜索效率的优势和挑战。

过滤器和分面的经典方法

在这种方法中，过滤器和切面是根据预定义规则手动定义的。这意味着，考虑到目录结构和用户需求，可用于细化搜索的属性是固定的，并事先进行了规划。

例如，在市场中，"Electronics" 或"Fashion" 等类别可能有特定的筛选条件，如品牌、格式和价格范围。这些规则是静态创建的，可确保搜索体验的一致性，但每当出现新的产品或类别时，就需要进行手动调整。

虽然这种方法提供了对所显示过滤器和面的可预测性和控制，但当出现需要动态改进的新趋势时，这种方法就会受到限制。

优点

• 可预测性和控制：由于筛选器和切面是手动定义的，因此管理变得更加容易。

• 低复杂性：无需训练模型。

• 易于维护：由于规则是预定义的，因此可以快速进行调整和修正。

缺点

• 新过滤器需要重新索引：每当需要使用新属性作为筛选器时，就必须对整个数据集重新索引，以确保文档包含该信息。

• 缺乏动态适应性：过滤器是静态的，不能根据用户行为的变化自动调整。

滤波器/滤面的实现 - 经典方法

在开发工具 Kibana 中，我们将使用经典方法创建过滤器/面板演示。

首先，我们定义映射来构建索引：

品牌和存储 字段被设置为关键字，可直接用于聚合（面）。价格字段为浮动类型，可以创建价格范围。

下一步，将对产品数据编制索引：

现在，让我们按照品牌、存储空间和价格范围对结果进行分组，从而检索出经典的面孔。在查询中，定义了 size:0。在这种情况下，目标是只检索聚合结果，而不包括与查询相对应的文档。

回复将包括品牌、存储和价格的计数，有助于创建筛选器和面。

基于机器学习/人工智能的筛选器和分面方法

在这种方法中，机器学习（ML）模型（包括人工智能（AI）技术）分析数据属性，生成相关的过滤器和面。ML/AI 不依赖预定义规则，而是利用索引数据特征。这样就能动态发现新的切面和过滤器。

优点

• 自动更新：自动生成新的过滤器和切面，无需手动调整。

• 发现新属性：它可以将以前未考虑过的 数据特征识别为过滤器，从而丰富搜索体验。

• 减少人工操作：当人工智能从可用数据中学习时，团队无需不断定义和更新过滤规则。

缺点

• 维护复杂性：使用模型可能需要预先验证，以确保生成的过滤器的一致性。

• 需要 ML 和 AI 专业知识：该解决方案需要合格的专业人员来微调和监控模型性能。

• 无关过滤器的风险：如果模型没有得到很好的校准，可能会生成对用户无用的切面。

• 成本：使用 ML 和 AI 可能需要第三方服务，从而增加运营成本。

值得注意的是，即使有了校准良好的模型和精心制作的提示，生成的切面仍应经过审查步骤。这种验证可以是手动的，也可以基于审核规则，以确保内容的适当性和安全性。虽然这不一定是一个缺点，但这是一个重要的考虑因素，以确保在提供给用户之前，面的质量和适用性。

实施过滤器/面板--人工智能方法

在本演示中，我们将使用一个人工智能模型来自动分析产品特性并提出相关属性建议。有了结构良好的提示，我们就能从目录中提取信息，并将其转化为过滤器和切面。下面，我们将介绍这一过程的每个步骤。

最初，我们将使用推理 API注册一个端点，以便与 ML 服务集成。以下是与OpenAI 服务集成的示例。

现在，我们定义一个管道来执行提示并获取模型生成的新过滤器。

为"PlayStation 5" 产品运行该流水线的模拟，说明如下：

令人惊叹的游戏：惊叹于令人惊叹的画面，体验全新 PS5 的功能。

令人惊叹的沉浸感：支持触觉反馈、自适应触发器和 3D 音频技术，探索更深层次的游戏体验。

超薄设计：通过 PS5 数字版，玩家可以在时尚、紧凑的设计中获得强大的游戏技术。

1TB 存储空间：内置 1TB SSD 存储空间，让您随时随地畅玩最喜爱的游戏。

向后兼容和游戏提升：PS5 游戏机可播放 4,000 多款 PS4 游戏。有了 Game Boost，您甚至可以在一些最好的 PS4 游戏机游戏中享受更快、更流畅的帧率。

让我们观察一下这次模拟产生的提示输出。

现在，新索引中将添加一个新字段dynamic_facets，用于存储人工智能生成的面。

我们将使用Reindex API 将videogames索引重新编入videogames_1，并在此过程中应用generate_filter_ai管道。该管道将在索引编制过程中自动生成动态切面。

现在，我们将运行搜索并获得新的筛选器：

结果

下面是一个简单的前端，以表示面的实现：

这里提供了用户界面代码。

结论

这两种创建过滤器和切面的方法各有利弊。基于手动规则的传统方法可提供控制并降低成本，但需要不断更新，且无法动态适应新产品或新功能。

另一方面，基于人工智能和机器学习的方法可以自动提取切面，使搜索更加灵活，并且无需人工干预即可发现新的属性。不过，这种方法的实施和维护可能更为复杂，需要进行校准以确保结果的一致性。

在传统方法和基于人工智能的方法之间做出选择，取决于企业的需求和复杂程度。对于数据属性稳定且可预测的简单场景，传统方法可以更高效、更易于维护，从而避免基础设施和人工智能模型的不必要成本。另一方面，使用 ML/AI 提取切面可以大大增加价值，改善搜索体验，使过滤更加智能。

重要的是要评估自动化是否值得投资，或者更传统的解决方案是否已能有效满足业务需求。

关于亚马逊新星

Amazon Nova 是亚马逊人工智能模型系列，可在亚马逊 Bedrock 上使用，旨在提供高性能和高成本效益。这些模型可使用文本、图像和视频输入，生成文本输出，并针对不同的精度、速度和成本需求进行了优化。

亚马逊 Nova 主要型号

• 亚马逊 Nova Micro：该机型专门针对文本，速度快、性价比高，是翻译、推理、代码补全和解决数学问题的理想之选。其生成速度超过每秒 200 个令牌，非常适合需要即时响应的应用。

• Amazon Nova Lite：一款低成本多模态模型，能够快速处理图像、视频及文本数据。该模型以其速度和准确性脱颖而出，适用于成本因素显著的大流量交互式应用场景。

• 亚马逊新星专业版：最先进的选择，集高精度、高速度和高性价比于一身。是视频摘要、问答、软件开发和人工智能代理等复杂任务的理想选择。专家评论证明了它在文本和视觉理解方面的卓越表现，以及它遵循指令和执行自动工作流程的能力。

亚马逊 Nova 模型适用于各种应用，从内容创建和数据分析到软件开发和人工智能驱动的流程自动化。

下面，我们将演示如何结合 Elasticsearch 使用 Amazon Nova 模型进行自动产品评论分析。

我们将做什么

1. 通过 Inference API 创建一个端点，将 Amazon Bedrock 与 Elasticsearch 集成在一起。

2. 使用推理处理器创建一个管道，该管道将调用推理 API 端点。

3. 索引产品评论，并使用管道自动生成评论分析。

4. 分析整合结果。

使用 Amazon Nova Lite 在推理 API 中创建终端

首先，我们配置 Inference API，将 Amazon Bedrock 与 Elasticsearch 集成。我们定义了亚马逊 Nova Lite，id 为amazon.nova-lite-v1:0、因为它在速度、准确性和成本之间取得了平衡。

注意：使用 Amazon Bedrock 需要有效凭证。您可以在此处查看获取访问密钥的文档：

创建审查分析管道

现在，我们创建一个处理管道，使用推理处理器来执行审查分析提示。此提示将把评论数据发送到 Amazon Nova Lite，由其执行：

• 情绪分类（积极、消极或中性）。

• 审查总结。

• 关键词生成。

• 真实性测量（真实 | 可疑 | 一般）。

索引审查

现在，我们使用批量 API 对产品评论进行索引。先前创建的管道将自动应用，将 Nova 模型生成的分析添加到索引文档中。

查询和分析结果

最后，我们运行一个查询，看看亚马逊 Nova Lite 模型是如何对评论进行分析和分类的。通过运行 GET products/_search，我们可以获得已经用评论内容生成的字段充实过的文档。

该模型可识别主要情绪（正面、中性或负面），生成简明摘要，提取相关关键词，并估计每条评论的真实性。这些字段有助于了解客户的意见，而无需阅读全文。

为了解释结果，我们研究了

• 情感，表示消费者对产品的总体看法。

• 摘要，突出了所述要点。

• 关键词，可用于对类似评论进行分组或识别反馈模式。

• 真实性，表示评论是否可信。这对策划或管理非常有用。

总结

Amazon Nova Lite 与 Elasticsearch 的整合展示了语言模型如何将原始评论转化为结构化的有价值信息。通过管道处理评论，我们能够自动、一致地提取情感、真实性、摘要和关键词。

结果表明，该模型可以理解评论的上下文，对用户意见进行分类，并突出每个体验中最相关的要点。这将创建一个更丰富的数据集，可用于提高搜索能力。

本博客将探讨如何使用大型语言模型 (LLM) 自动识别和生成同义词，并允许以编程方式将这些术语加载到 Elasticsearch 的同义词 API 中。

何时使用同义词？

与矢量搜索相比，使用同义词是一种更快、更具成本效益的解决方案。它的实现较为简单，因为它不需要深厚的嵌入知识，也不需要复杂的矢量摄取过程。

此外，由于矢量搜索需要更大的存储容量和内存来嵌入索引和检索，因此资源消耗较低。

另一个重要方面是搜索区域化。有了同义词，就可以根据当地语言和习俗调整术语。这在嵌入式可能无法匹配区域表达或特定国家术语的情况下非常有用。例如，有些单词或缩略语在不同地区可能有不同的含义，但当地用户自然会将其视为同义词。在巴西，这种情况非常普遍。"Abacaxi" 和"ananás" 是同一种水果（菠萝），但在东北部的一些地区，第二个术语更常用。同样，东南部著名的"pão francês" 在东北部可能被称为"pão careca" 。

如何使用 LLM 生成同义词？

为了自动获取同义词，我们可以使用 LLM，它可以分析术语的上下文，并建议适当的变体。这种方法可以动态扩展同义词，确保搜索范围更广、更准确，而无需依赖固定词典。

在本演示中，我们将使用 LLM 生成电子商务产品的同义词。由于查询词的变化，许多搜索结果很少或没有结果。有了同义词，我们就可以解决这个问题。例如，搜索"智能手机" 可以涵盖不同型号的手机，确保用户找到所需的产品。

准备工作

在开始之前，我们需要设置环境并定义所需的依赖关系。我们将使用 Elastic 提供的解决方案，在 Docker 中本地运行 Elasticsearch 和 Kibana。代码将使用 Python 3.9.6 版本编写，依赖关系如下：

创建产品索引

最初，我们将创建一个不支持同义词的产品索引。这样我们就可以验证查询，然后将其与包含同义词的索引进行比较。

为了创建索引，我们在 Kibana DevTools 中使用以下命令批量加载产品数据集：

用 LLM 生成同义词

在这一步中，我们将使用 LLM 来动态生成同义词。为此，我们将整合 OpenAI 应用程序接口，定义适当的模型和提示。LLM 将接收产品类别和名称，确保同义词与上下文相关。

从创建的产品索引中，我们将检索"Electronics" 类别中的所有项目，并将其名称发送到 LLM。预期输出结果如下

有了生成的同义词，我们就可以使用同义词 API 将其注册到 Elasticsearch 中。

使用同义词 API 管理同义词

同义词 API 提供了在系统内直接管理同义词集的有效方法。每个同义词集都由同义词规则组成，其中一组词在搜索中被视为等同词。

创建同义词集示例

这样就创建了一个名为"my-synonyms-set," 的集合，其中"hello" 和"hi" 被视为等同词，"bye" 和"goodbye 也被视为等同词。"

为产品目录创建同义词

下面是建立同义词集并将其插入 Elasticsearch 的方法。同义词规则是根据 LLM 建议的同义词映射生成的。每条规则都有一个 ID（与 slug 格式的产品名称相对应）和 LLM 计算出的同义词列表。

下面是创建同义词集的请求有效载荷：

在集群中创建同义词集后，我们就可以进行下一步，即使用定义的同义词集创建支持同义词的新索引。

下面是完整的 Python 代码，其中包含 LLM 生成的同义词和同义词 API 定义的同义词集创建：

创建支持同义词的索引

将创建一个新索引，对products 索引中的所有数据进行重新索引。该索引将使用synonyms_filter ，它应用了之前创建的products-synonyms-set 。

以下是配置为使用同义词的索引映射：

重新索引products 索引

现在，我们将使用Reindex API将products 索引中的数据迁移到包含同义词支持的新products_02 索引中。在 Kibana DevTools 中执行了以下代码：

迁移后，products_02 索引将被填充，并可使用配置的同义词集验证搜索。

使用同义词验证搜索

让我们比较一下两个索引的搜索结果。我们将在两个索引上执行相同的查询，并验证是否使用同义词来检索结果。

在products 索引中搜索（不含同义词）

我们将使用 Kibana 执行搜索并分析结果。在分析> 发现菜单中，我们将创建一个数据视图，以可视化我们创建的索引中的数据。

在 Discovery 中，单击数据视图并定义名称和索引模式。对于"产品" 索引，我们将使用"产品"模式。然后，我们将重复该过程，使用"products_02"模式为"products_02" 索引创建一个新的数据视图。

配置好数据视图后，我们就可以返回 Analytics> Discovery 并开始验证。

在这里，选择 DataView 产品并对"tablet" 一词进行搜索后，我们没有得到任何结果，尽管我们知道有"Kindle Paperwhite" 和"Apple iPad Air" 这样的产品。

在products_02 索引中搜索（支持同义词）

在支持同义词的"products_synonyms" 数据视图上执行相同查询时，产品被成功检索。这表明配置的同义词集工作正常，确保搜索词的不同变体都能返回预期结果。

我们可以直接在 Kibana DevTools 中运行相同的查询来获得相同的结果。只需使用 Elasticsearch Search API 搜索 products_02 索引即可：

结论

在 Elasticsearch 中使用同义词提高了产品目录搜索的准确性和覆盖范围。与众不同的关键在于使用了LLM，它可以根据上下文自动生成同义词，无需预定义清单。该模型分析了产品名称和类别，确保与电子商务相关的同义词。

此外，同义词 API简化了词典管理，允许动态修改同义词集。有了这种方法，搜索变得更加灵活，更能适应不同的用户查询模式。

这一过程可以通过新数据和模型调整不断改进，确保提供越来越高效的研究体验。

参考资料

在本地运行 Elasticsearch

https://www.elastic.co/guide/en/elasticsearch/reference/current/run-elasticsearch-locally.html

同义词应用程序接口

https://www.elastic.co/guide/en/elasticsearch/reference/current/synonyms-apis.html

在本文中，我们将介绍如何配置 Airbyte 以将数据摄取到 Elasticsearch，包括关键概念、前提条件和逐步集成。

Airbyte 基本概念

Airbyte 的使用有几个基本概念。下面，我们将重点介绍其中的主要内容：

• 来源：定义提取数据的来源。

• 目的地：定义数据的发送和存储位置。

• 连接：配置源和目标之间的关系，包括同步频率。

Airbyte 与 Elasticsearch 的集成

在本演示中，我们将执行一个集成，将存储在 S3 存储桶中的数据迁移到 Elasticsearch 索引中。我们将展示如何在 Airbyte 中配置源（S3）和目标（Elasticsearch）。

准备工作

要观看这一演示，必须满足以下前提条件：

1. 在 AWS 中创建一个存储桶，用于存储包含数据的 JSON 文件。

2. 使用 Docker在本地安装 Airbyte。

3. 在 Elastic Cloud 中创建一个 Elasticsearch 集群来存储输入的数据。

下面，我们将详细介绍每个步骤。

安装 Airbyte

Airbyte 可以使用 Docker 在本地运行，也可以在云中运行，但使用时需要付费。在本演示中，我们将使用 Docker 本地版本。

安装可能需要几分钟时间。按照安装说明进行安装后，Airbyte 可在以下网址使用： http://localhost:8000。

登录后，我们就可以开始配置集成了。

创建水桶

在此步骤中，您需要一个 AWS 账户来创建一个 S3 存储桶。此外，还必须通过创建策略和 IAM 用户来设置正确的权限，以允许访问存储桶。

在该桶中，我们将上传包含不同日志记录的 JSON 文件，这些记录稍后将迁移到 Elasticsearch。文件日志的内容是这样的

以下是装入邮筒的文件：

弹性云配置

为了便于演示，我们将使用弹性云。如果您还没有账户，可在此处创建一个免费试用账户：弹性云注册。

在弹性云中配置部署后，您需要获得

• Elasticsearch 服务器的 URL。

• 访问 Elasticsearch 的用户。

要获取 URL，请访问部署> 我的部署，在应用程序中找到 Elasticsearch 并点击 "复制端点"。

要创建用户，请按照以下步骤操作：

1. 访问 Kibana> 堆栈管理> 用户。

2. 创建一个具有超级用户角色的新用户。

3. 填写字段以创建用户。

现在，我们已经设置好了一切，可以开始在 Airbyte 中配置连接器了。

配置信号源连接器

在这一步中，我们将为 S3 创建源连接器。为此，我们将进入 Airbyte 界面，在菜单中选择 "源 "选项。然后，我们将搜索 S3 连接器。下面，我们将详细介绍配置连接器所需的步骤：

1. 访问 Airbyte 并进入 "来源 "菜单。

2. 搜索并选择 S3 连接器。

3. 配置以下参数：

   1. 源名称：定义数据源名称。

   2. 交付方法：选择复制记录（建议用于结构化数据）。

   3. 数据格式：选择 JSON 格式。

   4. 流名称：定义 Elasticsearch 中索引的名称。

   5. 存储桶名称：输入 AWS 中桶的名称。

   6. AWS 访问密钥和 AWS 密钥：输入访问凭证。

点击 "设置来源"，等待验证。

配置目的地连接器

在这一步中，我们将配置目标连接器，即 Elasticsearch。为此，我们将进入菜单并选择 "目的地 "选项。然后，我们将搜索 Elasticsearch 并点击返回的结果。现在，我们将继续配置该连接：

1. 进入 Airbyte 并转到 "目的地 "菜单。

2. 搜索并选择 Elasticsearch 连接器。

3. 配置以下参数：

   1. 验证方法：选择用户名/密码。

   2. 用户名和密码：使用在 Kibana 中创建的凭证。

   3. 服务器端点：粘贴从弹性云复制的 URL。

点击 "设置目的地"，等待验证。

创建源连接和目的地连接

一旦创建了 "源 "和 "目标"，就会创建它们之间的连接，从而完成集成的创建。

下面是创建连接的说明：

1.在菜单中，转到 "连接"，点击 "创建第一个连接"。

2.在下一个屏幕中，您可以选择一个现有的源或创建一个新源。由于我们已经创建了一个源，因此将选择源 S3。

3.下一步是选择目的地。由于我们已经创建了 Elasticsearch 连接器，因此将选择它来完成配置。

下一步需要定义同步模式和使用的模式。由于只创建了日志模式，因此它将是唯一可供选择的选项。

4.我们将进入配置连接步骤。在这里，我们可以定义连接名称和集成执行频率。频率有三种配置方式：

• Cron：根据用户定义的 cron 表达式（例如 0 0 15 * * ?，每天 15:00）运行同步；

• 预定：在指定的时间间隔内运行同步（例如每 24 小时、每 2 小时）；

• 手动：手动： 手动运行同步。

在本演示中，我们将选择手动选项。

最后，点击 "设置连接"，将建立源和目标之间的连接。

将数据从 S3 同步到 Elasticsearch

返回 "连接 "屏幕后，就可以看到已创建的连接。要执行程序，只需单击 "同步"。从那时起，数据将开始从 S3 迁移到 Elasticsearch。

如果一切顺利，您将获得同步状态。

在 Kibana 中可视化数据

现在，我们将进入 Kibana 分析数据，检查索引是否正确。在 Kibana 发现部分，我们将创建一个名为日志的数据视图。这样，我们就能查看同步后创建的日志索引中的数据。

现在，我们可以将索引数据可视化，并对其进行分析。这样，我们使用 Airbyte 验证了整个迁移流程，在 Airbyte 中加载了数据桶中的数据，并在 Elasticsearch 中编制了索引。

结论：Airbyte& Elasticsearch 集成

事实证明，Airbyte 是一种高效的数据集成工具，可以自动连接多个数据源和目的地。在本教程中，我们演示了如何将数据从 S3 存储桶摄取到 Elasticsearch 索引，并重点介绍了该过程的主要步骤。

这种方法有利于大量数据的摄取，并允许在 Elasticsearch 中进行分析，如复杂的搜索、聚合和数据可视化。

参考资料

快速启动 Airbyte：

https://docs.airbyte.com/using-airbyte/getting-started/oss-quickstart#part-1-install-abctl

核心概念：

https://docs.airbyte.com/using-airbyte/core-concepts/

什么是 LlamaIndex？

LlamaIndex 是一个框架，可帮助创建由大型语言模型（LLM）驱动的代理和工作流，以便与特定或私人数据进行交互。它可以将各种来源（应用程序接口、PDF、数据库）的数据与 LLM 集成，从而完成研究、信息提取和生成上下文化回复等任务。

关键概念：

• 代理：使用 LLM 执行任务的智能助手，任务范围从简单的响应到复杂的操作。

• 工作流程：将代理、数据连接器和高级任务工具结合起来的多步骤流程。

• 语境增强：利用外部数据丰富 LLM 的技术，克服其训练局限性。

LlamaIndex 与 Elasticsearch 集成：

Elasticsearch 可以通过各种方式与 LlamaIndex 配合使用：

• 数据源：使用 Elasticsearch 阅读器提取文档。

• 嵌入模型：将数据编码为向量，用于语义搜索。

• 矢量存储：将 Elasticsearch 用作搜索矢量化文档的存储库。

• 高级存储：配置文档摘要或知识图谱等结构。

使用 LlamaIndex 和 Elasticsearch 创建常见问题搜索

数据准备

我们将以Elasticsearch 服务常见问题解答为例进行说明。每个问题都是从网站上提取的，并保存在一个单独的文本文件中。您可以使用任何方法来组织数据；在本例中，我们选择将文件保存在本地。

文件示例：

保存所有问题后，目录将如下所示：

安装依赖项

我们将使用 Python 语言实现摄取和搜索，我使用的版本是 3.9。作为前提条件，有必要安装以下依赖项：

Elasticsearch 和 Kibana 将使用 Docker 创建，并通过 docker-compose.yml 配置为运行 8.16.2 版本。这样就能更容易地创建本地环境。

使用 LlamaIndex 进行文件摄取

文件将使用 LlamaIndex 索引到 Elasticsearch 中。首先，我们使用SimpleDirectoryReader 加载文件，它允许从本地目录加载文件。加载文档后，我们将使用VectorStoreIndex 对其进行索引。

LlamaIndex 中的矢量存储负责存储和管理文档嵌入。LlamaIndex 支持不同类型的向量存储，在本例中，我们将使用 Elasticsearch。在 StorageContext 中，我们配置 Elasticsearch 实例。由于上下文是本地的，因此不需要额外的参数。有关其他环境中的配置，请参阅文档检查必要的参数：ElasticsearchStore 配置。

默认情况下，LlamaIndex 使用 OpenAItext-embedding-ada-002模型生成嵌入。不过，在本例中，我们将使用文本嵌入-3-小模型。需要注意的是，使用该模型需要一个 OpenAI API 密钥。

以下是完整的文件摄取代码。

执行后，文件将被编入faq索引，如下图所示：

使用 RAG 搜索

要执行搜索，我们需要配置ElasticsearchStore客户端，用 Elasticsearch URL 设置index_name和es_url字段。在retrieval_strategy 中，我们为向量搜索定义了AsyncDenseVectorStrategy。还提供其他策略，如AsyncBM25Strategy（关键词搜索）和AsyncSparseVectorStrategy（稀疏向量）。更多详情，请参阅官方文档。

接下来，我们将创建一个VectorStoreIndex对象，并使用 ElasticsearchStore 对象配置vector_store。通过as_retriever方法，我们可以搜索与查询最相关的文档，并通过similarity_top_k参数设置返回结果的数量为 5。

下一步是 RAG。矢量搜索的结果被纳入本地语言管理器的格式化提示中，从而能够根据检索到的信息做出符合具体情况的响应。

在 PromptTemplate 中，我们定义了提示格式，其中包括

• Context ({context_str})：检索器检索到的文件。

• Query ({query_str}): 用户的问题。

• 说明：指导模型根据环境做出反应，而不依赖外部知识。

最后，LLM 会处理提示，并根据上下文返回准确的回复。

完整代码如下：

现在，我们可以执行搜索，例如"Elastic services are free?" ，并根据常见问题数据本身获得符合上下文的回复。

为了做出这一回应，我们使用了以下文件：

结论

我们使用 LlamaIndex 演示了如何创建一个高效的常见问题搜索系统，并将 Elasticsearch 作为向量数据库提供支持。使用嵌入法对文件进行摄取和索引，从而实现矢量搜索。通过 PromptTemplate，搜索结果被纳入上下文并发送给 LLM，LLM 会根据检索到的文件生成精确且符合上下文的回复。

该工作流程将信息检索与根据上下文生成回复整合在一起，以提供准确、相关的结果。

参考资料

https://www.elastic.co/guide/en/cloud/current/ec-faq-getting-started.html

https://docs.llamaindex.ai/en/stable/api_reference/readers/elasticsearch/

https://docs.llamaindex.ai/en/stable/module_guides/indexing/vector_store_index/

https://docs.llamaindex.ai/en/stable/examples/query_engine/custom_query_engine/

https://www.elastic.co/search-labs/integrations/llama-index

切面搜索是电子商务平台的一个强大工具。它有助于根据显示项目的特征来组织和完善搜索结果。虽然滤镜经常被混淆，但切面的工作原理是不同的。筛选器是固定属性，由索引中始终存在的信息定义，如产品类别或格式。而面则是动态的，由执行搜索后返回的结果生成。

试想一下服装目录："类别" （如 T 恤、裤子）或"性别" （如男、女）等字段是帮助缩小结果范围的过滤器。而面则反映了结果中出现的产品的具体特征，如常见颜色、可用尺寸或材料。这使得搜索体验更具适应性和情境性。

下面是一张图片，我们与一个切面进行交互，可以看到由切面筛选出的搜索结果。

人工智能如何改善面的生成

人工智能通常与语义搜索和嵌入相关联，那么面呢？如何利用人工智能，使面面俱到对每次搜索更有用，并针对具体情况？

一个引人入胜的可能性是利用人工智能创建新的分类，超越索引中的传统分类。通过分析内容的具体特征，这些新类别可以提供更丰富、更精确的上下文，使面更相关、更符合用户需求。与原始文件类别相比，这使得结果的细化更有意义。

人工智能如何完善电影分类以提高搜索效果

让我们来分析一下以下影片，它们目前都被归类为剧情片类型：

• 梦之安魂曲 简历：四个科尼岛人吸毒成瘾后，他们的乌托邦被打破了。

• 美国丽人 简历：一位在性方面受挫的郊区父亲在迷恋上女儿最好的朋友后，陷入了中年危机。

• Good Will Hunting 简历：威尔-亨廷是麻省理工学院的看门人，他有数学天赋，但需要心理学家的帮助才能找到人生方向。

这种类型划分无法捕捉到每部影片的细微差别或独特背景。通过利用人工智能分析故事梗概和中心主题，我们可以创建新的类别，更好地反映每部电影的真实背景。例如

• 梦之安魂曲 - 新类别："成瘾与依赖"

• 美国丽人》 - 新类别："中年危机"

• Good Will Hunting - 新类别："智力斗争"

这些新类别使搜索更加精确，同时为用户提供了更有意义的筛选器来完善搜索结果。当原始分类过于笼统时，这种方法尤为有效，能让用户更轻松地准确找到他们要找的内容。

使用 GPT-4 创建新类别：面搜索示例

在这个例子中，我们将展示如何利用人工智能模型来创建新的电影类别，使其更加精确，并与每部作品的背景相一致。为了演示这一过程，我们将使用 Elastic 仿真管道和 OpenAI 推断服务。我们将创建一个由多个处理器组成的流水线，其中包括脚本处理器，它将负责创建提示语，并在推理处理器中执行，从而确定新的类别。其他处理器将用于处理流水线执行过程中产生的数据和辅助字段。值得一提的是，这一逻辑也可应用于其他类似的工具或模型。

首先，我们需要创建推理端点，将服务定义为 OpenAI、访问服务所需的令牌以及模型。在本例中，我使用的是 gpt-4-mini。有关 OpenAI 推断服务的更多详情，请点击此处。

端点创建完成后，我们就可以用它来创建新类别了。下面是一个处理文档数据操作和提示生成整个过程的管道。我将详细解释每个处理器的功能。

第一个处理器将负责建立提示。明确详细的说明非常重要，这样人工智能才能正确分析和识别主题。在本提示中，我要求根据对电影标题、描述和类型的分析来确定 2 个主题。

下一个管道是推理管道，它将接收提示并将其发送到我们的generate_topics_ia端点。模型生成的响应将存储在结果字段中。

接下来，除了删除我创建的临时字段外，我们还有 3 个处理器用于处理响应并将其设置到主题字段中。

执行该流水线后，我们将得到以下结果：

请注意，尽管有些影片最初属于同一类型，但我们有了与影片背景更加相关的新类别。

现在，我们可以使用这些新类别，并将它们与文档一起编入索引。这样，在生成切面时，除了主类别外，我们还可以根据影片的背景情况，生成更具体的子类别。

此外，还可以将这些新类别矢量化，并将其用于矢量搜索。这意味着，新的类别不仅可以用作过滤器，还可以用来计算与搜索词的语义相似性，从而进一步提高搜索结果的相关性。

完整的管道：

结论

利用人工智能改进面，可以使搜索结果更具体、更符合上下文，从而改变搜索体验。固定类别通常比较宽泛，而人工智能生成的类别则不同，它能更好地反映背景情况。例如，在对电影进行重新分类时，我们可以捕捉到主要类别所忽略的背景，从而提供更相关的分组。

将这些新的类别添加到索引中，不仅可以改进分面，还可以实现矢量搜索。其结果是搜索体验更加高效，筛选器更加符合上下文。

参考资料

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-openai.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/simulate-pipeline-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/script-processor.html

Apache Airflow 是一个用于创建、调度和监控工作流的平台。它用于协调 ETL 流程、数据管道和其他复杂的工作流程，具有灵活性和可扩展性。它的可视化界面和实时监控功能使管道管理更方便、更高效，让您可以跟踪执行的进度和结果。以下是其四大支柱：

• 动态： 管道是用 Python 定义的，可以动态、灵活地生成工作流程。

• 可扩展性：Airflow 可与各种环境集成，可创建自定义操作符，并可根据需要执行特定代码。

• 优雅：管道的编写方式简洁明了。

• 可扩展：它的模块化架构使用消息队列来协调任意数量的工作者。

在实际应用中，气流可用于以下情况：

• 数据导入： 协调将数据导入 Elasticsearch 等数据库的日常工作。

• 日志监控：管理日志文件的收集和处理，然后在 Elasticsearch 中进行分析，以识别错误或异常。

• 整合多个数据源：将来自不同系统（应用程序接口、数据库、文件）的信息整合到 Elasticsearch 的单层中，简化搜索和报告。

了解 Airflow 中的 DAG（有向无环图

在 Airflow 中，工作流由 DAG（有向无环图）表示。DAG 是一种定义任务执行顺序的结构。DAG 的主要特点是

• 由独立任务组成：每个任务代表一个工作单元，可独立执行。

• 排序： 任务的执行顺序在 DAG 中明确定义。

• 可重用性：DAG 设计为可重复执行，有利于流程自动化。

气流组件

Airflow 生态系统由多个组件组成，这些组件共同协调任务：

• 调度器：负责调度 DAG 和发送任务供工作者执行。

• 执行者：管理任务的执行，将任务分配给员工。

• 网络服务器：提供与 DAG 和任务交互的图形界面。

• Dags 文件夹：存放用 Python 编写的 DAG 的文件夹。

• 元数据：作为工具存储库的数据库，由调度器和执行器用来存储执行状态。

Apache Airflow 和 Elasticsearch

我们将演示如何使用 Apache Airflow 和 Elasticsearch 来协调任务并在 Elasticsearch 中对结果进行索引。本演示的目的是创建一个任务流水线，以更新 Elasticsearch 索引中的记录。该索引包含一个电影数据库，用户可在其中对电影进行评分和分配等级。假设每天有数百个收视率，那么就有必要不断更新收视率记录。为此，将开发一个每日执行的 DAG，负责检索新的综合评级并更新索引中的记录。

在 DAG 流程中，我们将有一个获取评级的任务，然后是一个验证结果的任务。如果数据不存在，DAG 将被定向到故障任务。否则，数据将在 Elasticsearch 中编入索引。我们的目标是通过一种方法，利用负责计算分数的机制来检索评分，从而更新索引中电影的评分字段。

将 Apache Airflow 和 Elasticsearch 与 Docker 结合使用

为了创建容器化环境，我们将使用带有 Docker 的 Apache Airflow。请按照 "Running Airflow in Docker" 指南中的说明实际设置 Airflow。

至于 Elasticsearch，我将使用 Elastic Cloud 上的集群，但如果你愿意，也可以使用 Docker 配置 Elasticsearch。已经创建了一个包含电影目录的索引，索引中包含电影数据。这些电影的 "评分 "字段将被更新。

创建 DAG

通过 Docker 安装后，将创建一个文件夹结构，其中包括 dags 文件夹，我们必须将 DAG 文件放在这里，Airflow 才能识别它们。

在此之前，我们需要确保安装了必要的依赖项。以下是此项目的依赖项

我们将创建文件update_ratings_movies.py 并开始任务编码。

现在，让我们导入必要的库：

我们将使用ElasticsearchPythonHook，这是一个通过抽象连接和使用外部 API 来简化 Airflow 与 Elasticsearch 集群之间集成的组件。

接下来，我们定义 DAG，说明其主要参数：

• dag_id：DAG 的名称。

• start_date：DAG 启动时间。

• schedule：定义周期（本例中为每日）。

• doc_md文件：将被导入并显示在 Airflow 界面中的文件。

确定任务

现在，让我们来定义 DAG 的任务。第一个任务将负责检索电影分级数据。我们将使用PythonOperator，并将task_id 设置为'get_movie_ratings' 。python_callable 参数将调用负责获取评级的函数。

接下来，我们需要验证结果是否有效。为此，我们将使用一个带有BranchPythonOperator 的条件。task_id 将是'validate_result' ，而python_callable 将调用验证函数。op_args 参数将用于把上一个任务'get_movie_ratings' 的结果传递给验证函数。

如果验证成功，我们将从'get_movie_ratings' 任务中获取数据，并将其索引到 Elasticsearch 中。为此，我们将创建一个新任务'index_movie_ratings' ，它将使用PythonOperator。op_args 参数将把'get_movie_ratings' 任务的结果传递给索引函数。

如果验证显示失败，DAG 将继续执行失败通知任务。在本例中，我们只打印了一条信息，但在实际应用中，我们可以配置警报来通知故障。

最后，我们定义任务依赖关系，确保它们以正确的顺序执行：

下面是我们 DAG 的完整代码：

可视化 DAG 执行

在 Apache Airflow 界面中，我们可以直观地看到 DAG 的执行情况。只需转到"DAGs" 选项卡，找到您创建的 DAG。

下面，我们可以直观地看到任务的执行情况及其各自的状态。通过选择特定日期的执行情况，我们可以访问每个任务的日志。请注意，在index_movie_ratings 任务中，我们可以看到索引中的索引结果，而且索引已成功完成。

在其他选项卡中，可以获取有关任务和 DAG 的更多信息，帮助分析和解决潜在问题。

结论

在本文中，我们演示了如何将 Apache Airflow 与 Elasticsearch 集成以创建数据摄取解决方案。我们展示了如何配置 DAG，定义负责检索、验证和索引电影数据的任务，以及如何在 Airflow 界面监控和可视化这些任务的执行。

这种方法可以很容易地适应不同类型的数据和工作流，使 Airflow 成为在各种情况下协调数据管道的有用工具。

参考资料

阿帕奇气流

https://airflow.apache.org/

使用 Docker 安装 Apache Airflow

https://airflow.apache.org/docs/apache-airflow/stable/howto/docker-compose/index.html

Elasticsearch Python 挂钩

https://airflow.apache.org/docs/apache-airflow-providers-elasticsearch/stable/hooks/elasticsearch_python_hook.html

Python 操作员

https://airflow.apache.org/docs/apache-airflow/stable/howto/operator/python.html

准备工作

• Docker 和 Docker Compose：确保计算机上安装了 Docker 和 Docker Compose。

• Python 3.x：运行生产者和消费者脚本。

Apache Kafka 简介

Apache Kafka 是一个分布式流平台，可实现高扩展性和可用性以及容错。在 Kafka 中，数据管理通过主要组件进行：

• 经纪人：负责在生产者和消费者之间存储和分发信息。

• Zookeeper：管理和协调 Kafka 代理，控制集群状态、分区领导者和消费者信息。

• 主题：发布和存储数据以供消费的渠道。

• 消费者和生产者：生产者向主题发送数据，消费者检索数据。

这些组件共同构成了 Kafka 生态系统，为数据流提供了一个强大的框架。

项目结构

为了解数据摄取过程，我们将其分为几个阶段：

• 基础架构调配：设置 Docker 环境以支持 Kafka、Elasticsearch 和 Kibana。

• 创建生产者：实现向日志主题发送数据的 Kafka 生产者。

• 创建消费者：开发 Kafka 消费者，以便在 Elasticsearch 中读取信息并编制索引。

• 输入验证：验证和确认发送和消耗的数据。

使用 Docker Compose 配置基础设施

我们利用 Docker Compose 配置和管理必要的服务。下面是 Docker Compose 代码，用于设置集成 Apache Kafka、Elasticsearch 和 Kibana 所需的各项服务，确保数据摄取过程。

您可以直接从 Elasticsearch LabsGitHubrepo 访问该文件。

使用 Kafka 生产者发送数据

生产者负责向日志主题发送消息。通过分批发送信息，它提高了网络使用效率，允许使用batch_size 和linger_ms 设置进行优化，这两个设置分别控制批次的数量和延迟。配置acks='all' 可确保信息的持久存储，这对重要的日志数据至关重要。

启动生产者时，消息会分批发送到主题，如下图所示：

使用 Kafka 消费者消费数据并编制索引

消费者旨在高效处理消息，从日志主题中批量消费，并将其索引到 Elasticsearch 中。通过auto_offset_reset='latest' ，它可以确保消费者开始处理最新的邮件，而忽略较早的邮件，并且max_poll_records=10 将批量限制为 10 封邮件。使用fetch_max_wait_ms=2000 时，消费者最多等待 2 秒钟，积累足够的报文后再处理批处理。

在其主循环中，消费者消耗日志信息，处理每个批次并将其索引到 Elasticsearch 中，从而确保持续的数据摄取。

在 Kibana 中可视化数据

有了 Kibana，我们就能探索和验证从 Kafka 采集并在 Elasticsearch 中编入索引的数据。通过访问 Kibana 中的 "开发工具"，您可以查看已编入索引的信息，并确认数据符合预期。例如，如果我们的 Kafka 生产者发送了 5 个批次，每个批次 10 条消息，那么我们应该在索引中看到总共 50 条记录。

要验证数据，可以使用开发工具部分的以下查询：

响应：

此外，Kibana 还提供创建可视化和仪表盘的功能，有助于使分析更加直观和互动。下面，您可以看到我们创建的仪表盘和可视化的一些示例，这些仪表盘和可视化以各种格式展示了数据，增强了我们对所处理信息的理解。

使用 Kafka Connect 进行数据摄取

Kafka Connect 是一项服务，旨在促进数据源和目的地（汇）（如数据库或文件系统）之间的集成。它通过预定义的连接器自动处理数据移动。在我们的案例中，Elasticsearch 发挥着数据汇的作用。

使用 Kafka Connect，我们可以简化数据摄取流程，无需在 Elasticsearch 中手动实施数据摄取工作流。有了适当的连接器，Kafka Connect 就能将发送到 Kafka 主题的数据直接编入 Elasticsearch 索引，只需极少的设置，也无需额外编码。

使用 Kafka Connect

为了实现 Kafka Connect，我们将在 Docker Compose 设置中添加 kafka-connect 服务 。此配置的关键部分是安装 Elasticsearch 连接器，它将处理数据索引。

配置服务并创建 Kafka Connect 容器后，需要为 Elasticsearch 连接器创建配置文件。该文件定义了基本参数，如

• connection.url:Elasticsearch 的连接 URL。

• topics:连接器将监控的 Kafka 主题（本例中为"logs" ）。

• type.name:Elasticsearch 中的文档类型（通常为 _doc）。

• value.converter:将 Kafka 消息转换为 JSON 格式。

• value.converter.schemas.enable:指定是否包含模式。

• schema.ignore 和key.ignore ：在编制索引时忽略 Kafka 模式和键的设置。

下面是在 Kafka Connect 中创建 Elasticsearch 连接器的curl 命令：

使用此配置后，Kafka Connect 将自动开始摄取发送到"logs" 主题的数据，并在 Elasticsearch 中编制索引。这种方法可实现全自动数据摄取和索引，无需额外编码，从而简化了整个集成过程。

结论

集成 Kafka 和 Elasticsearch 可为实时数据摄取和分析创建一个强大的管道。本指南为构建强大的数据摄取架构提供了基本方法，可在 Kibana 中实现无缝可视化和分析，随时适应未来更复杂的要求。

此外，使用 Kafka Connect 使 Kafka 和 Elasticsearch 之间的集成更加简化，无需额外的代码来处理数据和编制索引。Kafka Connect 使发送到特定主题的数据只需最少的配置就能在 Elasticsearch 中自动编入索引。

除了集成混合搜索，我们还将演示如何添加功能，使您的搜索解决方案更加强大。其中包括切面和个性化产品促销。此外，我们还将向您展示如何使用 Elastic 的行为分析工具捕捉用户互动并生成有价值的见解。

在本实现中，您将看到如何构建允许用户查看搜索结果并与之交互的界面，以及负责返回信息的应用程序接口。要访问包含源代码的资源库，请点击下面的链接：

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/product-store-search

• https://github.com/elastic/elasticsearch-labs/tree/main/supporting-blog-content/hybrid-search-for-an-e-commerce-product-catalogue/app-product-store

我们将本指南分为几个步骤，从创建索引到实施分面和结果个性化等高级功能。最后，您将拥有一个强大的搜索解决方案，可以在电子商务场景中使用。

电子商务混合搜索的环境设置

在开始实施之前，我们需要设置环境。您可以选择使用 Elastic Cloud 上的服务或容器化解决方案来管理 Elasticsearch。如果选择容器化，可在此版本库中找到通过 Docker Compose 进行的配置：docker-compose.yml。

创建索引和录入产品目录

索引将根据化妆品目录创建，其中包括名称、描述、照片、类别和标签等字段。用于全文搜索的字段，如"名称" 和"描述，" 将被映射为text ，而用于聚合的字段，如"类别" 和"品牌，" 将被映射为keyword ，以便进行分面搜索。

"description" 字段将用于矢量搜索，因为它提供了有关产品的更多背景信息。这个字段将被定义为dense_vector, ，存储描述的矢量表示。

索引映射如下

创建索引的脚本可在此处找到。

嵌入式生成

为了将产品描述矢量化，我们使用了 all-MiniLM-L6-v2 模型。在这种情况下，应用程序负责在编制索引前生成嵌入。另一种方法是将模型导入 Elasticsearch 集群，但在本地环境中，我们选择直接在应用程序中执行矢量化。

我们使用Kaggle上的化妆品数据集来填充索引，为了提高数据摄取的效率，我们使用了批处理方法。在同一摄取阶段，我们将生成"description" 字段的嵌入，并将其索引到新字段"description_embeddings" 中。

整个数据摄取过程可通过存储库中的Jupyter Notebook直接跟踪和执行。该笔记本提供了关于如何读取、处理数据并将其编入 Elasticsearch 索引的分步指南，便于复制和实验。

您可以通过以下链接访问该笔记本：摄入笔记本。

混合搜索实施

现在，让我们来实现混合搜索。对于基于关键字的搜索，我们使用multi_match查询，目标字段为"name、" " category、" 和"description。"这样就能确保检索到这些字段中包含搜索词的文档。

对于向量搜索，我们使用KNN 查询。在执行查询之前，需要对搜索词进行矢量化，这需要使用对输入词进行矢量化的方法来完成。请注意，摄取时使用的同一模型也用于搜索词。

这两种搜索的组合是通过互易等级融合（RRF） 算法完成的，该算法可合并两种查询的结果，并通过减少噪音来提高搜索精度。RRF 允许基于关键字的搜索和矢量搜索共同发挥作用，从而增强对用户查询的理解。

结果比较：关键词搜索与混合搜索

现在，让我们比较一下传统关键词搜索和混合搜索的结果。当使用关键字搜索"干性皮肤粉底" 时，我们会得到以下结果：

1. Revlon ColorStay Makeup for Normal / Dry SkinDescription：露华浓持久彩妆（Revlon ColorStay Makeup）质地轻盈，遮瑕持久，不会结块、褪色或脱妆。这款无油、保湿平衡配方采用了 "定时释放技术"，特别适合中性或干性肌肤使用，能够持续为肌肤补充水分：妆感舒适，可持续使用长达 24 小时；中等至完全遮盖；有多种美丽色调可供选择。

2. 美宝莲梦幻柔滑慕斯粉底液描述：你会爱上它的原因独特的乳霜状粉底提供 100% 婴儿般柔滑的完美肤质。不含油、不含香料，通过皮肤科医生测试，通过过敏测试，不致粉刺，不会堵塞毛孔。适合敏感性皮肤

分析：在搜索"干性皮肤粉底时，" 搜索结果是通过搜索关键词与产品标题和描述之间的精确匹配获得的。然而，这种匹配并不总是最佳选择。例如，Revlon ColorStay Makeup for Normal / Dry Skin就是一个不错的选择，因为它是专为干性皮肤配制的。尽管它不含油分，但其配方设计却能提供持续的保湿效果。相比之下，我们还收到了美宝莲梦幻柔滑慕斯粉底液，虽然这款粉底液不含油分，也能补充水分，但一般更推荐油性或混合性皮肤使用，因为无油产品往往侧重于控油，而不是提供干性皮肤所需的额外水分。这凸显了基于关键词搜索的局限性，因为这种搜索可能会返回无法完全满足干性皮肤患者特殊需求的产品。

现在，使用混合方法进行相同的搜索：

1. CoverGirl Outlast Stay Luminous Foundation Creamy Natural (820):产品简介：CoverGirl Outlast Stay Luminous 粉底液是打造露光妆效和微妙光泽的完美之选。它不含油分，配方不油腻，能为肌肤带来全天候的自然亮泽！这款全天候粉底液可为肌肤补充水分，同时提供无瑕遮瑕。分析： 这款产品非常适合干性皮肤的用户，因为它强调补水。"Hydrates skin" 和"dewy finish" 这两个词符合用户寻找干性皮肤粉底的意图。矢量搜索很可能理解了补水的概念，并将其与解决皮肤干燥问题的粉底需求联系起来。

2. Revlon ColorStay Makeup for Normal / Dry Skin:说明：Revlon ColorStay Makeup 采用轻盈配方，具有持久遮瑕效果，不会结块、褪色或脱落。这款不含油分的保湿平衡配方采用了 "定时释放技术"，特别适合中性或干性肌肤使用，能持续为肌肤补充水分。分析： 这款产品直接针对干性皮肤用户的需求，明确指出其配方适用于中性或干性皮肤。"水分平衡配方" 和持续的保湿效果非常适合寻找适合干性皮肤的粉底的人。矢量搜索成功检索到这一结果，不仅是因为关键词匹配，还因为重点关注补水，并特别提到干性皮肤是目标人群。

3. 精华粉底液说明： 精华粉底液质地轻盈，遮瑕度适中，共有 21 种色调可供选择。这些粉底液的遮瑕度适中，看起来很自然，精华液质地非常轻盈。它们的粘度很低，可使用随附的泵或单独购买的玻璃滴管进行分配。分析：在这款产品中，说明强调的是一款质地轻盈、妆感自然的精华粉底液，这与干性皮肤人群的需求不谋而合，因为干性皮肤人群通常需要的是温和、保湿、妆感不结块的产品。尽管"干性皮肤" 这个词没有被明确提及，但矢量搜索可能从更广泛的背景中捕捉到了轻盈、自然的遮盖力和类似精华液的质地，这与保湿度和涂抹舒适度有关，使其与干性皮肤相关。

面的实施

面孔对于有效提炼和过滤搜索结果至关重要，可为用户提供更有针对性的导航，尤其是在电子商务等产品种类繁多的情况下。它们允许用户根据类别、品牌或价格等属性调整搜索结果，使搜索更加准确。为了实现这一功能，我们在 category和 字段上使用了 术语聚合brand ，这两个 字段keyword 在索引创建阶段被定义为 。

实施的完整代码可在此处找到。

下面是搜索"适用于干性皮肤的粉底" 的面结果：

自定义结果：固定查询

在某些情况下，在搜索结果中推广某些产品可能是有益的。为此，我们使用了 "固定查询"，它允许特定产品出现在搜索结果的顶部。下面，我们将在不推销任何产品的情况下搜索"Foundation" ：

在我们的例子中，我们可以推广带有"无麸质标签的产品。"通过使用产品 ID，我们可以确保产品在搜索结果中的优先级。具体而言，我们将推广以下产品：精华粉底液（编号：1043）、遮瑕粉底液（编号：1042）和Realist 隐形定妆粉（编号：1039）。

我们使用特定的产品 ID 来确保它们在查询结果中的优先级。查询结构包括一个产品 ID 列表，该列表应将"钉在" 的顶部（在本例中，ID 为 1043、1042 和 1039），而其余结果则按照搜索的有机流程，使用"name" 、"category" 和"description" 等字段中的文本查询条件组合。这样，就有可能以可控的方式推广项目，确保其可见性，同时保持搜索的其他部分基于通常的相关性。

下面是查询执行的结果和促销产品：

完整的查询代码可在此处找到。

利用行为分析技术分析搜索行为

到目前为止，我们已经增加了一些功能，以提高搜索结果的相关性和产品的可发现性。现在，我们将通过加入一项功能来最终确定搜索解决方案，该功能将帮助我们分析用户的搜索行为，识别有结果或无结果的查询以及搜索结果的点击等模式。为此，我们将使用 Elastic 提供的行为分析功能。有了它，只需几个步骤，我们就能监控和分析用户的搜索行为，获得宝贵的见解，从而优化搜索体验。

创建行为分析集合

我们的第一项操作是创建一个集合，负责接收所有行为分析事件。要创建集合，请访问Search> Behavioral Analytics 中的 Kibana 界面。在下面的示例中，我们创建了名为tracking-search 的集合。

将行为分析整合到界面中

我们的前端应用程序是用 JavaScript 开发的，为了集成行为分析，我们将按照 Elastic 官方文档中描述的步骤安装行为分析 JavaScript 跟踪器。

实施 JavaScript 跟踪器

现在，我们将把跟踪器客户端导入应用程序，并使用trackPageView 、trackSearch 和trackSearchClick 方法来捕捉用户交互。

免责声明：虽然我们正在使用一种工具来收集用户交互数据，但这对于确保遵守GDPR 至关重要。这意味着要明确告知用户正在收集哪些数据、将如何使用这些数据，并提供选择退出跟踪的选项。此外，我们必须采取强有力的安全措施来保护收集到的信息，并尊重用户的权利，如数据访问和删除，确保所有步骤都符合 GDPR 原则。

步骤 1：创建跟踪器实例

首先，我们将创建用于监控交互的跟踪器实例。在此配置中，我们定义了目标端点、集合名称和 API 密钥：

步骤 2：获取页面浏览量

要跟踪页面浏览量，我们可以配置trackPageView 事件：

有关trackPageView 事件的详细信息，请参阅本文档。

步骤 3：捕捉搜索查询

为了监控用户的搜索行为，我们将使用trackSearch 方法：

在这里，我们收集搜索词和搜索结果。

步骤 4：跟踪搜索结果的点击率

最后，为了捕捉搜索结果的点击，我们将使用trackSearchClick 方法：

我们收集被点击文档的 ID 信息以及搜索词和搜索结果。

在 Kibana 中分析数据

既然已经捕捉到了用户交互事件，我们就可以获得有关搜索操作的宝贵数据。Kibana 使用行为分析工具来可视化和分析这些行为数据。要查看结果，只需导航到搜索> 行为分析> 我的收藏，就会显示捕获事件的概览。

在此概览中，我们可以大致了解集成到界面中的每个操作所捕获的事件。从这些信息中，我们可以获得有关用户搜索行为的宝贵见解。不过，如果您想创建个性化的仪表盘，其中包含与您的特定场景更相关的指标，Kibana 提供了用于构建仪表盘的强大工具，允许您创建各种指标可视化。

下面，我创建了一些可视化和图表来监测，例如，一段时间内搜索次数最多的词语、没有结果的查询、突出显示搜索次数最多的词语的词云，以及最后的地理可视化，以确定搜索访问来自哪里。

结论

在本文中，我们实施了一种混合搜索解决方案，将关键词和矢量搜索相结合，为用户提供更准确、更相关的搜索结果。我们还探索了如何使用其他功能，如面和钉住查询的个性化结果，以创建更完整、更高效的搜索体验。

此外，我们还集成了 Elastic 的行为分析功能，以捕捉和分析用户与搜索引擎交互过程中的行为。通过使用trackPageView 、trackSearch 和trackSearchClick 等方法，我们能够监控搜索查询、搜索结果点击量和页面浏览量，从而对搜索行为产生有价值的见解。

参考资料

数据集

https://www.kaggle.com/datasets/shivd24coder/cosmetic-brand-products-dataset

变压器

https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2

互惠等级融合

https://www.elastic.co/guide/en/elasticsearch/reference/current/rrf.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/retriever.html#rrf-retriever

Knn 查询

https://www.elastic.co/guide/en/elasticsearch/reference/current/knn-search.html

固定查询

https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-pinned-query.html

行为分析应用程序接口

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-apis.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/behavioral-analytics-overview.html

许多电子商务网站都希望提升食谱搜索体验。语义搜索如果应用得当，可以让客户根据更自然的查询快速找到所需的配料，例如"情人节的配料" 或"感恩节大餐。"

本文将演示如何使用 Elasticsearch 实现支持此类查询的语义搜索。我们将配置一个索引来存储超市的配料和产品的目录，并演示如何使用该索引来改进食谱搜索。在本文中，我们将介绍如何创建这种数据结构，并应用自然语言处理技术提供符合客户意图的相关结果。

本文中介绍的所有代码都是用 Python 开发的，可在GitHub 上获取。您可以访问资源库，查看源代码，根据需要进行调整，并直接在您的开发环境中实施解决方案。

开始实施语义搜索

要开始实施语义搜索，我们首先需要定义自然语言模型。Elastic 提供了自己的模型ELSER，但也支持整合来自不同供应商的 NLP 模型，如 Hugging Face。这种灵活性使您可以选择最适合您需求的方案。

在本文中，我们将使用ELSER，它可以降低部署和管理 NLP 模型的复杂性。此外，Elastic 还提供语义文本功能，大大简化了流程。有了semantic_text，整个嵌入生成过程就变得简单而自动化。您只需定义一个推理点，并在索引映射中指定接收嵌入的字段。在编制文档索引时，将生成嵌入并自动与指定字段关联。

设置步骤

以下是创建支持语义搜索的索引的步骤。按照这些说明，您就可以配置好索引，并为语义搜索做好准备：

1. 创建 推理点。

2. 创建索引，将描述字段设置为 semantic_text，以便接收嵌入信息。

3. 将数据索引到杂货目录索引中，该索引将存储产品目录。该目录是从此处提供的数据集中获取的。

语义搜索在超市中的应用

现在，我们已经用杂货店产品数据填充了索引，我们正在测试和验证查询，以便使用语义搜索改进搜索结果。我们的目标是提供更智能的搜索体验，了解上下文和用户意图，提供更相关、更准确的搜索结果。

语义搜索解决的挑战

基于产品目录，让我们来探讨一下语义搜索如何通过解决词汇和上下文问题来改变杂货店的搜索体验，而传统的词汇搜索往往难以解决这些问题。

1.解读烹饪意图

问题 01：客户可能会搜索"烧烤海鲜" ，但词法搜索系统可能无法完全理解查询背后的意图。它可能无法识别所有适合烧烤的海鲜产品，只返回产品标题中包含"seafood" 或"grill" 的确切术语的产品。

首先，我们将进行词性搜索并分析结果。然后，我们将进行同样的语义搜索，比较同一搜索词的搜索结果。

查询词法搜索

结果

搜索类型

名称

得分

词法

西北鱼阿拉斯加贝尔迪雪蟹

10.453125

词法

吉田先生，酱汁原味美食

7.2289705

词法

优质海鲜品种包 - 20 件

7.1924105

词法

美国红鲷鱼 - 整只、头朝上、洗净

6.998647

词法

龙虾爪& 胳膊，可持续野生捕捞

6.438654

词条搜索返回了一些适合烧烤的海鲜产品，如美国红鲷鱼和西北鱼阿拉斯加 Bairdi 雪蟹。然而，词法搜索返回的相关性较低的产品排在了列表的前列，例如吉田先生酱，它不是一种海鲜产品，而是一种肉酱，这表明词法算法很难完全理解"用于烧烤的语境。"

语义搜索解决方案

我们使用的查询方式是将"seafood" 与"grilling" 等烹饪上下文结合起来，返回一个全面的选项列表，如鱼片、虾和扇贝，这些都是烧烤的理想选择--即使"grill" 或"seafood" 这些词没有直接出现在产品名称中。这可确保搜索结果更贴近客户的意图。

查询语义搜索：

搜索类型

名称

得分

语义学

去头洗净的整条鲈鱼

16.175909

语义学

阿拉斯加黑鳕鱼（黑貂鱼）

15.855331

语义学

美国红鲷鱼 - 整只，头朝下

15.454779

语义学

西北鱼阿拉斯加贝尔迪雪蟹

15.855331

语义学

美国红鲷鱼 - 整只，头朝下

15.3892355

语义搜索不仅返回了与"seafood," 这一术语直接相关的产品，而且还理解了"grilling," 这一上下文，并带来了适合烧烤的整鱼和鱼片。关键在于结果的精确性，其中包括烤制常用的全鱼，如白鲷鱼和阿拉斯加黑鳕鱼。

问题 02 ：许多客户在工作一天后会搜索快速简便的晚餐解决方案，使用的术语包括"Easy Weeknight meals。"传统的词法搜索可能无法完全捕捉到快餐的概念，通常只关注名称中包含"easy" 一词的产品。

与上一个问题一样，我们将首先进行词法搜索。之后，我们将采用语义搜索来解决问题。

查询词法搜索

结果

搜索类型

名称

得分

词法

艾利易撕地址标签，4200 个装

8.017723

词法

自热应急/便携餐 32

6.592727

词法

海岸海鲜黄鳍金枪鱼块 Poke

5.836883

词法

Hefty 超重 12 盎司泡沫塑料

5.8116536

词法

Vanity Fair Everyday餐巾纸，2层，110片装

5.752989

词法搜索返回的相关结果要少得多，包括与餐饮完全无关的物品，如 Avery Easy Peel Address Labels 和 Vanity Fair Everyday Napkins。这些产品无法满足用户对快餐的需求。虽然词法搜索确实返回了一个有用的产品（Omeals Self Heating Emergency Meals），但其他结果，如餐巾纸和标签，仅与描述中的"easy" 或"weeknight" 匹配，没有真正满足用户对快速用餐解决方案的需求。

语义搜索解决方案

我们实施了一项查询，了解快速简便餐饮背后的意图。它将可快速烹制的产品，如预煮肉类、冷冻意大利面或套餐联系起来，即使这些产品的名称中没有明确包含"easy" 这个词。这种方法可确保顾客找到最合适的选择，在周末快速享用晚餐，满足对便利性的需求。

查询语义搜索

结果

搜索类型

名称

得分

语义学

自热应急/便携餐 32

14.610006

语义学

Nissin，杯面，虾，2.5 盎司

13.751424

语义学

Namaste 无谷蛋白华夫饼& 煎饼预拌粉

13.73376

语义学

爱达荷土豆、黄金烤土豆饼

12.549422

语义学

Nissin 杯面，鸡肉，24 支装

12.034527

语义搜索返回的产品明显与方便快捷的膳食有关，如方便面（杯面）、预煮土豆和煎饼粉，这些都是简单的周末晚餐的典型选择。这表明，语义搜索可以抓住"简易隔夜饭这一短语背后的概念，" ，从而捕捉到用户寻找快捷方便饭菜的意图。有趣的是，其他类别的产品，如"苏打水、" ，在相关情况下（如佐餐饮料）也可能包括在内。

2.地区术语和词汇变化

问题：一位客户可能会搜索"soda," ，而另一位客户可能会使用"pop" 来搜索相同的产品。传统的词库检索无法识别这两个词指的是同一个项目。

查询词法搜索

结果

搜索类型

名称

得分

词法

Prime Hydration+ Sticks 电解质混合饮料

14.492869

词法

Capri Sun，100% 果汁，多种包装

12.340851

词法

Joyburst 能量饮料, Frose Rose, 12瓶装

11.839179

词法

Kellogg's Pop-Tarts, Frosted Brown Sugar Cinnamon

9.97788

词法

Kind 迷你巧克力棒, 多样包装, 0.7

9.336912

词法搜索侧重于精确的词语匹配。虽然它返回了 Prime Hydration 和 Capri Sun 等产品，但与"pop" 一词直接匹配也导致了不相关的结果，如 Kellogg's Pop-Tarts，它是一种零食而不是饮料。这凸显了当一个术语有多种含义或可能含糊不清时，词汇搜索的效果会如何降低。

语义搜索解决方案

在语义查询中，我们可以克服词汇搜索无法解决的词汇变化问题。通过扩展搜索条件，我们能够根据上下文的含义获得结果，提供更相关、更全面的回复。

查询：

结果

搜索类型

名称

得分

语义学

奥利葆 12 盎司益生元苏打水品种

14.776867

语义学

佰草集抗氧化可可粉，多种包装，18 磅

14.663253

语义学

怪物能量饮料，零度超能，24 磅

14.486348

语义学

Joyburst 能量饮料，12 盎司

14.007214

语义学

Joyburst 能量饮料, Frose Rose, 12瓶装

13.641038

语义搜索会返回与"pop" 这一概念直接匹配的产品，作为"soda" 的同义词（如 Olipop Prebiotics Soda），即使产品名称中可能没有"pop" 这一确切术语。搜索理解了用户的意图--清爽的低糖饮料--并能够返回相关产品，包括益生元苏打水（Olipop）和无糖能量饮料（Monster Energy Drink）等选项。

结论

事实证明，在食品杂货店中实施语义搜索对于理解复杂的查询非常有效，如"烧烤海鲜" 和"简易周末餐。"这种方法使我们能够更准确地解读用户意图，返回高度相关的产品。

通过使用 Elasticsearch 和 ELSER 简化流程，我们能够快速高效地应用语义搜索，显著改善搜索结果，提供更灵活、更有针对性的购物体验。这不仅优化了搜索过程，还提高了为客户提供的搜索结果的相关性。

参考资料

ELSER 型：

https://www.elastic.co/guide/en/elasticsearch/reference/current/put-inference-api.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/infer-service-elser.html

语义文本：

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-text.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

数据集：

https://www.kaggle.com/datasets/bhavikjikadara/grocery-store-dataset?select=GroceryDataset.csv

语义搜索：

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search.html

https://www.elastic.co/guide/en/elasticsearch/reference/current/semantic-search-semantic-text.html

什么是 Apache Camel？

Apache Camel 是一个开源集成框架，可简化不同系统之间的连接，让开发人员专注于业务逻辑，而不必担心系统通信的复杂性。Camel 的核心概念是"routes，即" ，它定义了信息从原点到目的地的路径，可能包括转换、验证和过滤等中间步骤。

Apache Camel 架构

Camel 使用"组件" 来连接不同的系统和协议，如数据库和消息服务，并使用"端点" 来表示消息的入口和出口。这些概念提供了模块化和灵活的设计，使其更易于高效、可扩展地配置和管理复杂的集成。

使用 Elasticsearch 和 Apache Camel

我们将演示如何配置一个简单的 Java 应用程序，使用 Apache Camel 将数据摄取到 Elasticsearch 集群中。还将介绍使用 Apache Camel 中定义的路由在 Elasticsearch 中创建、更新和删除数据的过程。

1.添加依赖项

配置此集成的第一步是在项目的pom.xml 文件中添加必要的依赖项。这将包括 Apache Camel 和 Elasticsearch 库。我们将使用新的 Java API 客户端库，因此必须导入camel-elasticsearch 组件，且版本必须与camel-core 库相同。

如果要使用 Java 低级 Rest Client，则必须使用 Elasticsearch 低级 Rest Client 组件。

2.配置和运行 Camel 内核

配置的第一步是使用DefaultCamelContext 类创建一个新的 Camel 上下文，作为定义和执行路由的基础。接下来，我们配置 Elasticsearch 组件，它将允许 Apache Camel 与 Elasticsearch 集群交互。ESlasticsearchComponent 实例被配置为连接到localhost:9200 地址，这是本地 Elasticsearch 集群的默认地址。对于需要身份验证的环境设置，应阅读有关如何配置组件和启用基本身份验证的文档，即"配置组件和启用基本身份验证" 。

然后，该组件会被添加到 Camel 上下文中，使已定义的路由能够使用该组件在 Elasticsearch 中执行操作。

之后，路由会被添加到上下文中。我们将创建用于批量索引、更新和删除文档的路由。

3.配置 Camel 路由

数据索引

我们要配置的第一个路由是用于数据索引。我们将使用一个包含电影目录的 JSON 文件。路由将被配置为读取位于src/main/resources/movies.json 的文件，将 JSON 内容反序列化为 Java 对象，然后应用聚合策略将多条信息合并为一条，以便在 Elasticsearch 中进行批量操作。每条信息的大小配置为 500 条，也就是说，批量索引每次将索引 500 部影片。

批量路由 Elasticsearch 操作

批量文件将被发送到 Elasticsearch 的批量操作端点。这种方法确保了处理大量数据时的效率和速度。

数据更新

下一步将是更新文件。在上一步中，我们为一些电影编制了索引，现在我们将创建新的路径，通过参考代码搜索文档，然后更新评级字段。

我们建立了一个 Camel 上下文(DefaultCamelContext) ，在其中注册了一个 Elasticsearch 组件，并添加了一个自定义路由 IngestionRoute。操作开始时，先通过 ProducerTemplate 发送文档代码，然后从 direct:update-ingestion 端点启动路由。

接下来是 IngestionRoute，它是该流程的输入端点。路由执行多个流水线操作。首先，在 Elasticsearch 中进行搜索，按代码查找文件(direct:search-by-id) ，其中 SearchByCodeProcessor 根据代码组合查询。然后，UpdateRatingProcessor 对检索到的文档进行处理，将结果转换为电影对象，将电影分级更新为特定值，并准备将更新后的文档发回 Elasticsearch 进行更新。

SearchByCodeProcessor 处理器的配置仅用于执行搜索查询：

UpdateRatingProcessor 处理器负责更新评级字段。

数据删除

最后，配置删除文件的路径。在这里，我们将使用文档 ID 删除文档。在 Elasticsearch 中，要删除文档，我们需要知道文档标识符、存储该文档的索引并执行删除请求。在 Apache Camel 中，我们将通过创建一个新路由来执行此操作，如下图所示。

路由从 direct:op-delete 端点开始，它是入口点。需要删除文件时，会在邮件正文中收到其标识符(_id) 。然后，路由使用简单的("${body}") ，从报文正文中提取_id，用该标识符的值设置 indexId 头。

最后，消息会被定向到 URI_DELETE_OPERATION 指定的端点，该端点会连接到 Elasticsearch，以便在相应索引中执行文档删除操作。现在我们已经创建了路由，可以创建一个 Camel 上下文(DefaultCamelContext) ，该上下文已配置为包含 Elasticsearch 组件。

接下来，由OperationDeleteRoute 类定义的删除路由被添加到上下文中。初始化上下文后，ProducerTemplate ，将应删除文档的标识符传递给direct:op-delete 端点，从而触发删除路由。

结论

Apache Camel 和 Elasticsearch 之间的集成可实现稳健高效的数据摄取，利用 Camel 的灵活性定义路由，从而处理不同的数据操作场景，如索引、更新和删除。通过这种设置，您可以以可扩展的方式协调和自动化复杂的流程，确保您的数据在 Elasticsearch 中得到有效管理。该示例演示了如何将这些工具结合使用，以创建高效、适应性强的数据摄取解决方案。

参考资料

• Apache Camel

• Apache Camel 架构

• 聚合 Apache Camel

• 文件组件

• Elasticsearch 组件