历史上，许多人使用nested 字段类型作为将不同索引连接在一起的机制。然而，由于 Kibana 的查询成本高昂且支持不完整，特别是镜头可视化功能，该功能受到了限制。

本文将深入探讨在 Elasticsearch 中连接两个索引的过程，重点介绍以下方法：

1. 使用terms 查询

2. 在摄取流水线中使用enrich 处理器

3. Logstashelasticsearch 过滤器插件

4. ES|QL ENRICH

5. ES|QL LOOKUP JOIN

使用术语查询

术语查询是 Elasticsearch 中连接两个索引的最有效方法之一。该查询用于检索在特定字段中包含一个或多个精确术语的文档。下面我们讨论如何使用它来连接两个索引。

首先，您需要从第一个索引中获取所需的数据。这可以通过简单的 GET 请求和从_source 属性中提取值来实现。

获得第一个索引的数据后，就可以用它来查询第二个索引。这是通过terms 查询完成的，您可以在查询中指定要匹配的字段和值。

下面就是一个例子：

在本例中，field_in_second_index 是第二个索引中要与第一个索引中的值匹配的字段。value1_from_first_index 和value2_from_first_index 是第一个索引中要在第二个索引中匹配的值。

术语查询还支持使用术语查找技术一次性完成上述两个步骤。Elasticsearch 会以透明方式从另一个索引中检索要匹配的值。例如，如果您有一个包含球员列表的球队索引：

如下图所示，可以通过人员索引查询在 team1 队中比赛的所有人员：

在上面的示例中，Elasticsearch 会以透明方式从球队索引中 id 为 team1 的文档中检索球员姓名（即"john"、"bill "和 "michael"），并查找人物索引中所有在姓名字段中包含这些值的文档。

对于那些好奇的人来说，等价的 SQL 查询应该是这样的：

使用浓缩处理器

enrich 处理器是另一个可用于连接 Elasticsearch 中两个索引的强大工具。该处理器通过添加来自预定义丰富索引的数据来丰富输入文件的数据。

下面介绍如何使用浓缩处理器连接两个索引：

1.首先，您需要创建一个浓缩策略。该策略定义了使用哪个索引来丰富输入文档、匹配哪个字段以及使用哪个字段来丰富输入文档。

下面就是一个例子：

2.创建策略后，需要执行该策略，以便根据新创建的策略创建 enrich 索引：

这将建立一个新的隐藏浓缩索引，在浓缩过程中使用。根据源索引的大小，这一操作可能需要一些时间。在进行下一步之前，请确保充实政策已完全制定。

3.建立丰富策略后，就可以在摄取管道中使用丰富处理器来丰富传入文档的数据：

在本例中，field_in_second_index 是第二个索引中需要与第一个索引中的match_field 匹配的字段。enriched_field 是第二个索引中的新字段，将包含第一个索引enrich_fields 中的丰富数据。

这种方法的一个缺点是，如果first_index 中的数据发生变化，则需要重新执行浓缩策略。丰富索引不会自动更新或同步源索引。但是，如果first_index 相对稳定，那么这种方法就很有效。

Logstash elasticsearch 过滤器插件

如果使用 Logstash，另一个与上述enrich 处理器类似的选项是使用elasticsearch 过滤器插件，根据指定的查询将相关字段添加到事件中。Logstash 管道的配置位于.conf 文件中，如my-pipeline.conf 。

假设我们的管道使用elasticsearch 输入插件从 Elasticsearch 中提取日志，并通过查询缩小选择范围：

如果我们想用给定索引的信息来丰富这些信息，可以使用filter 部分的elasticsearch 过滤器插件来丰富我们的日志：

上述代码将从索引index_name 中查找文件，其中type 为起始值，操作字段与指定的opid 匹配，然后将@timestamp 字段的值复制到名为started 的新字段中。

然后，丰富的文档将被发送到适当的输出源，在本例中是使用elasticsearch 输出插件发送到 Elasticsearch：

如果您已经在使用 Logstash，该选项可能有助于将丰富逻辑整合到一个地方，并在新事件发生时进行处理。但是，如果您不这样做，就会增加解决方案的复杂性，而且您还需要运行和维护另一个组件。

ES|QL ENRICH

在 8.14 版本中引入的ES|QL 是 Elasticsearch 支持的管道式查询语言，可用于过滤、转换和分析数据。使用 ENRICH 处理命令，我们就可以使用丰富策略从现有索引中添加数据。

以原浓缩处理器示例中的相同策略my_enrich_policy 为例，ES|QL 示例如下：

也可以覆盖匹配字段和丰富字段，在我们的例子中分别是field_in_first_index 和field_to_enrich ：

虽然 ES|QL 的明显限制是需要先指定丰富策略，但 ES|QL 确实提供了根据需要调整字段的灵活性。

es|ql 查找连接

Elasticsearch 8.18 引入了一种在 Elasticsearch 中连接索引的新方法，即LOOKUP JOIN 命令。该命令在连接的右侧使用新的查找索引模式，以 SQL 风格的 LEFT OUTER JOIN 方式运行。

再看我们之前的例子，新的查询如下，其中match_field 需要同时出现在first_index 和second_index 中：

与其他方法相比，LOOKUP JOIN 的优势在于它不需要任何enrich 策略，因此也不需要与设置策略相关的额外处理。与本文讨论的其他方法不同，它在处理经常变化的丰富数据时非常有用。

结论

总之，虽然 Elasticsearch 不支持传统的连接操作，但它提供了各种功能，可用于实现类似的结果。具体来说，我们介绍了如何使用连接操作：

1. terms 查询

2. enrich 摄录流水线中的处理器

3. Logstashelasticsearch 过滤器插件

4. ES|QL ENRICH

5. ES|QL LOOKUP JOIN

需要注意的是，这些方法都有其局限性，应根据具体要求和数据性质谨慎使用。

准备工作

与本系列的第一部分一样，本示例也需要以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用Go 文档中推荐的结构和软件包管理创建自己的 Go 仓库

3. 创建自己的 Elasticsearch 集群，其中包含一组 基于啮齿类动物的页面 ，包括维基百科中与我们友好的 Gopher 的 页面 ：

连接到 Elasticsearch

提醒一下，在我们的示例中，我们将使用 Go 客户端提供的Typed API。要为任何查询建立安全连接，都需要使用以下两种方法之一配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云

2. 群集 URL、用户名、密码和证书

连接到位于 Elastic Cloud 上的集群的过程如下：

然后，client 连接可用于搜索，这将在随后的章节中演示。

手动增强混合搜索

在组合任何一组搜索算法时，传统的方法是手动配置常量，以提高每种查询类型的效率。具体来说，为每个查询指定一个因子，然后将组合结果集与预期结果集进行比较，以确定查询的召回率。然后，我们对几组因子进行重复计算，选出最接近理想状态的因子。

例如，在两种查询类型中都指定Boost 字段，就可以将系数为0.8 的单一文本搜索查询与系数为0.2 的较低 knn 查询结合起来，如下例所示：

Boost 选项中为每个查询指定的因子会添加到文档得分中。通过将匹配查询的得分提高一个比 knn 查询更大的系数，关键词查询的结果将获得更高的权重。

手动提升的挑战在于，它需要进行调整，以找出能产生理想结果集的因素，这对不是搜索专家的人来说尤其如此。这只是一个尝试随机值的例子，看看什么值更接近你想要的结果集。

混合搜索中的互惠排名融合& Go 客户端

互惠排名融合（RRF）在 Elasticsearch 8.9 混合搜索技术预览版中发布。其目的是降低与调整相关的学习曲线，减少为优化结果集而试验各种因素的时间。

使用 RRF 时，文档得分通过以下算法混合得分重新计算：

使用 RRF 的好处是，我们可以利用 Elasticsearch 中合理的默认值。排序常数k 默认为60 。在对大型数据集进行搜索时，为了在返回文档的相关性和查询性能之间进行权衡，每个考虑过的查询结果集的大小都限制在window_size 的值范围内，默认值为100 ，如文档中所述。

k 和windows_size 也可以在 Go 客户端Rank 方法中的Rrf 配置中进行配置，如下例所示：

结论

在此，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中将向量搜索和关键字搜索结合起来。

查看GitHub 仓库中本系列的所有代码。如果您还没有阅读本系列的所有代码，请查看第 1 部分和第 2 部分。

祝您打地鼠愉快

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 什么是矢量搜索？| 弹性

4. 互惠等级融合

就像动物、编程语言和您友好的作者一样，搜索也经历了不同实践的演变，您可能很难在自己的搜索用例中做出选择。在本博客中，我们将分享矢量搜索的概述，以及使用 Elasticsearch 和 Elasticsearch Go 客户端 的每种方法的 示例 。这些示例将向您展示如何使用 Elasticsearch 和 Go 中的矢量搜索查找地鼠并确定它们吃什么。

准备工作

要学习本示例，请确保满足以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用

3. 创建您自己的 Elasticsearch 集群，其中包含一组基于啮齿动物的页面，包括维基百科中对我们友好的Gopher 的介绍：

连接到 Elasticsearch

在我们的示例中，我们将使用 Go 客户端提供的类型 API。要为任何查询建立安全连接，都需要使用以下两种方法之一配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云）。

2. 集群 URL、用户名、密码和证书。

连接到位于 Elastic Cloud 上的集群的过程如下：

如后续章节所示，client 连接可用于矢量搜索。

向量搜索

矢量搜索试图通过将搜索问题转换为使用矢量的数学比较来解决这一问题。文件嵌入过程还有一个额外的阶段，即使用模型将文件转换成密集的向量表示，或者简单地转换成数字流。这种方法的优势在于，通过将非文本文档（如图像和音频）翻译成矢量并与查询一起进行搜索。

简单地说，矢量搜索是一组矢量距离计算。在下图中，我们将查询Go Gopher的向量表示与向量空间中的文档进行比较，并返回最接近的结果（用常数k 表示）：

根据为文档生成嵌入式的方法，有两种不同的方法可以找出地鼠吃什么。

方法 1：自带模型

有了白金许可，就可以通过上传模型和使用推理 API 在 Elasticsearch 中生成嵌入。建立模型有六个步骤：

1. 从模型库中选择一个 PyTorch 模型上传。在本例中，我们使用 Hugging Face 的句子转换器/msmarco-MiniLM-L-12-v3来生成嵌入。

2. 使用 Elasticsearch 集群的凭据和任务类型text_embeddings ，使用Python 版 Eland 机器学习客户端将模型加载到 Elastic 中。如果没有安装 Eland，可以使用 Docker 运行导入步骤，如下图所示：

1. 上传后，请使用样本文档快速测试模型sentence-transformers__msmarco-minilm-l-12-v3 ，以确保生成的嵌入结果符合预期：

1. 创建包含推理处理器的摄取管道。这将允许使用上传的模型生成矢量表示：

1. 创建一个新索引，其中包含类型为dense_vector 的字段text_embedding.predicted_value ，用于存储为每个文档生成的向量嵌入：

1. 使用新创建的摄取管道重新索引文档，生成文本嵌入作为每个文档的附加字段text_embedding.predicted_value ：

现在，我们可以使用新的索引vector-search-rodents ，在同一个搜索 API 中使用Knn 选项，如下例所示：

通过解分叉转换 JSON 结果对象的方法与关键字搜索示例完全相同。常量K 和NumCandidates 允许我们配置返回的邻接文件数和每个分区要考虑的候选文件数。需要注意的是，增加候选结果的数量会提高结果的准确性，但由于要进行更多的比较，查询的运行时间会更长。

当使用查询What do Gophers eat? 执行代码时，返回的结果与下图类似，突出显示 Gopher 文章包含所需的信息，与之前的关键字搜索不同：

方法 2：拥抱脸推理应用程序接口

另一种方法是在 Elasticsearch 之外生成相同的嵌入，并将其作为文档的一部分进行摄取。由于该选项不使用 Elasticsearch 机器学习节点，因此可以在免费层上完成。

Hugging Face 公开了一个免费使用、有费率限制的推理 API，只要有账户和 API 令牌，就可以手动生成相同的嵌入式数据，用于实验和原型开发，帮助你开始工作。不建议用于生产。也可以使用类似的方法在本地调用自己的模型来生成嵌入，或使用付费 API。

在下面的函数GetTextEmbeddingForQuery 中，我们根据查询字符串使用推理 API 生成从POST 请求端点返回的向量：

生成的[]float32 类型的向量将作为QueryVector 传递，而不是使用QueryVectorBuilder 选项来利用之前上传到 Elastic 的模型。

请注意，无论使用哪两个选项，K 和NumCandidates 选项都是一样的，而且生成的结果也是一样的，因为我们使用的是同一个模型来生成嵌入结果

结论

在此，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中执行矢量搜索。查看GitHub 仓库中本系列的所有代码。请继续阅读第 3 部分，了解如何将矢量搜索与 Go 语言第一部分中的关键字搜索功能相结合。

在此之前，祝您打地鼠愉快！

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 什么是矢量搜索？| 弹性

就像动物、编程语言和您的一位友好作家一样，搜索也经历了不同实践的演变，您可能很难在自己的搜索用例中做出选择。在本博客中，我们将概述传统的关键字搜索，并以使用 Elasticsearch 和 Elasticsearch Go 客户端 为例 进行说明。

准备工作

要学习本示例，请确保满足以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用Go 文档中推荐的结构和软件包管理创建自己的 Go 仓库

3. 创建您自己的 Elasticsearch 集群，其中包含一组 基于啮齿动物的页面 ，包括维基百科中与我们友好的 Gopher 的 页面 ：

连接到 Elasticsearch

在我们的示例中，我们将使用 Go 客户端提供的类型 API。要为任何查询建立安全连接，都需要使用以下任一种方法配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云）。

2. 集群 URL、用户名、密码和证书。

连接到位于 Elastic Cloud 上的集群的过程如下：

如稍后所示，client 连接可用于搜索。

关键词搜索

自 1990 年第一个有文字记载的互联网搜索引擎Archie 诞生以来，关键词搜索就是我们所熟悉的基础搜索类型。

关键词搜索的核心部分是将文件翻译成倒排索引。与教科书后面的索引完全相同，倒排索引包含标记列表与其在每个文档中的位置之间的映射。下图显示了生成索引的关键阶段：

如上所述，Elasticsearch 中令牌的生成包括三个关键阶段：

1. 通过 0 个或多个char_filters 删除不必要的字符。在我们的示例中，我们通过html_strip 过滤器去除body_content 字段中的 HTML 元素。

2. 使用standard 令牌化器 从内容中分割 令牌 ，令牌 化器 会根据间距和关键标点符号进行分割。

3. 使用零个或多个filter 选项，如lowercase token filter 或 stemmersnowball 等词干转换器，从令牌转换器的输出流中移除不需要的令牌或转换令牌，以便将令牌转换回其语言词根。

用 Go 在 Elasticsearch 中搜索

使用 Go 客户端进行查询时，我们要指定要搜索的索引，并传递查询和其他选项，就像下面的示例一样：

在上面的示例中，我们执行了一个标准的match 查询，以查找索引中包含传入函数的指定字符串的任何文档。请注意，我们通过Do(context.Background()) 向搜索执行传递了一个新的空上下文。此外，Elasticsearch 返回的任何错误都会输出到err 属性，以便记录日志和处理错误。

结果以res.Hits.Hits 的形式返回，其中_Source 属性包含 JSON 格式的文档本身。要将该源代码转换为 Go 友好的结构，我们需要使用 Go encoding/json 包对 JSON 响应进行 解码 ，如下例所示：

搜索并取消查询gopher 将如期返回维基百科中有关 Gopher 的页面：

然而，如果我们询问What do Gophers eat? ，就不会得到我们想要的结果：

通过简单的关键字搜索，就能以我们熟悉的方式将结果返回到 Go 应用程序中。它还能很好地进行精确的术语匹配，这与查找特定公司或术语等情况相关。

然而，正如我们在上文所看到的，由于词汇不匹配问题，它在识别上下文和语义方面存在困难。此外，对图像和音频等非文本文件格式的支持也具有挑战性。

结论

在这里，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中执行传统文本查询。鉴于 Go 被广泛用于基础设施脚本和构建网络服务器，因此了解如何用 Go 进行搜索非常有用。

查看GitHub 仓库中本系列的所有代码。请继续阅读第 2 部分，了解矢量搜索的概述以及如何在 Go 中执行矢量搜索。在此之前，祝您打地鼠愉快！

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 了解 Elasticsearch 中的分析（分析器），作者 Bo Andersen | #CodingExplained