准备工作

与本系列的第一部分一样，本示例也需要以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用Go 文档中推荐的结构和软件包管理创建自己的 Go 仓库

3. 创建自己的 Elasticsearch 集群，其中包含一组 基于啮齿类动物的页面 ，包括维基百科中与我们友好的 Gopher 的 页面 ：

连接到 Elasticsearch

提醒一下，在我们的示例中，我们将使用 Go 客户端提供的Typed API。要为任何查询建立安全连接，都需要使用以下两种方法之一配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云

2. 群集 URL、用户名、密码和证书

连接到位于 Elastic Cloud 上的集群的过程如下：

然后，client 连接可用于搜索，这将在随后的章节中演示。

手动增强混合搜索

在组合任何一组搜索算法时，传统的方法是手动配置常量，以提高每种查询类型的效率。具体来说，为每个查询指定一个因子，然后将组合结果集与预期结果集进行比较，以确定查询的召回率。然后，我们对几组因子进行重复计算，选出最接近理想状态的因子。

例如，在两种查询类型中都指定Boost 字段，就可以将系数为0.8 的单一文本搜索查询与系数为0.2 的较低 knn 查询结合起来，如下例所示：

Boost 选项中为每个查询指定的因子会添加到文档得分中。通过将匹配查询的得分提高一个比 knn 查询更大的系数，关键词查询的结果将获得更高的权重。

手动提升的挑战在于，它需要进行调整，以找出能产生理想结果集的因素，这对不是搜索专家的人来说尤其如此。这只是一个尝试随机值的例子，看看什么值更接近你想要的结果集。

混合搜索中的互惠排名融合& Go 客户端

互惠排名融合（RRF）在 Elasticsearch 8.9 混合搜索技术预览版中发布。其目的是降低与调整相关的学习曲线，减少为优化结果集而试验各种因素的时间。

使用 RRF 时，文档得分通过以下算法混合得分重新计算：

使用 RRF 的好处是，我们可以利用 Elasticsearch 中合理的默认值。排序常数k 默认为60 。在对大型数据集进行搜索时，为了在返回文档的相关性和查询性能之间进行权衡，每个考虑过的查询结果集的大小都限制在window_size 的值范围内，默认值为100 ，如文档中所述。

k 和windows_size 也可以在 Go 客户端Rank 方法中的Rrf 配置中进行配置，如下例所示：

结论

在此，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中将向量搜索和关键字搜索结合起来。

查看GitHub 仓库中本系列的所有代码。如果您还没有阅读本系列的所有代码，请查看第 1 部分和第 2 部分。

祝您打地鼠愉快

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 什么是矢量搜索？| 弹性

4. 互惠等级融合

就像动物、编程语言和您友好的作者一样，搜索也经历了不同实践的演变，您可能很难在自己的搜索用例中做出选择。在本博客中，我们将分享矢量搜索的概述，以及使用 Elasticsearch 和 Elasticsearch Go 客户端 的每种方法的 示例 。这些示例将向您展示如何使用 Elasticsearch 和 Go 中的矢量搜索查找地鼠并确定它们吃什么。

准备工作

要学习本示例，请确保满足以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用

3. 创建您自己的 Elasticsearch 集群，其中包含一组基于啮齿动物的页面，包括维基百科中对我们友好的Gopher 的介绍：

连接到 Elasticsearch

在我们的示例中，我们将使用 Go 客户端提供的类型 API。要为任何查询建立安全连接，都需要使用以下两种方法之一配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云）。

2. 集群 URL、用户名、密码和证书。

连接到位于 Elastic Cloud 上的集群的过程如下：

如后续章节所示，client 连接可用于矢量搜索。

向量搜索

矢量搜索试图通过将搜索问题转换为使用矢量的数学比较来解决这一问题。文件嵌入过程还有一个额外的阶段，即使用模型将文件转换成密集的向量表示，或者简单地转换成数字流。这种方法的优势在于，通过将非文本文档（如图像和音频）翻译成矢量并与查询一起进行搜索。

简单地说，矢量搜索是一组矢量距离计算。在下图中，我们将查询Go Gopher的向量表示与向量空间中的文档进行比较，并返回最接近的结果（用常数k 表示）：

根据为文档生成嵌入式的方法，有两种不同的方法可以找出地鼠吃什么。

方法 1：自带模型

有了白金许可，就可以通过上传模型和使用推理 API 在 Elasticsearch 中生成嵌入。建立模型有六个步骤：

1. 从模型库中选择一个 PyTorch 模型上传。在本例中，我们使用 Hugging Face 的句子转换器/msmarco-MiniLM-L-12-v3来生成嵌入。

2. 使用 Elasticsearch 集群的凭据和任务类型text_embeddings ，使用Python 版 Eland 机器学习客户端将模型加载到 Elastic 中。如果没有安装 Eland，可以使用 Docker 运行导入步骤，如下图所示：

1. 上传后，请使用样本文档快速测试模型sentence-transformers__msmarco-minilm-l-12-v3 ，以确保生成的嵌入结果符合预期：

1. 创建包含推理处理器的摄取管道。这将允许使用上传的模型生成矢量表示：

1. 创建一个新索引，其中包含类型为dense_vector 的字段text_embedding.predicted_value ，用于存储为每个文档生成的向量嵌入：

1. 使用新创建的摄取管道重新索引文档，生成文本嵌入作为每个文档的附加字段text_embedding.predicted_value ：

现在，我们可以使用新的索引vector-search-rodents ，在同一个搜索 API 中使用Knn 选项，如下例所示：

通过解分叉转换 JSON 结果对象的方法与关键字搜索示例完全相同。常量K 和NumCandidates 允许我们配置返回的邻接文件数和每个分区要考虑的候选文件数。需要注意的是，增加候选结果的数量会提高结果的准确性，但由于要进行更多的比较，查询的运行时间会更长。

当使用查询What do Gophers eat? 执行代码时，返回的结果与下图类似，突出显示 Gopher 文章包含所需的信息，与之前的关键字搜索不同：

方法 2：拥抱脸推理应用程序接口

另一种方法是在 Elasticsearch 之外生成相同的嵌入，并将其作为文档的一部分进行摄取。由于该选项不使用 Elasticsearch 机器学习节点，因此可以在免费层上完成。

Hugging Face 公开了一个免费使用、有费率限制的推理 API，只要有账户和 API 令牌，就可以手动生成相同的嵌入式数据，用于实验和原型开发，帮助你开始工作。不建议用于生产。也可以使用类似的方法在本地调用自己的模型来生成嵌入，或使用付费 API。

在下面的函数GetTextEmbeddingForQuery 中，我们根据查询字符串使用推理 API 生成从POST 请求端点返回的向量：

生成的[]float32 类型的向量将作为QueryVector 传递，而不是使用QueryVectorBuilder 选项来利用之前上传到 Elastic 的模型。

请注意，无论使用哪两个选项，K 和NumCandidates 选项都是一样的，而且生成的结果也是一样的，因为我们使用的是同一个模型来生成嵌入结果

结论

在此，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中执行矢量搜索。查看GitHub 仓库中本系列的所有代码。请继续阅读第 3 部分，了解如何将矢量搜索与 Go 语言第一部分中的关键字搜索功能相结合。

在此之前，祝您打地鼠愉快！

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 什么是矢量搜索？| 弹性

就像动物、编程语言和您的一位友好作家一样，搜索也经历了不同实践的演变，您可能很难在自己的搜索用例中做出选择。在本博客中，我们将概述传统的关键字搜索，并以使用 Elasticsearch 和 Elasticsearch Go 客户端 为例 进行说明。

准备工作

要学习本示例，请确保满足以下前提条件：

1. 安装 Go 1.21 或更高版本

2. 使用Go 文档中推荐的结构和软件包管理创建自己的 Go 仓库

3. 创建您自己的 Elasticsearch 集群，其中包含一组 基于啮齿动物的页面 ，包括维基百科中与我们友好的 Gopher 的 页面 ：

连接到 Elasticsearch

在我们的示例中，我们将使用 Go 客户端提供的类型 API。要为任何查询建立安全连接，都需要使用以下任一种方法配置客户端：

1. 云 ID 和 API 密钥（如果使用弹性云）。

2. 集群 URL、用户名、密码和证书。

连接到位于 Elastic Cloud 上的集群的过程如下：

如稍后所示，client 连接可用于搜索。

关键词搜索

自 1990 年第一个有文字记载的互联网搜索引擎Archie 诞生以来，关键词搜索就是我们所熟悉的基础搜索类型。

关键词搜索的核心部分是将文件翻译成倒排索引。与教科书后面的索引完全相同，倒排索引包含标记列表与其在每个文档中的位置之间的映射。下图显示了生成索引的关键阶段：

如上所述，Elasticsearch 中令牌的生成包括三个关键阶段：

1. 通过 0 个或多个char_filters 删除不必要的字符。在我们的示例中，我们通过html_strip 过滤器去除body_content 字段中的 HTML 元素。

2. 使用standard 令牌化器 从内容中分割 令牌 ，令牌 化器 会根据间距和关键标点符号进行分割。

3. 使用零个或多个filter 选项，如lowercase token filter 或 stemmersnowball 等词干转换器，从令牌转换器的输出流中移除不需要的令牌或转换令牌，以便将令牌转换回其语言词根。

用 Go 在 Elasticsearch 中搜索

使用 Go 客户端进行查询时，我们要指定要搜索的索引，并传递查询和其他选项，就像下面的示例一样：

在上面的示例中，我们执行了一个标准的match 查询，以查找索引中包含传入函数的指定字符串的任何文档。请注意，我们通过Do(context.Background()) 向搜索执行传递了一个新的空上下文。此外，Elasticsearch 返回的任何错误都会输出到err 属性，以便记录日志和处理错误。

结果以res.Hits.Hits 的形式返回，其中_Source 属性包含 JSON 格式的文档本身。要将该源代码转换为 Go 友好的结构，我们需要使用 Go encoding/json 包对 JSON 响应进行 解码 ，如下例所示：

搜索并取消查询gopher 将如期返回维基百科中有关 Gopher 的页面：

然而，如果我们询问What do Gophers eat? ，就不会得到我们想要的结果：

通过简单的关键字搜索，就能以我们熟悉的方式将结果返回到 Go 应用程序中。它还能很好地进行精确的术语匹配，这与查找特定公司或术语等情况相关。

然而，正如我们在上文所看到的，由于词汇不匹配问题，它在识别上下文和语义方面存在困难。此外，对图像和音频等非文本文件格式的支持也具有挑战性。

结论

在这里，我们讨论了如何使用 Elasticsearch Go 客户端 在 Elasticsearch 中执行传统文本查询。鉴于 Go 被广泛用于基础设施脚本和构建网络服务器，因此了解如何用 Go 进行搜索非常有用。

查看GitHub 仓库中本系列的所有代码。请继续阅读第 2 部分，了解矢量搜索的概述以及如何在 Go 中执行矢量搜索。在此之前，祝您打地鼠愉快！

资源

1. Elasticsearch 指南

2. Elasticsearch Go 客户端

3. 了解 Elasticsearch 中的分析（分析器），作者 Bo Andersen | #CodingExplained