什么是混合搜索？

1. 词汇检索：BM25F 将查询词项与已索引的词元进行匹配——非常适合精确匹配、结构化筛选和可解释评分。
2. 语义检索：向量（密集或稀疏）表示文本含义；相似性搜索能发现即使没有共同词语的相关内容。
3. 融合：使用 RRF、加权混合或线性检索器合并分数。筛选器和权重提升会一致地应用于两种检索。

密集向量是由像 BERT 这样的模型产生的固定长度数字数组，其中相似的输入（例如 cat 和 kitten）在向量空间中位置接近，这使得它们对于语义匹配、推荐和相似性搜索非常有效。

当文本以密集向量形式嵌入时，它看起来像这样：

[
  0.13586345314979553,
  -0.6291824579238892,
  0.32779985666275024,
  0.36690405011177063,
  ...
]

每个维度都包含有意义的信息，使得向量数据密集。相似的内容产生的嵌入在向量空间中彼此靠近。

在 Elasticsearch 中，密集向量存储在 dense_vector 字段中，并使用近似最近邻 (ANN) 算法（如 HNSW）进行查询。这非常适合捕捉文本、图像或其他内容的整体语义。

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "knn": { 
            "field": "title_vector",
            "query_vector": [0.1, 3.2, 2.1],
            "k": 5,
            "num_candidates": 100
          }
        }
      ]
    }
  }
}

这是一个 ES|QL 示例：

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"fox") | SORT _score DESC | LIMIT 5)
       ( WHERE knn(image_vector, [0.1, 3.2, 2.1], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 5 )
| FUSE
| SORT _score DESC

如上所示，混合搜索查询只是利用了 rrf 检索器，该检索器结合了使用标准检索器进行的词汇搜索查询（例如，匹配查询）和在 knn 检索器中指定的向量搜索查询。此查询的作用是首先在全局级别检索前五个向量匹配项，然后将它们与词汇匹配项结合，最后返回 10 个最佳匹配结果。rrf 检索器使用 RRF 排序来结合向量匹配和词汇匹配。

密集嵌入并不是进行语义搜索的唯一方式。

稀疏向量主要包含零值，只有少数带权重的值与可解释的词项相关联，这使得它们在资源利用上高效、可解释，并且在零样本场景中有效。

稀疏向量表示如下：

{"f1":1.2,"f2":0.3,… }

在 Elasticsearch 中，Elastic Learned Sparse EncodeR (ELSER) 是一个域外稀疏自然语言处理 (NLP) 模型，它将文本扩展为语义相关的词项并分配权重，从而实现超越精确关键词的匹配，同时保持可解释性。

此外，semantic_text 字段通过在索引时自动处理嵌入生成和推理，使语义搜索变得像传统文本搜索一样简单。您可以像文本字段一样索引文档，并运行简单的匹配查询——即使是跨字段类型不同的索引——无需额外的查询逻辑即可获得词汇和语义匹配项。如需高级控制，可以在同一字段上使用 knn 或 sparse_vector 查询。

ELSER 示例：

• 预训练词汇量约为 30000 个词项
• 存储为 sparse_vector（词项/权重对）
• 通过 semantic_text 在索引时自动生成，或利用推理摄取处理器在索引时自动生成
• 通过倒排索引（类似于词汇搜索）进行查询，使其高效、易于筛选且可解释

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

密集向量和稀疏向量共同提供了灵活性：密集向量擅长捕捉细微的含义，而稀疏向量则提供透明性和可扩展性，适用于实际搜索。

看看 ELSER 的文本扩展如何帮助您获得更好的结果：

到目前为止，我们已经看到了运行混合搜索的两种不同方式，具体取决于搜索的是密集向量空间还是稀疏向量空间。我们可以在同一个索引内混合使用密集和稀疏数据。

POST my-index/_search
{
  "_source": false,
  "fields": [ "text_field" ],
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [0.1, 3.2, ..., 2.1],
            "k": 5,
            "num_candidates": 100
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

此示例结合了三个检索器，并使用 RRF 融合它们的排序列表：

• BM25F（匹配文本）：精确的关键词/短语匹配（“snowy mountain”）
• kNN（image_vector）：使用提供的图像嵌入进行视觉相似性搜索（ k 个结果来自 num_candidates）
• 语义（semantic_text）：通过查询的语义扩展进行概念匹配

rank_window_size 控制融合结果的数量；rank_constant 平衡每个列表的贡献。

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "text": {
                  "query": "snowy mountain"
                }
              }
            }
          }
        },
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [
              0.01,
              0.3,
              -0.4
            ],
            "k": 10,
            "num_candidates": 100
          }
        },
        {
          "standard": {
            "query": {
              "semantic": {
                "field": "semantic_text",
                "query": "snowy mountain"
              }
            }
          }
        }
      ],
      "rank_window_size": 50,
      "rank_constant": 60
    }
  }
}

让我们也看一个类似的 ES|QL 示例：

FROM my-index METADATA _score
| FORK (WHERE match(text, "snowy mountain") | SORT _score DESC | LIMIT 50)
       (WHERE knn(image_vector, [0.01, 0.3, -0.4], {"min_candidates": 100 }) | SORT _score DESC | LIMIT 50)
       (WHERE match(semantic_text, "snowy mountain") | SORT _score DESC | LIMIT 50)
| FUSE RRF WITH {"rank_constant": 60 } // 60 is the default anyway?
| SORT _score DESC
| LIMIT 50