ハイブリッド検索とは？

ハイブリッド検索は、個々の検索方法の弱点を軽減しつつ、単一のパイプラインでそれぞれの強みを活用します。最新のAIは、テキスト、画像、音声、ログなど多様なモダリティを処理し、意図とデータを橋渡しする必要があります。関連性はこれまで以上に重要になっています。例えば、eコマースの場合の検索エクスペリエンスはユーザーが結果をすばやくフィルタリングして絞り込むことができれば成功しますが、AIエージェントは、質問に回答したりアクションを実行したりするために、関連性の高い1つの回答を必要とすることがよくあります。そのため、今日では検索技術を組み合わせて最適化する能力が重要になり、この能力が従来の検索結果だけでなく、正確でデータに基づいた応答を提供する会話エージェントも支援しています。

ハイブリッド検索についてさらに詳しく見る前に、語彙検索とセマンティック検索がどう異なり、なぜ互いを補完するのかを簡単に確認しましょう。

語彙検索は、構造化データが整っており、ユーザーが探しているものがわかっている場合に理想的です。正確な用語を一致させるため、非常に正確かつ説明可能であり、BM25Fのような関連性スコアリングアルゴリズムを用いてクエリ語の頻度や稀度で文書をランク付けします。このアプローチは透明なスコアリングを提供し、フィールドブースト、同義語、アナライザーを通じて微調整された関連性をサポートします。モデルのオーバーヘッドがないため、語彙検索は高速で効率的で、フィルターとファセットを使用し、規模を拡大しても速度低下やフルインデックススキャンなしで確実に動作します。特に構造化クエリ、希な用語、ドメイン固有の言語に効果的です。

語彙検索クエリの簡単な例を示します。

GET example-index/_search
{
    "query": {
        "term": {
            "text": "blue shoes"
        }
    }
}

Elasticsearch クエリ言語（ES|QL）を使用した料理ブログの同様の語彙検索の例も見てみましょう。ブログには、テキストコンテンツ、カテゴリカルデータ、数値評価など、さまざまな属性を持つレシピが含まれています。

FROM cooking_blog METADATA _score
| WHERE description:"fluffy pancakes"
| KEEP title, description, _score
| SORT _score DESC
| LIMIT 1000

このクエリは、「fluffy」または「pancakes」（またはその両方）を含むドキュメントのdescriptionフィールドを検索します。デフォルトでは、ES|QLは検索語間でORロジックを用い、指定された単語を含む文書に一致します。KEEPコマンドを使用して検索結果に含めるフィールドを正確に指定し、_scoreメタデータを要求して検索結果をクエリとの一致度でランク付けできます。

この実践的なチュートリアルで語彙検索についてさらに学びましょう。

セマンティック検索 は、語彙検索のように正確な用語を一致させるのではなく、クエリと文書の意味の類似性に基づいて結果を取得します。

埋め込みモデルは、テキストやその他のメディアの意味をベクトルと呼ばれる数値表現に変換します。これらのベクトル（数字のリスト）は、テキストの基本的なコンテキストやトピックを捉え、Elasticsearchのようなベクトルデータベースに格納されます。

これにより、検索エンジンは、クエリと全く同じ単語がない場合でも、概念的に類似した結果を見つけることができます。

このアプローチは、非構造化データ、探索的クエリ、ユーザーが使用すべき正確な用語を知らない場合に特に役立ちます。開発者は、セマンティック検索を活用して、より関連性の高い結果を提供し、曖昧、冗長、または不明瞭な表現を処理しながら、適切な回答を提示できます。

以下はセマンティック検索クエリの例です。

GET example-index/_search
{
  "query": {
    "semantic": {
      "field": "inference_field",
      "query": "blue waterproof trail runners with great grip and a wide toe box"
    }
  }
}

ES|QLは、マッピングにsemantic_textタイプのフィールドが含まれている場合、セマンティック検索をサポートします。推論エンドポイント上で動作する基盤モデルが文書を処理した後、セマンティック検索を実行できます。以下は、semantic_descriptionフィールドに対する自然言語クエリの例です。

FROM cooking_blog METADATA _score
| WHERE semantic_description:"簡単に調理できて栄養価の高いプラントベースの食事にはどのようなものがありますか？"
| SORT _score DESC
| LIMIT 5

セマンティック検索について詳しく学ぶか、この実践的なチュートリアルでさらに深く理解しましょう。

語彙アルゴリズム（BM25Fなど）は、クエリ用語がドキュメント用語と一致する場合には高い精度を実現しますが、関連コンテンツが異なる表現で表現されている場合には失敗します。（例えば、「athletic footwear」のクエリは、「shoes」や「trail runner」とだけ書かれた文書を見逃してしまうかもしれません。）セマンティックベクトル検索は、高次元の埋め込みと近似近傍（ANN）アルゴリズム（例：HNSW）を使用して、正確な用語の重複に関係なく概念的に類似したドキュメントを取得しますが、コンテキストが曖昧な場合はノイズが発生することがあります。

この両方の長所を組み合わせたのがハイブリッド検索です。適切に実行すれば、ハイブリッド検索は単なる各部分の合計以上の効果を発揮し、語彙検索やセマンティック検索のみよりもはるかに優れた結果を生成できます。ハイブリッド検索はこの両方を兼ね備え、バランスの取れた関連性、より良い正規化割引累積利得（NDCG）、そして2つ目の検索システムの追加なしに再現性を実現できます。

以下はハイブリッド検索クエリの例です。

GET example-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "term": {
                "description": "shoes"
              }
            }
          }
        },
        {
          "knn": {
            "field": "vector",
            "query_vector": [1.25, 2, 3.5],
            "k": 50,
            "num_candidates": 100
          }
        }
      ],
      "rank_constant": 20,
      "rank_window_size": 50
    }
  }
}

ES|QLでは全文クエリとセマンティッククエリを組み合わせることも可能です。この例では、全文検索とセマンティック検索をカスタムの重み付けで組み合わせています。

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"shoes") | SORT _score DESC | LIMIT 50)
       ( WHERE knn(vector, [1.25, 2, 3.5], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 50 ) // k for knn is derived from LIMIT
| FUSE RRF WITH { "rank_constant": 20 }
| SORT _score DESC   
| LIMIT 50

ハイブリッド検索クエリを実行するには、通常、少なくとも1つの語彙検索と1つのセマンティック検索を実行し、それらの結果を組み合わせます。主な課題は、複数のランク付けされたリストを単一の一貫性のあるランキングに統合することです。

BM25FやTF-IDFなどのアルゴリズムによって生成される語彙検索スコアは無制限で、最大値は用語の出現頻度や文書の分布の影響を受けます。対照的に、セマンティック検索のスコアは、通常、類似性関数（例：余弦類似度の場合[0, 2]）によって決定される一定の範囲内に収まります。

これらを結合するには、取得したドキュメントの相対的な関連性を維持する融合方法が必要です。

Elasticsearchを用いたハイブリッド検索は、標準的なキーワードクエリとベクトルクエリを組み合わせたり、リトリーバー（複数の異なるタイプのクエリを実行し、それらの結果を選択したスコアリング方式で単一のランク付けリストに統合する検索オプション）を使用することで実装できます。これにより、1 回の検索呼び出し内で多段階の取得パイプラインが可能になり、結果を結合するための複数のリクエストや追加のクライアント側ロジックが不要になります。

Elasticsearchには、逆順位融合（RRF）と線形結合（APIでは線形リトリーバーと呼ばれることが多い）という2つの融合手法が組み込まれています。どちらも各リトリーバーの長所を維持した統一されたランキングを作成することを目指していますが、スコアの扱い方や最も効果的なタイミングが異なります。

逆順位融合は、生のスコアを完全に無視し、各リストでドキュメントがどの程度上位に表示されるかに焦点を当てます。リストの上位にランク付けされたドキュメントには大きな報酬が与えられ、複数のリストに表示されるドキュメントには追加のブーストが加えられます。この方法は、互換性のないスコア範囲に関する問題を回避し、ランク定数を超える調整をほとんど必要とせず、上位の結果の多様性を自然に促進するため、堅牢です。

RRFは、次の式を使用して結果セット内のランクに応じてドキュメントにスコアを付けます。ここで、kは、ランクの低いドキュメントの重要度を調整するための任意の定数です。

RRFは、リトリーバーが上位の結果と重複している場合や、開発者がラベル付きのトレーニングデータや複雑なキャリブレーションを必要としないプラグアンドプレイソリューションを必要とする場合に特に役立ちます。

対照的に、線形結合は各リトリーバーからの実際のスコアを直接結合します。語彙スコアと意味スコアは非常に異なるスケールで動作するため、線形ではスコアを比較可能な範囲にするために、最小最大スケーリングなどの正規化が必要です。

正規化された後、各リトリーバーの相対的な重要度を表す重みを使用してスコアがブレンドされます。重みが1より大きい場合はリトリーバーの影響力が上がり、重みが1より小さい場合は影響力が下がります。

このアプローチできめ細かな制御が可能になります。開発者は、キーワードの精度が重要な場合はBM25Fを強調し、意図やコンテキストが重要な場合はセマンティックの類似性を重視したり、検索スコアと一緒に追加のビジネスやパーソナライゼーションのシグナルを統合したりできます。重みが慎重に調整された場合、線形結合はRRFよりも正確で予測可能なランキングを生成することで優れた性能を発揮しますが、実験が必要であり、データセット固有の調整に敏感です。

線形結合は、それぞれの重みとβ（0 ≤α, β）を持つ語彙検索結果とセマンティック検索結果を組み合わせ、次のようになります。

実践においては、RRFはシンプルであり、不一致なスコアスケールに対する耐性があるため、ハイブリッド検索の最適な出発点となります。大幅な調整を行わなくても強力な結果を生成でき、プロトタイプ作成や検索が重複する場合に理想的です。線形結合は、異なる検索方法が別々の結果を返す場合や、語彙、意味、外部信号を慎重にバランスさせる必要がある場合に適しています。つまり、RRFはすぐに使える高速で信頼性の高いハイブリッド化を提供し、一方で線形はアプリケーションとデータに合わせて重みと正規化を調整することで、より高い精度を潜在的に提供します。

要約すると以下のようになります。

つまり、線形結合は調整すると潜在的な精度が高くなりますが、RRFは実装が簡単で、ラベル付けされたトレーニングデータがなくても機能します。

ハイブリッド検索についてさらに学ぶには、このチュートリアルをお試しください。

Elasticsearchのセマンティック検索は、クエリやドキュメントを意味を表すベクトル表現に変換することで機能します。ハイブリッド検索は、高密度モデルと低密度なモデルのどちらを使用しても、語彙検索とセマンティック検索を組み合わせます。

[
  0.13586345314979553,
  -0.6291824579238892,
  0.32779985666275024,
  0.36690405011177063,
  ...
]

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "knn": { 
            "field": "title_vector",
            "query_vector": [0.1, 3.2, 2.1],
            "k": 5,
            "num_candidates": 100
          }
        }
      ]
    }
  }
}

FROM my-index METADATA _score
| FORK ( WHERE match(text_field:"fox") | SORT _score DESC | LIMIT 5)
       ( WHERE knn(image_vector, [0.1, 3.2, 2.1], { "min_candidates" : 100 }) | SORT _score DESC | LIMIT 5 )
| FUSE
| SORT _score DESC

POST my-index/_search
{
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "standard": { 
            "query": {
              "match": {
                "text_field": "fox"
              }
            }
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

POST my-index/_search
{
  "_source": false,
  "fields": [ "text_field" ],
  "retriever": {
    "rrf": { 
      "retrievers": [ 
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [0.1, 3.2, ..., 2.1],
            "k": 5,
            "num_candidates": 100
          }
        },
        {
          "standard": { 
            "query": {
              "sparse_vector": {
                "field": "ml.tokens",
                "inference_id": ".elser_model_1",
                "query": "a quick brown fox jumps over a lazy dog"
              }
            }
          }
        }
      ]
    }
  }
}

GET my-index/_search
{
  "retriever": {
    "rrf": {
      "retrievers": [
        {
          "standard": {
            "query": {
              "match": {
                "text": {
                  "query": "snowy mountain"
                }
              }
            }
          }
        },
        {
          "knn": {
            "field": "image_vector",
            "query_vector": [
              0.01,
              0.3,
              -0.4
            ],
            "k": 10,
            "num_candidates": 100
          }
        },
        {
          "standard": {
            "query": {
              "semantic": {
                "field": "semantic_text",
                "query": "snowy mountain"
              }
            }
          }
        }
      ],
      "rank_window_size": 50,
      "rank_constant": 60
    }
  }
}

FROM my-index METADATA _score
| FORK (WHERE match(text, "snowy mountain") | SORT _score DESC | LIMIT 50)
       (WHERE knn(image_vector, [0.01, 0.3, -0.4], {"min_candidates": 100 }) | SORT _score DESC | LIMIT 50)
       (WHERE match(semantic_text, "snowy mountain") | SORT _score DESC | LIMIT 50)
| FUSE RRF WITH {"rank_constant": 60 } // 60はデフォルト値？
| SORT _score DESC
| LIMIT 50

ハイブリッド検索は、全文検索の精度とセマンティック検索のコンテキスト範囲を組み合わせ、多様なコンテンツに対してより正確で関連性の高い結果を提供します。高密度モデルと低密度モデルの両方をサポートし、線形結合や逆順位融合（RRF）のような柔軟な融合方法を提供することで、クエリとベクトルを直接ペアリングする場合でも、リトリーバーを使用した多段階検索を効率化するユースケースでも、検索をカスタマイズできます。この柔軟性により、ハイブリッド検索は複雑なクエリ、多様なデータ、厳しい関連性要件に対応する強力なアプローチとなっています。

このブログでは、ハイブリッド検索の概要、Elasticsearch がサポートするクエリタイプ、そしてその構築方法について説明します。

ベクトルを超えて先に進みませんか？ElasticsearchのLLMエージェントによるインテリジェントなハイブリッド検索をご覧ください。

実際に使ってみる準備はできましたか？ハイブリッド検索チュートリアルに従って全文とkNNの結果を組み合わせるか、ES|QL チュートリアルを試してES|QLを使用して検索とフィルタリングしてみましょう。