ファセット検索: AI を活用して検索範囲と結果を改善する

Elasticsearchは、業界をリードする生成AIツールやプロバイダーとネイティブに統合されています。RAG応用編やElasticベクトルデータベースで本番環境対応のアプリを構築する方法についてのウェビナーをご覧ください。

ユースケースに最適な検索ソリューションを構築するには、無料のクラウドトライアルを始めるか、ローカルマシンでElasticを試してみてください。

この記事では、人工知能 (AI)、特に GPT-4 などの高度な言語モデルを使用することで、よりコンテキストに沿ったファセットを作成し、ユーザーにとってさらに関連性と有用性を高めることができる方法について説明します。

ファセット検索は、電子商取引プラットフォームにおける強力なツールです。表示されるアイテムの特性に基づいて検索結果を整理および絞り込むのに役立ちます。フィルターと混同されることがよくありますが、ファセットの動作は異なります。フィルターは、製品のカテゴリや形式など、インデックスに常に存在する情報によって定義される固定属性です。一方、ファセットは動的であり、実行された検索によって返された結果から生成されます。

衣料品のカタログを想像してください。「カテゴリ」（例：T シャツ、ズボン）や「性別」（例：男性、女性）などのフィールドは、結果を絞り込むのに役立つフィルターです。ただし、ファセットは、一般的な色、利用可能なサイズ、素材など、結果に表示される製品の特定の特性を反映します。これにより、より適応性の高いコンテキストに応じた検索エクスペリエンスが可能になります。

以下は、ファセットを操作し、ファセットによってフィルタリングされた検索結果を確認できる画像です。

AIがファセット生成を改善する方法

人工知能は、セマンティック検索や埋め込みと関連付けられることが多いですが、ファセットについてはどうでしょうか?AI を活用して、ファセットをより便利にし、各検索のコンテキストに特化したものにするにはどうすればよいでしょうか?

興味深い可能性の 1 つは、AI を使用して、インデックスの従来の分類を超えた新しい分類を作成することです。コンテンツの特定の特性を分析することにより、これらの新しいカテゴリは、より豊富で正確なコンテキスト化を提供でき、ファセットの関連性が高まり、ユーザーのニーズに合致したものになります。これにより、元のドキュメントカテゴリと比較して、結果をより意味のあるものに絞り込むことができます。

AIが映画の分類を改善し、より良い検索を実現する方法

現在ドラマのジャンルに分類されている以下の映画を分析してみましょう。

レクイエム・フォー・ドリーム
概要: コニーアイランドに住む 4 人の薬物依存者のユートピアは、中毒が深刻化して崩壊します。
アメリカン・ビューティー
概要: 郊外に住む性的欲求不満の父親は、娘の親友に夢中になったことで中年の危機に陥る。
『グッド・ウィル・ハンティング』
履歴書: MIT の清掃員であるウィル・ハンティングは数学の才能に恵まれていますが、人生の方向性を見つけるために心理学者の助けが必要です。

このジャンル分類では、各映画の微妙な違いや独自の背景を捉えることができません。AI を活用してあらすじや中心テーマを分析することで、各映画の真の文脈をよりよく反映する新しいカテゴリを作成できます。例えば：

レクイエム・フォー・ドリーム - 新カテゴリー：「依存症と依存」
アメリカン・ビューティー - 新カテゴリー：「中年の危機」
『グッド・ウィル・ハンティング』 - 新カテゴリー：「知的闘争」

これらの新しいカテゴリにより、検索の精度が大幅に向上し、結果を絞り込むためのより有意義なフィルターがユーザーに提供されます。このアプローチは、元のカテゴリが過度に一般的な場合に特に効果的であり、ユーザーが探しているものを簡単に見つけることができます。

GPT-4 で新しいカテゴリを作成する: ファセット検索の例

この例では、AI モデルを使用して、より正確で各作品のコンテキストに合わせた新しい映画カテゴリを作成する方法を示します。このプロセスをデモンストレーションするために、Elastic シミュレーションパイプラインを OpenAI 推論サービスと組み合わせて使用します。推論プロセッサで実行されるプロンプトを作成し、新しいカテゴリを決定できるスクリプトプロセッサを含む、複数のプロセッサを持つパイプラインが作成されます。他のプロセッサは、パイプライン実行中に生成されたデータおよび補助フィールドを操作するために使用されます。このロジックは他の同様のツールやモデルにも適用できることは言及する価値があります。

まず、推論エンドポイントを作成し、OpenAI としてのサービス、サービスにアクセスするために必要なトークン、およびモデルを定義する必要があります。この例では、gpt-4o-mini を使用しています。OpenAI 推論サービスの詳細については、ここをクリックしてください。

エンドポイントが作成されたので、それを使用して新しいカテゴリを作成する準備が整いました。以下は、ドキュメントデータの操作とプロンプト生成のプロセス全体を処理するパイプラインです。各プロセッサの機能について詳しく説明します。

最初のプロセッサはプロンプトの構築を担当します。AI がトピックを正しく分析して識別できるように、指示を明確に詳細に記述することが非常に重要です。このプロンプトでは、映画のタイトル、説明、ジャンルの分析に基づいて 2 つのトピックを要求しています。

次のパイプラインは推論パイプラインで、プロンプトを受信して generate_topics_iaエンドポイントに送信します。モデルによって生成された応答は結果フィールドに保存されます。

次に、作成した一時フィールドを削除するだけでなく、応答を操作してトピックフィールドに設定するために使用される 3 つのプロセッサがあります。

このパイプラインを実行すると、以下の結果が得られます。

いくつかは元々同じジャンルですが、映画のコンテキストにさらに関連した新しいカテゴリがあることに注意してください。

これで、これらの新しいカテゴリを使用して、ドキュメントと一緒にインデックスを作成できるようになりました。このように、ファセットを生成する際に、主要なカテゴリに加えて、映画のコンテキストに合わせたより具体的なサブカテゴリが作成されます。

さらに、これらの新しいカテゴリをベクトル化し、ベクトル検索で使用することもできます。つまり、新しいカテゴリはフィルターとして機能するだけでなく、検索用語との意味上の類似性を計算するためにも使用できるため、表示される結果の関連性がさらに高まります。

完全なパイプライン:

まとめ

AI を使用してファセットを改善すると、結果がより具体的かつ文脈的になり、検索エクスペリエンスを変革できます。多くの場合、範囲が広い固定カテゴリとは異なり、AI 生成のカテゴリはコンテキストをより適切に反映できます。たとえば、映画を再分類する場合、主要なカテゴリでは見逃されていたコンテキストを捉えて、より関連性の高いグループ化を提供できます。

これらの新しいカテゴリをインデックスに追加すると、ファセットが改善されるだけでなく、ベクター検索も可能になります。その結果、コンテキストに合わせたフィルターを使用した、より効率的な検索エクスペリエンスが実現します。