Elasticsearchを埋め込みストアとして使用したLangChain4j

Elasticsearch を実際に体験してみましょう。サンプルノートブックを詳しく調べたり、Elastic の無料クラウドトライアルを開始したり、今すぐローカルマシンで Elastic を試したりできます。

前回の投稿では、LangChain4j とは何か、またどのように使用するかについて説明しました。

LLMとChatLanguageModelを実装して議論する ChatMemory
チャット履歴をメモリに保持して、LLMとの以前の議論の文脈を思い出す

このブログ投稿では、次の方法について説明します。

テキスト例からベクトル埋め込みを作成する
ベクトル埋め込みをElasticsearch埋め込みストアに保存する
類似ベクトルを検索

埋め込みを作成する

埋め込みを作成するには、使用するEmbeddingModelを定義する必要があります。たとえば、前回の投稿で使用したのと同じミストラルモデルを使用できます。それは ollama で実行されていました:

モデルはテキストからベクトルを生成できます。ここで、モデルによって生成された次元の数を確認できます。

テキストからベクトルを生成するには、以下を使用します。

または、テキスト、価格、発売日などに基づいてフィルタリングできるようにメタデータも提供したい場合は、 Metadata.from()使用できます。たとえば、ここではゲーム名をメタデータフィールドとして追加しています。

このコードを実行する場合は、 Step5EmbedddingsTest.javaクラスをチェックアウトしてください。

ベクトルを保存するためにElasticsearchを追加する

LangChain4j はメモリ内の埋め込みストアを提供します。これは簡単なテストを実行するのに便利です:

しかし、明らかに、このデータストアはすべてをメモリに保存し、サーバーに無限のメモリがないため、これよりもはるかに大きなデータセットでは機能しません。そのため、代わりに、定義上「弾性」があり、データに合わせてスケールアップおよびスケールアウトできる Elasticsearch に埋め込みを保存することができます。そのためには、Elasticsearch をプロジェクトに追加しましょう。

お気づきのとおり、Elasticsearch TestContainers モジュールもプロジェクトに追加したので、テストから Elasticsearch インスタンスを起動できます。

Elasticsearch を埋め込みストアとして使用するには、LangChain4j のインメモリデータストアから Elasticsearch データストアに切り替えるだけです。

これにより、Elasticsearch のdefaultインデックスにベクトルが保存されます。インデックス名をより意味のあるものに変更することもできます。

このコードを実行する場合は、 Step6ElasticsearchEmbedddingsTest.javaクラスをチェックアウトしてください。