David Pilato - Elasticsearch Labs

Elasticsearchを埋め込みストアとして使用したLangChain4j

David Pilato — Tue, 08 Oct 2024 00:00:00 GMT

前回の投稿では、LangChain4j とは何か、またどのように使用するかについて説明しました。

LLMとChatLanguageModelを実装して議論する ChatMemory
チャット履歴をメモリに保持して、LLMとの以前の議論の文脈を思い出す

このブログ投稿では、次の方法について説明します。

テキスト例からベクトル埋め込みを作成する
ベクトル埋め込みをElasticsearch埋め込みストアに保存する
類似ベクトルを検索

埋め込みを作成する

埋め込みを作成するには、使用するEmbeddingModelを定義する必要があります。たとえば、前回の投稿で使用したのと同じミストラルモデルを使用できます。それは ollama で実行されていました:

EmbeddingModel model = OllamaEmbeddingModel.builder() .baseUrl(ollama.getEndpoint()) .modelName(MODEL_NAME) .build();

モデルはテキストからベクトルを生成できます。ここで、モデルによって生成された次元の数を確認できます。

Logger.info("Embedding model has {} dimensions.", model.dimension()); // This gives: Embedding model has 4096 dimensions.

テキストからベクトルを生成するには、以下を使用します。

Response response = model.embed("A text here");

または、テキスト、価格、発売日などに基づいてフィルタリングできるようにメタデータも提供したい場合は、 Metadata.from()使用できます。たとえば、ここではゲーム名をメタデータフィールドとして追加しています。

TextSegment game1 = TextSegment.from(""" The game starts off with the main character Guybrush Threepwood stating "I want to be a pirate!" To do so, he must prove himself to three old pirate captains. During the perilous pirate trials, he meets the beautiful governor Elaine Marley, with whom he falls in love, unaware that the ghost pirate LeChuck also has his eyes on her. When Elaine is kidnapped, Guybrush procures crew and ship to track LeChuck down, defeat him and rescue his love. """, Metadata.from("gameName", "The Secret of Monkey Island")); Response response1 = model.embed(game1); TextSegment game2 = TextSegment.from(""" Out Run is a pseudo-3D driving video game in which the player controls a Ferrari Testarossa convertible from a third-person rear perspective. The camera is placed near the ground, simulating a Ferrari driver's position and limiting the player's view into the distance. The road curves, crests, and dips, which increases the challenge by obscuring upcoming obstacles such as traffic that the player must avoid. The object of the game is to reach the finish line against a timer. The game world is divided into multiple stages that each end in a checkpoint, and reaching the end of a stage provides more time. Near the end of each stage, the track forks to give the player a choice of routes leading to five final destinations. The destinations represent different difficulty levels and each conclude with their own ending scene, among them the Ferrari breaking down or being presented a trophy. """, Metadata.from("gameName", "Out Run")); Response response2 = model.embed(game2);

このコードを実行する場合は、 Step5EmbedddingsTest.javaクラスをチェックアウトしてください。

ベクトルを保存するためにElasticsearchを追加する

LangChain4j はメモリ内の埋め込みストアを提供します。これは簡単なテストを実行するのに便利です:

EmbeddingStore embeddingStore = new InMemoryEmbeddingStore<>(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

しかし、明らかに、このデータストアはすべてをメモリに保存し、サーバーに無限のメモリがないため、これよりもはるかに大きなデータセットでは機能しません。そのため、代わりに、定義上「弾性」があり、データに合わせてスケールアップおよびスケールアウトできる Elasticsearch に埋め込みを保存することができます。そのためには、Elasticsearch をプロジェクトに追加しましょう。

dev.langchain4j langchain4j-elasticsearch ${langchain4j.version} org.testcontainers elasticsearch 1.20.1 test

お気づきのとおり、Elasticsearch TestContainers モジュールもプロジェクトに追加したので、テストから Elasticsearch インスタンスを起動できます。

// Create the elasticsearch container ElasticsearchContainer container = new ElasticsearchContainer("docker.elastic.co/elasticsearch/elasticsearch:8.15.0") .withPassword("changeme"); // Start the container. This step might take some time... container.start(); // As we don't want to make our TestContainers code more complex than // needed, we will use login / password for authentication. // But note that you can also use API keys which is preferred. final CredentialsProvider credentialsProvider = new BasicCredentialsProvider(); credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("elastic", "changeme")); // Create a low level Rest client which connects to the elasticsearch container. client = RestClient.builder(HttpHost.create("https://" + container.getHttpHostAddress())) .setHttpClientConfigCallback(httpClientBuilder -> { httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider); httpClientBuilder.setSSLContext(container.createSslContextFromCa()); return httpClientBuilder; }) .build(); // Check the cluster is running client.performRequest(new Request("GET", "/"));

Elasticsearch を埋め込みストアとして使用するには、LangChain4j のインメモリデータストアから Elasticsearch データストアに切り替えるだけです。

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .restClient(client) .build(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

これにより、Elasticsearch のdefaultインデックスにベクトルが保存されます。インデックス名をより意味のあるものに変更することもできます。

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .indexName("games") .restClient(client) .build(); embeddingStore.add(response1.content(), game1); embeddingStore.add(response2.content(), game2);

このコードを実行する場合は、 Step6ElasticsearchEmbedddingsTest.javaクラスをチェックアウトしてください。

類似ベクトルを検索

類似のベクトルを検索するには、まず、以前使用したのと同じモデルを使用して、質問をベクトル表現に変換する必要があります。すでにそれを行ったので、もう一度これを行うのは難しくありません。この場合、メタデータは必要ないことに注意してください。

String question = "I want to pilot a car"; Embedding questionAsVector = model.embed(question).content();

質問をこのように表現して検索リクエストを作成し、埋め込みストアに最初の上位ベクトルを見つけるように依頼することができます。

EmbeddingSearchResult result = embeddingStore.search( EmbeddingSearchRequest.builder() .queryEmbedding(questionAsVector) .build());

これで、結果を反復処理して、メタデータから取得したゲーム名やスコアなどの情報を出力できます。

result.matches().forEach(m -> Logger.info("{} - score [{}]", m.embedded().metadata().getString("gameName"), m.score()));

予想どおり、最初のヒットは「Out Run」になります。

Out Run - score [0.86672974] The Secret of Monkey Island - score [0.85569763]

このコードを実行する場合は、 Step7SearchForVectorsTest.javaクラスをチェックアウトしてください。

舞台裏

Elasticsearch Embedding ストアのデフォルト構成では、バックグラウンドで近似 kNN クエリが使用されます。

POST games/_search { "query" : { "knn": { "field": "vector", "query_vector": [-0.019137882, /* ... */, -0.0148779955] } } }

ただし、埋め込みストアにデフォルトの構成 ( ElasticsearchConfigurationKnn ) とは別の構成 ( ElasticsearchConfigurationScript ) を提供することでこれを変更できます。

EmbeddingStore embeddingStore = ElasticsearchEmbeddingStore.builder() .configuration(ElasticsearchConfigurationScript.builder().build()) .indexName("games") .restClient(client) .build();

ElasticsearchConfigurationScript実装は、script_score cosineSimilarity関数を使用して、バックグラウンドでクエリを実行します。

基本的に、電話をかけるときは:

EmbeddingSearchResult result = embeddingStore.search( EmbeddingSearchRequest.builder() .queryEmbedding(questionAsVector) .build());

これにより、次のコードが呼び出されます。

POST games/_search { "query": { "script_score": { "script": { "source": "(cosineSimilarity(params.query_vector, 'vector') + 1.0) / 2", "params": { "queryVector": [-0.019137882, /* ... */, -0.0148779955] } } } } }

この場合、結果は「順序」の点では変化せず、スコアのみが調整されます。これは、 cosineSimilarity呼び出しでは近似値を使用せず、一致するベクトルごとにコサインを計算するためです。

Out Run - score [0.871952] The Secret of Monkey Island - score [0.86380446]

このコードを実行する場合は、 Step7SearchForVectorsTest.javaクラスをチェックアウトしてください。

まとめ

テキストから埋め込みを簡単に生成する方法と、2 つの異なるアプローチを使用して Elasticsearch で最も近い近傍を保存および検索する方法について説明しました。

デフォルトのElasticsearchConfigurationKnnオプションを使用して、近似高速knnクエリを使用する
正確だが遅いscript_scoreクエリをElasticsearchConfigurationScriptオプションとともに使用する

次のステップでは、ここで学んだことを基に、完全な RAG アプリケーションを構築します。

LangChain4j を導入して、LLM の Java アプリケーションへの統合を簡素化します。

David Pilato — Mon, 23 Sep 2024 00:00:00 GMT

LangChain4j フレームワークは、次の目標を掲げて 2023 年に作成されました。

LangChain4j の目標は、LLM を Java アプリケーションに簡単に統合することです。

LangChain4j は次の標準的な方法を提供します:

与えられたコンテンツ（例えばテキスト）から埋め込み（ベクトル）を作成する
埋め込みを埋め込みストアに保存する
埋め込みストア内の類似ベクトルを検索する
LLMと議論する
チャットメモリを使用して、LLMとの議論の文脈を記憶する

このリストは網羅的なものではなく、LangChain4j コミュニティは常に新しい機能を実装しています。

この投稿では、フレームワークの最初の主要部分について説明します。

プロジェクトにLangChain4j OpenAIを追加する

すべての Java プロジェクトと同様に、これは依存関係の問題にすぎません。ここでは Maven を使用しますが、他の依存関係マネージャーでも同じことを実現できます。

ここで構築するプロジェクトの最初のステップとして、OpenAI を使用するので、 langchain4j-open-aiアーティファクトを追加するだけです。

0.34.0 dev.langchain4j langchain4j-open-ai ${langchain4j.version}

残りのコードでは、 OpenAIにアカウントを登録することで取得できる独自の API キー、またはデモ目的でのみ LangChain4j プロジェクトによって提供される API キーを使用します。

static String getOpenAiApiKey() { String apiKey = System.getenv(API_KEY_ENV_NAME); if (apiKey == null || apiKey.isEmpty()) { Logger.warn("Please provide your own key instead using [{}] env variable", API_KEY_ENV_NAME); return "demo"; } return apiKey; }

これで ChatLanguageModel のインスタンスを作成できます。

ChatLanguageModel model = OpenAiChatModel.withApiKey(getOpenAiApiKey());

そして最後に、簡単な質問をして答えを得ることができます。

String answer = model.generate("Who is Thomas Pesquet?"); Logger.info("Answer is: {}", answer);

与えられた答えは次のようになります:

Thomas Pesquet is a French aerospace engineer, pilot, and European Space Agency astronaut. He was selected as a member of the European Astronaut Corps in 2009 and has since completed two space missions to the International Space Station, including serving as a flight engineer for Expedition 50/51 in 2016-2017. Pesquet is known for his contributions to scientific research and outreach activities during his time in space.

このコードを実行する場合は、 Step1AiChatTest.javaクラスを確認してください。

langchain4jでより多くのコンテキストを提供する

langchain4jアーティファクトを追加しましょう:

dev.langchain4j langchain4j ${langchain4j.version}

これは、アシスタントを構築するために、より高度な LLM 統合を構築するのに役立つツールセットを提供します。ここでは、先ほど定義したChatLanguageModelを自動的に呼び出すchatメソッドを提供するAssistantインターフェイスを作成します。

interface Assistant { String chat(String userMessage); }

LangChain4j AiServicesクラスにインスタンスを構築するよう依頼するだけです。

Assistant assistant = AiServices.create(Assistant.class, model);

次に、 chat(String)メソッドを呼び出します。

String answer = assistant.chat("Who is Thomas Pesquet?"); Logger.info("Answer is: {}", answer);

これは以前と同じ動作になります。では、なぜコードを変更したのでしょうか?まず第一に、よりエレガントですが、それ以上に、シンプルな注釈を使用して LLM にいくつかの指示を与えることができるようになりました。

interface Assistant { @SystemMessage("Please answer in a funny way.") String chat(String userMessage); }

これにより、次のようになります:

Ah, Thomas Pesquet is actually a super secret spy disguised as an astronaut! He's out there in space fighting aliens and saving the world one spacewalk at a time. Or maybe he's just a really cool French astronaut who has been to the International Space Station. But my spy theory is much more exciting, don't you think?

このコードを実行する場合は、 Step2AssistantTest.javaクラスを確認してください。

別のLLMへの切り替え：langchain4j-ollama

素晴らしいOllamaプロジェクトを利用できます。LLM を自分のマシン上でローカルに実行するのに役立ちます。

langchain4j-ollamaアーティファクトを追加しましょう:

dev.langchain4j langchain4j-ollama ${langchain4j.version}

テストを使用してサンプルコードを実行しているので、プロジェクトにTestcontainers を追加しましょう。

org.testcontainers ollama 1.20.1 test

Docker コンテナを起動/停止できるようになりました。

static String MODEL_NAME = "mistral"; static String DOCKER_IMAGE_NAME = "langchain4j/ollama-" + MODEL_NAME + ":latest"; static OllamaContainer ollama = new OllamaContainer( DockerImageName.parse(DOCKER_IMAGE_NAME).asCompatibleSubstituteFor("ollama/ollama")); @BeforeAll public static void setup() { ollama.start(); } @AfterAll public static void teardown() { ollama.stop(); }

先ほど使用したOpenAiChatModelではなく、 modelオブジェクトをOllamaChatModelに変更するだけです。

OllamaChatModel model = OllamaChatModel.builder() .baseUrl(ollama.getEndpoint()) .modelName(MODEL_NAME) .build();

モデルを含むイメージを取得するのに多少時間がかかる場合がありますが、しばらくすると答えが得られることに注意してください。

Oh, Thomas Pesquet, the man who single-handedly keeps the French space program running while sipping on his crisp rosé and munching on a baguette! He's our beloved astronaut with an irresistible accent that makes us all want to learn French just so we can understand him better. When he's not floating in space, he's probably practicing his best "je ne sais quoi" face for the next family photo. Vive le Thomas Pesquet! 🚀🌍🇫🇷 #FrenchSpaceHero

メモリがあればさらに良くなる

複数の質問をした場合、デフォルトではシステムは以前の質問と回答を記憶しません。最初の質問の後に「彼はいつ生まれたのですか？」と尋ねると、私たちのアプリケーションは次のように答えます:

Oh, you're asking about this legendary figure from history, huh? Well, let me tell you a hilarious tale! He was actually born on Leap Year's Day, but only every 400 years! So, do the math... if we count backwards from 2020 (which is also a leap year), then he was born in... *drumroll please* ...1600! Isn't that a hoot? But remember folks, this is just a joke, and historical records may vary.

それはナンセンスだ。代わりに、チャットメモリを使用する必要があります。

ChatMemory chatMemory = MessageWindowChatMemory.withMaxMessages(10); Assistant assistant = AiServices.builder(Assistant.class) .chatLanguageModel(model) .chatMemory(chatMemory) .build();

同じ質問を実行すると、意味のある答えが得られます。

Oh, Thomas Pesquet, the man who was probably born before sliced bread but after dinosaurs! You know, around the time when people started putting wheels on suitcases and calling it a revolution. So, roughly speaking, he came into this world somewhere in the late 70s or early 80s, give or take a year or two - just enough time for him to grow up, become an astronaut, and make us all laugh with his space-aged antics! Isn't that a hoot? *laughs maniacally*

まとめ

次の投稿では、Elasticsearch を埋め込みストアとして使用して、プライベートデータセットに質問する方法を説明します。これにより、アプリケーション検索を次のレベルに引き上げる方法が得られます。