AIエージェント開発におけるMicrosoftセマンティックカーネル向けElasticsearch Vector Store Connectorの使い方

Elasticsearchは、業界をリードする生成AIツールやプロバイダーとネイティブに統合されています。RAG応用編やElasticベクトルデータベースで本番環境対応のアプリを構築する方法についてのウェビナーをご覧ください。

ユースケースに最適な検索ソリューションを構築するには、無料のクラウドトライアルを始めるか、ローカルマシンでElasticを試してみてください。

Microsoft Semantic Kernel チームと連携して、 Microsoft Semantic Kernel (.NET) ユーザー向けに Semantic Kernel Elasticsearch Vector Store Connector が利用可能になったことを発表します。セマンティックカーネルは、ベクターストアからのより関連性の高いデータ駆動型の応答を使用して大規模言語モデル (LLM) を強化する機能など、エンタープライズグレードの AI エージェントの構築を簡素化します。Semantic Kernel は、Elasticsearch などの Vector Stores と対話するためのシームレスな抽象化レイヤーを提供し、レコードのコレクションの作成、一覧表示、削除や、個々のレコードのアップロード、取得、削除などの重要な機能を提供します。

すぐに使用できるセマンティックカーネル Elasticsearch ベクターストアコネクタは、セマンティックカーネルベクターストアの抽象化をサポートしており、開発者は AI エージェントの構築時に Elasticsearch をベクターストアとしてプラグインすることが非常に簡単になります。

Elasticsearch はオープンソースコミュニティに強固な基盤を持ち、最近AGPL ライセンスを採用しました。これらのツールは、オープンソースの Microsoft Semantic Kernel と組み合わせることで、強力なエンタープライズ対応ソリューションを提供します。このコマンドcurl -fsSL https://elastic.co/start-local | sh (詳細についてはstart-localを参照) を実行して数分で Elasticsearch を起動し、ローカルで開始できます。その後、AI エージェントを本番稼働させながら、クラウドホストバージョンまたはセルフホストバージョンに移行できます。

このブログでは、Semantic Kernel を使用する際にSemantic Kernel Elasticsearch Vector Store Connector を使用する方法について説明します。コネクタの Python バージョンは将来提供される予定です。

高レベルのシナリオ: Semantic Kernel と Elasticsearch を使用した RAG アプリの構築

次のセクションでは例を見ていきます。大まかに言うと、ユーザーの質問を入力として受け取り、回答を返す RAG (Retrieval Augmented Generation) アプリケーションを構築しています。LLM として Azure OpenAI (ローカル LLMも使用可能)、ベクターストアとして Elasticsearch、すべてのコンポーネントを結び付けるフレームワークとして Semantic Kernel (.net) を使用します。

RAG アーキテクチャに精通していない場合は、次の記事で簡単に概要を把握できます: https://www.elastic.co/search-labs/blog/retrieval-augmented-generation-rag 。

回答は、Elasticsearch vectorstore から取得され、質問に関連するコンテキストが入力する LLM によって生成されます。応答には、LLM によってコンテキストとして使用されたソースも含まれます。

RAGの例

この具体的な例では、社内のホテルデータベースに保存されているホテルについてユーザーが質問できるアプリケーションを構築します。ユーザーは例えばさまざまな基準に基づいて特定のホテルを検索したり、ホテルのリストを要求したりできます。

サンプルデータベースでは、100 件のエントリを含むホテルのリストを生成しました。コネクタのデモをできるだけ簡単に試せるように、サンプルサイズは意図的に小さくなっています。実際のアプリケーションでは、特に非常に大量のデータを扱う場合、Elasticsearch コネクタは `InMemory` ベクトルストア実装などの他のオプションよりも優位性を発揮します。

完全なデモアプリケーションは、Elasticsearch ベクターストアコネクタリポジトリにあります。

まず、必要な NuGet パッケージと using ディレクティブをプロジェクトに追加することから始めましょう。

これで、データモデルを作成し、セマンティックカーネル固有の属性を指定して、ストレージモデルスキーマとテキスト検索のヒントを定義できるようになりました。

ストレージモデルスキーマ属性 (`VectorStore*`) は、Elasticsearch Vector Store Connector の実際の使用に最も関連しています。具体的には次のようになります。

VectorStoreRecordKey レコードクラスのプロパティを、ベクトルストアにレコードが格納されるキーとしてマークします。
VectorStoreRecordData レコードクラスのプロパティを 'data' としてマークします。
VectorStoreRecordVector レコードクラスのプロパティをベクトルとしてマークします。

これらの属性はすべて、ストレージモデルをさらにカスタマイズするために使用できるさまざまなオプションパラメーターを受け入れます。たとえば、 VectorStoreRecordKey の場合、異なる距離関数や異なるインデックスタイプを指定することが可能です。

テキスト検索属性 ( TextSearch* ) は、この例の最後のステップで重要になります。これらについては後ほど説明します。

次のステップでは、セマンティックカーネルエンジンを初期化し、コアサービスへの参照を取得します。実際のアプリケーションでは、サービスコレクションに直接アクセスするのではなく、依存性注入を使用する必要があります。同じことがハードコードされた構成とシークレットにも当てはまります。これらは、代わりに構成プロバイダーを使用して読み取る必要があります。

vectorStoreCollectionサービスを使用してコレクションを作成し、いくつかのデモレコードを取り込むことができるようになりました。

これは、セマンティックカーネルが、複雑なベクトルストアの使用を、いくつかの単純なメソッド呼び出しにまで削減する方法を示しています。

内部的には、Elasticsearch に新しいインデックスが作成され、必要なすべてのプロパティマッピングが作成されます。その後、データセットは完全に透過的にストレージモデルにマッピングされ、最終的にインデックスに保存されます。以下は Elasticsearch でのマッピングの様子です。

embeddings.GenerateEmbeddingsAsync()は、構成された Azure AI Embeddings Generation サービスを透過的に呼び出しました。

このデモの最後のステップでは、さらに多くの魔法が観察できます。

InvokePromptAsyncを 1 回呼び出すだけで、ユーザーがデータについて質問したときに、次のすべての操作が実行されます。

1.ユーザーの質問の埋め込みが生成される

2. ベクトルストアで関連するエントリを検索する

3. クエリの結果はプロンプトテンプレートに挿入されます

4. 最終プロンプトの形式で実際のクエリがAIチャット補完サービスに送信されます。

以前データモデルで定義したTextSearch*属性を覚えていますか?これらの属性により、プロンプトテンプレート内の対応するプレースホルダーを使用できるようになります。これらのプレースホルダーには、ベクターストア内のエントリからの情報が自動的に入力されます。

「屋上バーがあるホテルをすべて教えてください。」という質問に対する最終的な回答は次のとおりです。

答えは、hotels.csvの次のエントリを正しく参照しています。

この例は、Microsoft Semantic Kernel を使用すると、よく考えられた抽象化によって複雑さが大幅に軽減され、非常に高いレベルの柔軟性が実現されることを示しています。たとえば、コードの 1 行を変更するだけで、コードの他の部分をリファクタリングすることなく、使用されているベクトルストアまたは AI サービスを置き換えることができます。

同時に、このフレームワークは、`InvokePrompt` 関数やテンプレート、検索プラグインシステムなどの膨大な高レベル機能を提供します。

完全なデモアプリケーションは、Elasticsearch ベクターストアコネクタリポジトリにあります。

Elasticsearchで他に何ができるのか

Elasticsearch とセマンティックカーネル: 次は何?

.NET で GenAI アプリケーションを構築する際に、Elasticsearch ベクターストアを Semantic Kernel に簡単にプラグインする方法を示しました。次回の Python 統合にご期待ください。
Semantic Kernel はハイブリッド検索などの高度な検索機能の抽象化を構築するため、Elasticsearch Connect を使用すると、.NET 開発者は Semantic Kernel を使用しながらそれらを簡単に実装できるようになります。