<![CDATA[Carly Richmond - Elasticsearch Labs]]> <![CDATA[Carly Richmond - Elasticsearch Labs]]> https://static-www.elastic.co/v3/assets/bltefdd0b53724fa2ce/blt1121c0bf0e8a6e65/6a88da6340a1841030ef456f/search-labs-thumbnail.png https://www.elastic.co/jp/search-labs/author/carly-richmond https://www.elastic.co/jp/search-labs/author/carly-richmond Mon, 21 Sep 2026 17:01:29 GMT <![CDATA[Elasticsearchで2つのインデックスを結合する方法]]> Elasticsearch では、2 つのインデックスを結合することは、従来の SQL リレーショナル データベースほど簡単ではありません。ただし、Elasticsearch が提供する特定のテクニックと機能を使用すれば、同様の結果を得ることは可能です。

歴史的に、多くの人々は、異なるインデックスを結合するメカニズムとしてnestedフィールド タイプを使用してきました。しかし、クエリのコストが高く、Kibana、特にLensの視覚化のサポートが不完全であるため、制限がありました。

この記事では、Elasticsearch で 2 つのインデックスを結合するプロセスを詳しく説明し、次のアプローチに焦点を当てます。

  1. termsクエリの使用

  2. 取り込みパイプラインでenrichプロセッサを使用する

  3. Logstash elasticsearchフィルター プラグイン

  4. ES|QL ENRICH

  5. ES|QL LOOKUP JOIN

用語クエリの使用

用語クエリは、Elasticsearch で 2 つのインデックスを結合する最も効果的な方法の 1 つです。このクエリは、特定のフィールドに 1 つ以上の正確な用語を含むドキュメントを取得するために使用されます。ここでは、これを使用して 2 つのインデックスを結合する方法について説明します。

まず、最初のインデックスから必要なデータを取得する必要があります。これは、単純な GET リクエストを使用して_source属性から値を取得することで実行できます。

# Simple GET request GET first_index/_search

最初のインデックスからデータを取得したら、それを使用して 2 番目のインデックスをクエリできます。これは、一致させるフィールドと値を指定するtermsクエリを使用して行われます。

次に例を示します。

GET second_index/_search { "query": { "terms": { "field_in_second_index": ["value1_from_first_index", "value2_from_first_index"] } } }

この例では、 field_in_second_index 、最初のインデックスの値と一致させる 2 番目のインデックスのフィールドです。value1_from_first_indexとvalue2_from_first_index 、2 番目のインデックスで一致させる最初のインデックスの値です。

用語クエリは、用語ルックアップと呼ばれる手法を使用して、上記の 2 つの手順を 1 回のショットで実行するためのサポートも提供します。Elasticsearch は、別のインデックスから一致する値を透過的に取得します。たとえば、プレーヤーのリストを含むチーム インデックスがある場合:

PUT teams/_doc/team1 { "players": ["john", "bill", "michael"] } PUT teams/_doc/team2 { "players": ["aaron", "joe", "donald"] }

以下に示すように、team1 でプレイしているすべての人々の人インデックスをクエリすることができます。

GET people/_search?pretty { "query": { "terms": { "name" : { "index" : "teams", "id" : "team1", "path" : "players" } } } }

上記の例では、Elasticsearchはチームインデックス内のID team1 を持つドキュメントからプレーヤー名を透過的に取得します（つまり、たとえば、「john」、「bill」、「michael」など) を検索し、名前フィールドにこれらの値のいずれかを含む人物インデックス内のすべてのドキュメントを検索します。

興味がある方のために、同等の SQL クエリは次のようになります。

エンリッチプロセッサの使用

enrichプロセッサは、Elasticsearch 内の 2 つのインデックスを結合するために使用できるもう 1 つの強力なツールです。このプロセッサは、事前に定義されたエンリッチ インデックスからデータを追加することで、受信ドキュメントのデータをエンリッチします。

エンリッチ プロセッサを使用して 2 つのインデックスを結合する方法は次のとおりです。

1. まず、エンリッチポリシーを作成する必要があります。このポリシーは、エンリッチメントに使用するインデックス、一致させるフィールド、および受信ドキュメントのエンリッチメントに使用するフィールドを定義します。

次に例を示します。

PUT _enrich/policy/my_enrich_policy { "match": { "indices": "first_index", "match_field": "field_in_first_index", "enrich_fields": ["field_to_enrich"] } }

2. ポリシーが作成されたら、それを実行して、新しく作成されたポリシーからエンリッチ インデックスを作成する必要があります。

PUT _enrich/policy/my_enrich_policy/_execute

これにより、エンリッチメント中に使用される新しい非表示のエンリッチメント インデックスが構築されます。ソース インデックスのサイズによっては、この操作に時間がかかる場合があります。次のステップに進む前に、エンリッチポリシーが完全に構築されていることを確認してください。

3. エンリッチポリシーを構築したら、取り込みパイプラインでエンリッチプロセッサを使用して、受信ドキュメントのデータをエンリッチできます。

PUT _ingest/pipeline/my_pipeline { "processors": [ { "enrich": { "policy_name": "my_enrich_policy", "field": "field_in_second_index", "target_field": "enriched_field" } } ] }

この例では、 field_in_second_index 、最初のインデックスのmatch_fieldと一致する必要がある 2 番目のインデックスのフィールドです。enriched_field 、最初のインデックスのenrich_fieldsから拡張されたデータを格納する、2 番目のインデックスの新しいフィールドです。

このアプローチの欠点の 1 つは、 first_indexのデータが変更された場合、エンリッチ ポリシーを再実行する必要があることです。エンリッチされたインデックスは、その構築元となったソース インデックスから自動的に更新または同期されることはありません。ただし、 first_indexが比較的安定している場合は、このアプローチはうまく機能します。

Logstash elasticsearch フィルター プラグイン

Logstash を使用する場合、上記のenrichプロセッサに似た別のオプションとして、 elasticsearchフィルター プラグインを使用して、指定されたクエリに基づいてイベントに関連フィールドを追加する方法があります。Logstash パイプラインの構成は、 my-pipeline.confなどの.confファイルに保存されます。

パイプラインがelasticsearch入力プラグインを使用して Elasticsearch からログを取得し、選択範囲を絞り込むクエリを実行しているとします。

input { # Read all documents from Elasticsearch matching the given query elasticsearch { hosts => "localhost" query => '{ "query": { "match": { "statuscode": 200 } }, "sort": [ "_doc" ] }' } }

特定のインデックスからの情報を使用してこれらのメッセージを拡充したい場合は、 filterセクションのelasticsearchフィルター プラグインを使用してログを拡充できます。

filter { elasticsearch { hosts => ["localhost"] index => "index_name" query => "type:start AND operation:%{[opid]}" fields => { "@timestamp" => "started" } } }

上記のコードは、インデックスindex_nameから、 typeが開始され、操作フィールドが指定されたopidと一致するドキュメントを検索し、 @timestampフィールドの値をstartedという名前の新しいフィールドにコピーします。

強化されたドキュメントは適切な出力ソース（この場合はelasticsearch出力プラグインを使用して Elasticsearch ）に送信されます。

output { elasticsearch { hosts => "localhost" data_stream => "true" } }

すでに Logstash を使用している場合、このオプションは、エンリッチメント ロジックを 1 か所に統合し、新しいイベントが発生したときに処理するのに役立ちます。ただし、そうでない場合は、ソリューションが複雑になり、実行および保守する必要がある別のコンポーネントが追加されることになります。

ES|QL エンリッチ

バージョン 8.14 で GA となったES|QLは、Elasticsearch でサポートされるパイプ クエリ言語であり、データのフィルタリング、変換、分析を可能にします。ENRICH 処理コマンドを使用すると、エンリッチ ポリシーを使用して既存のインデックスからデータを追加できます。

esql エンリッチ

元のエンリッチ プロセッサの例と同じポリシーmy_enrich_policyを使用すると、ES|QL の例は次のようになります。

一致フィールドとエンリッチメント フィールド (この例ではそれぞれfield_in_first_indexとfield_to_enrichをオーバーライドすることもできます。

明らかな制限は、最初にエンリッチポリシーを指定する必要があることですが、ES|QL では、必要に応じてフィールドを微調整できる柔軟性が提供されます。

ES|QL ルックアップ結合

Elasticsearch 8.18 では、Elasticsearch でインデックスを結合する新しい方法、つまりLOOKUP JOINコマンドが導入されました。このコマンドは、結合の右側にある新しいルックアップ インデックス モードを使用して、SQL スタイルの LEFT OUTER JOIN として動作します。

ES|QL ルックアップ結合

前の例をもう一度見てみると、新しいクエリは次のようになります。ここで、 match_field first_indexとsecond_index両方に存在する必要があります。

LOOKUP JOIN が他のアプローチよりも優れている点は、 enrichポリシーが不要であり、したがってポリシーの設定に関連する追加の処理も必要ないことです。これは、この記事で説明した他のアプローチとは異なり、頻繁に変更されるエンリッチメント データを扱う場合に役立ちます。

まとめ

結論として、Elasticsearch は従来の結合操作をサポートしていませんが、同様の結果を実現するために使用できるさまざまな機能を提供しています。具体的には、以下を使用して結合操作を実現する方法について説明しました。

  1. termsクエリ

  2. 取り込みパイプラインのenrichプロセッサ

  3. Logstash elasticsearchフィルター プラグイン

  4. ES|QL ENRICH

  5. ES|QL LOOKUP JOIN

これらの方法には限界があり、特定の要件とデータの性質に基づいて慎重に使用する必要があることに注意することが重要です。

]]> https://www.elastic.co/search-labs/blog/elasticsearch-join-two-indexes https://www.elastic.co/search-labs/blog/elasticsearch-join-two-indexes Wed, 07 May 2025 00:00:00 GMT <![CDATA[ElasticsearchとGoを使用して、ホリネズミ狩りをハイブリッド検索]]> このシリーズの前回の記事では、Elasticsearch Go クライアントを従来のキーワード検索とベクター検索に使用する方法を説明しました。この第 3 部では、ハイブリッド検索について説明します。Elasticsearch と Elasticsearch Go クライアント を使用して、ベクトル検索とキーワード検索の両方を組み合わせる方法の 例を 紹介します。

要件

このシリーズのパート 1 と同様に、この例では次の前提条件が必要です。

  1. Goバージョン1.21以降のインストール

  2. Go ドキュメントに記載されている推奨構造とパッケージ管理を使用して、独自の Go リポジトリを作成します。

  3. 独自の Elasticsearch クラスターを作成し、Wikipedia のフレンドリーな Gopher を含む、 げっ歯類ベースのページ セットを設定します。

Wikipedia Gopherページ

Elasticsearchへの接続

繰り返しになりますが、私たちの例では、Go クライアントが提供するTyped APIを使用します。クエリに対して安全な接続を確立するには、次のいずれかを使用してクライアントを構成する必要があります。

  1. Elastic Cloud を利用する場合の Cloud ID と API キー

  2. クラスターURL、ユーザー名、パスワード、証明書

Elastic Cloud にあるクラスターに接続すると、次のようになります。

func GetElasticsearchClient() (*elasticsearch.TypedClient, error) { var cloudID = os.Getenv("ELASTIC_CLOUD_ID") var apiKey = os.Getenv("ELASTIC_API_KEY") var es, err = elasticsearch.NewTypedClient(elasticsearch.Config{ CloudID: cloudID, APIKey: apiKey, Logger: &elastictransport.ColorLogger{os.Stdout, true, true}, }) if err != nil { return nil, fmt.Errorf("unable to connect: %w", err) } return es, nil }

後続のセクションで示すように、 client接続は検索に使用できます。

ハイブリッド検索の手動ブースティング

検索アルゴリズムのセットを組み合わせる場合、従来のアプローチでは、各クエリ タイプを強化するために定数を手動で構成していました。具体的には、クエリごとに係数が指定され、結合された結果セットが予想されるセットと比較され、クエリのリコールが決定されます。次に、いくつかの要因セットを繰り返し、希望する状態に最も近いものを選択します。

たとえば、 0.8倍の係数でブーストされた単一のテキスト検索クエリと、 0.2倍の係数が低い knn クエリを組み合わせるには、次の例に示すように、両方のクエリ タイプでBoostフィールドを指定します。

func HybridSearchWithBoost(client *elasticsearch.TypedClient, term string) ([]Rodent, error) { var k = 10 var numCandidates = 10 var knnBoost float32 = 0.2 var queryBoost float32 = 0.8 res, err := client.Search(). Index("vector-search-rodents"). Knn(types.KnnSearch{ Field: "text_embedding.predicted_value", Boost: &knnBoost, K: &k, NumCandidates: &numCandidates, QueryVectorBuilder: &types.QueryVectorBuilder{ TextEmbedding: &types.TextEmbedding{ ModelId: "sentence-transformers__msmarco-minilm-l-12-v3", ModelText: term, }, }}). Query(&types.Query{ Match: map[string]types.MatchQuery{ "title": { Query: term, Boost: &queryBoost, }, }, }). Do(context.Background()) if err != nil { return nil, err } return getRodents(res.Hits.Hits) }

各クエリのBoostオプションで指定された係数がドキュメント スコアに追加されます。一致クエリのスコアを knn クエリよりも大きな係数で増加させることにより、キーワード クエリの結果の重み付けがより大きくなります。

手動によるブースティングの課題は、特に検索の専門家でない場合、望ましい結果セットにつながる要因を見つけ出すために調整が必要になることです。ランダムな値を試してみて、希望する結果セットに近づくかどうかを調べるだけです。

ハイブリッド検索とGoクライアントにおける相互ランク融合

Reciprocal Rank Fusion (RRF) は、Elasticsearch 8.9 のハイブリッド検索のテクニカル プレビューとしてリリースされました。チューニングに関連する学習曲線を短縮し、結果セットを最適化するための要素の実験にかかる時間を短縮することを目的としています。

RRF では、以下のアルゴリズムでスコアをブレンドしてドキュメント スコアが再計算されます。

score := 0.0 // q is a query in the set of queries (vector and keyword search) for _, q := range queries { // result(q) is the results if document in result(q) { // k is a ranking constant (default 60) // rank(result(q), d) is the document's rank within result(q) // range from 1 to the window_size (default 100) score += 1.0 / (k + rank(result(q), d)) } } return score

RRF を使用する利点は、Elasticsearch 内で適切なデフォルト値を利用できることです。ランキング定数kデフォルトは60です。大規模なデータ セットを検索するときに、返されるドキュメントの関連性とクエリ パフォーマンスの間のトレードオフを提供するために、検討される各クエリの結果セットのサイズはwindow_sizeの値に制限されます。この値は、ドキュメントで説明されているように、デフォルトで100になります。

k また、 windows_size 、以下の例のように、Go クライアントのRankメソッド内のRrf構成内で構成することもできます。

func HybridSearchWithRRF(client *elasticsearch.TypedClient, term string) ([]Rodent, error) { var k = 10 var numCandidates = 10 // Minimum required window size for the default result size of 10 var windowSize int64 = 10 var rankConstant int64 = 42 res, err := client.Search(). Index("vector-search-rodents"). Knn(types.KnnSearch{ Field: "text_embedding.predicted_value", K: &k, NumCandidates: &numCandidates, QueryVectorBuilder: &types.QueryVectorBuilder{ TextEmbedding: &types.TextEmbedding{ ModelId: "sentence-transformers__msmarco-minilm-l-12-v3", ModelText: term, }, }}). Query(&types.Query{ Match: map[string]types.MatchQuery{ "title": {Query: term}, }, }). Rank(&types.RankContainer{ Rrf: &types.RrfRank{ WindowSize: &windowSize, RankConstant: &rankConstant, }, }). Do(context.Background()) if err != nil { return nil, err } return getRodents(res.Hits.Hits) }

まとめ

ここでは、 Elasticsearch Go クライアントを使用して Elasticsearch でベクトル検索とキーワード検索を組み合わせる方法について説明しました。

このシリーズのすべてのコードについては、 GitHub リポジトリをご覧ください。まだご覧になっていない方は、このシリーズのすべてのコードについてはパート 1とパート 2をご覧ください。

楽しいホリネズミ狩りを！

各種資料

  1. Elasticsearchガイド

  2. Elasticsearch Goクライアント

  3. ベクトル検索とは何ですか?| 弾性

  4. 相互ランク融合

]]> https://www.elastic.co/search-labs/blog/hybrid-search-with-the-elasticsearch-go-client https://www.elastic.co/search-labs/blog/hybrid-search-with-the-elasticsearch-go-client Thu, 02 Nov 2023 00:00:00 GMT <![CDATA[Elasticsearch Goクライアントを使用してElasticsearchでベクトル検索を実行する]]> Go を含むあらゆるプログラミング言語でソフトウェアを構築することは、生涯にわたる学習に取り組むことです。Carly は大学時代や仕事を通じて、ベクトル検索の最新かつ最高の実装を含む、数多くのプログラミング言語やテクノロジーに携わってきました。しかし、それだけでは十分ではありませんでした!それで最近カーリーも囲碁を始めました。

動物、プログラミング言語、そして親しみやすい著者と同じように、検索もさまざまな方法の進化を遂げており、独自の検索ユースケースに応じてどれを選択するかを決めるのは難しい場合があります。このブログでは、ベクトル検索の概要と、 Elasticsearch および Elasticsearch Go クライアント を使用した各アプローチの 例を 紹介します。これらの例では、Elasticsearch と Go のベクトル検索を使用して、ホリネズミを見つけて、その食べ物を特定する方法を説明します。

要件

この例を実行するには、次の前提条件が満たされていることを確認してください。

  1. Goバージョン1.21以降のインストール

  2. 独自のGoリポジトリを作成する

  3. 独自の Elasticsearch クラスターを作成し、Wikipedia のフレンドリーなGopherを含む一連のげっ歯類ベースのページを設定します。

Wikipedia Gopherページ

Elasticsearchへの接続

この例では、Go クライアントが提供するTyped APIを利用します。クエリに対して安全な接続を確立するには、次のいずれかを使用してクライアントを構成する必要があります。

  1. Elastic Cloud を利用する場合のクラウド ID と API キー。

  2. クラスター URL、ユーザー名、パスワード、証明書。

Elastic Cloud にあるクラスターに接続すると、次のようになります。

func GetElasticsearchClient() (*elasticsearch.TypedClient, error) { var cloudID = os.Getenv("ELASTIC_CLOUD_ID") var apiKey = os.Getenv("ELASTIC_API_KEY") var es, err = elasticsearch.NewTypedClient(elasticsearch.Config{ CloudID: cloudID, APIKey: apiKey, Logger: &elastictransport.ColorLogger{os.Stdout, true, true}, }) if err != nil { return nil, fmt.Errorf("unable to connect: %w", err) } return es, nil }

後続のセクションに示すように、 client接続はベクトル検索に使用できます。

ベクトル検索

ベクトル検索は、検索問題をベクトルを使用した数学的な比較に変換することでこの問題を解決しようとします。ドキュメント埋め込みプロセスには、モデルを使用してドキュメントを高密度ベクトル表現、つまり単純な数値のストリームに変換する追加の段階があります。このアプローチの利点は、画像や音声などのテキスト以外のドキュメントをクエリと一緒にベクトルに変換して検索できることです。

ベクトル探索図

簡単に言えば、ベクトル検索はベクトル距離の計算のセットです。下の図では、クエリGo Gopherのベクトル表現がベクトル空間内のドキュメントと比較され、最も近い結果 (定数kで示される) が返されます。

Gopherベクトル空間の例

ドキュメントの埋め込みを生成するために使用するアプローチに応じて、ホリネズミが何を食べるかを調べる方法が 2 つあります。

アプローチ1: 独自のモデルを持ち込む

Platinum ライセンスでは、モデルをアップロードし、推論 API を使用して Elasticsearch 内で埋め込みを生成できます。モデルの設定には 6 つのステップがあります。

  1. モデル リポジトリからアップロードする PyTorch モデルを選択します。この例では、Hugging Face のsentence-transformers/msmarco-MiniLM-L-12-v3を使用して埋め込みを生成します。

  2. Elasticsearch クラスターとタスク タイプtext_embeddingsの資格情報を使用して、Python 用の Eland Machine Learning クライアントでモデルを Elastic にロードします。Eland がインストールされていない場合は、以下に示すようにDocker を使用してインポート手順を実行できます。

docker run -it --rm --network host \ docker.elastic.co/eland/eland \ eland_import_hub_model \ --cloud-id $ELASTIC_CLOUD_ID \ --es-api-key $ELASTIC_API_KEY \ --hub-model-id sentence-transformers/msmarco-MiniLM-L-12-v3 \ --task-type text_embedding

  1. アップロードしたら、サンプル ドキュメントを使用してモデルsentence-transformers__msmarco-minilm-l-12-v3をすぐにテストし、埋め込みが期待どおりに生成されることを確認します。

Elastic Test トレーニング済みモデルの例

  1. 推論プロセッサを含む取り込みパイプラインを作成します。これにより、アップロードされたモデルを使用してベクター表現を生成できるようになります。

PUT _ingest/pipeline/search-rodents-vector-embedding-pipeline { "processors": [ { "inference": { "model_id": "sentence-transformers__msmarco-minilm-l-12-v3", "target_field": "text_embedding", "field_map": { "body_content": "text_field" } } } ] }

  1. 各ドキュメントに対して生成されたベクトル埋め込みを格納するための、タイプdense_vectorのフィールドtext_embedding.predicted_valueを含む新しいインデックスを作成します。

PUT vector-search-rodents { "mappings": { "properties": { "text_embedding.predicted_value": { "type": "dense_vector", "dims": 384, "index": true, "similarity": "cosine" }, "text": { "type": "text" } } } }

  1. 新しく作成された取り込みパイプラインを使用してドキュメントのインデックスを再作成し、各ドキュメントの追加フィールドtext_embedding.predicted_valueとしてテキスト埋め込みを生成します。

POST _reindex { "source": { "index": "search-rodents" }, "dest": { "index": "vector-search-rodents", "pipeline": "search-rodents-vector-embedding-pipeline" } }

次の例に示すように、新しいインデックスvector-search-rodentsを使用して、同じ検索 API でKnnオプションを使用できるようになりました。

func VectorSearch(client *elasticsearch.TypedClient, term string) ([]Rodent, error) { var k = 10 var numCandidates = 10 res, err := client.Search(). Index("vector-search-rodents"). Knn(types.KnnSearch{ # Field in document containing vector Field: "text_embedding.predicted_value", # Number of neighbors to return K: &k, # Number of candidates to evaluate in comparison NumCandidates: &numCandidates, # Generate query vector using the same model used in the inference processor QueryVectorBuilder: &types.QueryVectorBuilder{ TextEmbedding: &types.TextEmbedding{ ModelId: "sentence-transformers__msmarco-minilm-l-12-v3", ModelText: term, }, }}).Do(context.Background()) if err != nil { return nil, fmt.Errorf("error in rodents vector search: %w", err) } return getRodents(res.Hits.Hits) }

アンマーシャリングによる JSON 結果オブジェクトの変換は、キーワード検索の例とまったく同じ方法で実行されます。定数KとNumCandidates使用すると、返される隣接ドキュメントの数と、シャードごとに考慮する候補の数を設定できます。候補の数を増やすと結果の精度は上がりますが、比較が多く実行されるためクエリの実行時間が長くなることに注意してください。

クエリWhat do Gophers eat?を使用してコードを実行すると、返される結果は以下と同様になり、以前のキーワード検索とは異なり、Gopher の記事に要求された情報が含まれていることが強調表示されます。

[ {ID:64f74ecd4acb3df024d91112 Title:Gopher - Wikipedia Url:https://en.wikipedia.org/wiki/Gopher} {ID:64f74ed34acb3d71aed91fcd Title:Squirrel - Wikipedia Url:https://en.wikipedia.org/wiki/Squirrel} //Other results omitted ]

アプローチ2：ハグフェイス推論API

もう 1 つのオプションは、Elasticsearch の外部で同じ埋め込みを生成し、ドキュメントの一部として取り込むことです。このオプションは Elasticsearch 機械学習ノードを使用しないため、無料利用枠で実行できます。

Hugging Face は、無料で使用できるレート制限付きの推論 API を公開しています。アカウントと API トークンを使用すると、実験やプロトタイピングを開始するために同じ埋め込みを手動で生成できます。実稼働環境での使用は推奨されません。同様のアプローチを使用して、ローカルで独自のモデルを呼び出して埋め込みを生成したり、有料の API を使用したりすることもできます。

以下の関数GetTextEmbeddingForQueryでは、クエリ文字列に対して推論 API を使用して、エンドポイントへのPOSTリクエストから返されるベクトルを生成します。

// HuggingFace text embedding helper func GetTextEmbeddingForQuery(term string) []float32 { // HTTP endpoint model := "sentence-transformers/msmarco-minilm-l-12-v3" posturl := fmt.Sprintf("https://api-inference.huggingface.co/pipeline/feature-extraction/%s", model) // JSON body body := []byte(fmt.Sprintf(`{ "inputs": "%s", "options": {"wait_for_model":True} }`, term)) // Create a HTTP post request r, err := http.NewRequest("POST", posturl, bytes.NewBuffer(body)) if err != nil { log.Fatal(err) return nil } token := os.Getenv("HUGGING_FACE_TOKEN") r.Header.Add("Authorization", fmt.Sprintf("Bearer %s", token)) client := &http.Client{} res, err := client.Do(r) if err != nil { panic(err) } defer res.Body.Close() var post []float32 derr := json.NewDecoder(res.Body).Decode(&post) if derr != nil { log.Fatal(derr) return nil } return post }

結果の[]float32型のベクトルは、 QueryVectorBuilderオプションを使用する代わりにQueryVectorとして渡され、以前に Elastic にアップロードされたモデルが活用されます。

func VectorSearchWithGeneratedQueryVector(client *elasticsearch.TypedClient, term string) ([]Rodent, error) { vector, err := GetTextEmbeddingForQuery(term) if err != nil { return nil, err } if vector == nil { return nil, fmt.Errorf("unable to generate vector: %w", err) } var k = 10 var numCandidates = 10 res, err := client.Search(). Index("vector-search-rodents"). Knn(types.KnnSearch{ # Field in document containing vector Field: "text_embedding.predicted_value", # Number of neighbors to return K: &k, # Number of candidates to evaluate in comparison NumCandidates: &numCandidates, # Query vector returned from Hugging Face inference API QueryVector: vector, }). Do(context.Background()) if err != nil { return nil, err } return getRodents(res.Hits.Hits) }

KとNumCandidatesオプションは2つのオプションに関係なく同じままであり、埋め込みを生成するために同じモデルを使用しているため、同じ結果が生成されることに注意してください。

まとめ

ここでは、 Elasticsearch Go クライアントを使用して Elasticsearch でベクトル検索を実行する方法について説明しました。このシリーズのすべてのコードについては、 GitHub リポジトリをご覧ください。パート 3に進み、パート 1で説明した Go のキーワード検索機能とベクトル検索を組み合わせる方法の概要を確認します。

それまでは、楽しいホリネズミ狩りを！

各種資料

  1. Elasticsearchガイド

  2. Elasticsearch Goクライアント

  3. ベクトル検索とは何ですか?| 弾性

]]> https://www.elastic.co/search-labs/blog/perform-vector-search-with-the-elasticsearch-go-client https://www.elastic.co/search-labs/blog/perform-vector-search-with-the-elasticsearch-go-client Wed, 01 Nov 2023 00:00:00 GMT <![CDATA[Elasticsearch Go クライアントでテキストクエリを実行する]]> Go を含むあらゆるプログラミング言語でソフトウェアを構築することは、生涯にわたる学習に取り組むことです。大学時代および仕事のキャリアを通じて、Carly は多言語話者になることに適応し、Python、C、JavaScript、TypeScript、Java など、多くのプログラミング言語に触れる必要がありました。しかし、それだけでは十分ではありませんでした!それで最近彼女も囲碁を始めました！

動物、プログラミング言語、そして親切な著者の一人と同じように、検索もさまざまな方法の進化を遂げており、独自の検索ユースケースに応じてどれを選択するかを決めるのは難しい場合があります。このブログでは、従来のキーワード検索の概要と、 Elasticsearch と Elasticsearch Go クライアント を使用した 例を 紹介します。

要件

この例を実行するには、次の前提条件が満たされていることを確認してください。

  1. Goバージョン1.21以降のインストール

  2. Go ドキュメントに記載されている推奨構造とパッケージ管理を使用して、独自の Go リポジトリを作成します。

  3. 独自の Elasticsearch クラスターを作成し、Wikipedia のフレンドリーな Gopher を含む一連の げっ歯類ベースのページ を設定します。

Wikipedia Gopherページ

Elasticsearchへの接続

この例では、Go クライアントが提供するTyped APIを使用します。クエリに対して安全な接続を確立するには、次のいずれかを使用してクライアントを構成する必要があります。

  1. Elastic Cloud を利用する場合のクラウド ID と API キー。

  2. クラスター URL、ユーザー名、パスワード、証明書。

Elastic Cloud にあるクラスターに接続すると、次のようになります。

func GetElasticsearchClient() (*elasticsearch.TypedClient, error) { var cloudID = os.Getenv("ELASTIC_CLOUD_ID") var apiKey = os.Getenv("ELASTIC_API_KEY") var es, err = elasticsearch.NewTypedClient(elasticsearch.Config{ CloudID: cloudID, APIKey: apiKey, Logger: &elastictransport.ColorLogger{os.Stdout, true, true}, }) if err != nil { return nil, fmt.Errorf("unable to connect: %w", err) } return es, nil }

後ほど示すように、 client接続は検索に使用できます。

キーワード検索

キーワード検索は、1990 年に初めて文書化されたインターネット検索エンジンであるArchieの誕生以来、私たちがよく知っている基本的な検索タイプです。

キーワード検索の中心的な要素は、ドキュメントを転置インデックスに変換することです。教科書の巻末にある索引とまったく同じように、転置索引にはトークンのリストと各文書内でのその位置とのマッピングが含まれています。以下の図は、インデックス生成の主要な段階を示しています。

転置インデックス生成

上記のように、Elasticsearch でのトークンの生成は、次の 3 つの主要な段階で構成されます。

  1. 0 個以上のchar_filtersを使用して不要な文字を削除します。この例では、 html_stripフィルターを使用してbody_contentフィールド内の HTML 要素を削除しています。

  2. standardトークナイザーを使用してコンテンツからトークンを分割します。スペースとキーの句読点によって分割されます。

  3. 不要なトークンを削除したり、 lowercaseトークン フィルターなどの 0 個以上のfilterオプションや、 snowballステマーなどのステマーを使用してトークンを言語ルートに戻すことで、トークナイザーの出力ストリームからトークンを変換します。

Go で Elasticsearch を検索する

Go クライアントでクエリを実行するときは、以下の例のように、検索するインデックスを指定し、クエリとその他のオプションを渡します。

func KeywordSearch(client *elasticsearch.TypedClient, term string) ([]Rodent, error) { res, err := client.Search(). Index("search-rodents"). Query(&types.Query{ Match: map[string]types.MatchQuery{ "title": {Query: term}, }, }). From(0). Size(10). Do(context.Background()) if err != nil { return nil, fmt.Errorf("could not search for rodents: %w", err) } return getRodents(res.Hits.Hits) }

上記の例では、標準のmatchクエリを実行して、関数に渡された特定の文字列を含むインデックス内のドキュメントを検索します。Do(context.Background())を介して新しい空のコンテキストを検索実行に渡すことに注意してください。さらに、Elasticsearch によって返されたエラーは、ログ記録とエラー処理のためにerr属性に出力されます。

結果は、ドキュメント自体を JSON 形式で含む_Source属性とともにres.Hits.Hitsに返されます。このソースを Go 対応の構造体に変換するには、次の例に示すように、Go encoding/json パッケージを 使用して JSON 応答を アンマーシャリングする 必要があります。

func getRodents(hits []types.Hit) ([]Rodent, error) { var rodents []Rodent for _, hit := range hits { var currentRodent Rodent err := json.Unmarshal(hit.Source_, &currentRodent) if err != nil { return nil, fmt.Errorf("an error occurred while unmarshaling rodent %s: %w", hit.Id_, err) } currentRodent.ID = hit.Id_ rodents = append(rodents, currentRodent) } return rodents, nil }

クエリgopherを検索してアンマーシャリングすると、期待どおりに Gopher の Wikipedia ページが返されます。

[ {ID:64f74ecd4acb3df024d91112 Title:Gopher - Wikipedia Url:https://en.wikipedia.org/wiki/Gopher} ]

しかし、 What do Gophers eat?に問い合わせても、期待する結果は得られません。

[]

シンプルなキーワード検索により、私たちが普段使用しているアプリケーションと同じように、Go アプリケーションに高いパフォーマンスで結果を返すことができます。また、特定の会社や用語を検索するなどのシナリオに関連する用語の完全一致にも最適です。

しかし、上で見たように、語彙の不一致の問題により、文脈と意味を識別するのが困難です。さらに、画像や音声などのテキスト以外のファイル形式のサポートも困難です。

まとめ

ここでは、 Elasticsearch Go クライアントを使用して Elasticsearch で従来のテキスト クエリを実行する方法について説明しました。Go はインフラストラクチャのスクリプトや Web サーバーの構築に広く使用されているため、Go で検索する方法を知っておくと便利です。

このシリーズのすべてのコードについては、 GitHub リポジトリをご覧ください。パート 2に進み、ベクトル検索の概要と、Go でベクトル検索を実行する方法について説明します。それまでは、楽しいホリネズミ狩りを！

各種資料

  1. Elasticsearchガイド

  2. Elasticsearch Goクライアント

  3. Elasticsearch の分析（アナライザー）を理解する by Bo Andersen | #CodingExplained

]]> https://www.elastic.co/search-labs/blog/perform-text-queries-with-the-elasticsearch-go-client https://www.elastic.co/search-labs/blog/perform-text-queries-with-the-elasticsearch-go-client Tue, 31 Oct 2023 00:00:00 GMT