Quynh Nguyen - Elasticsearch Labs

ハイブリッド検索再ランキングによる多言語埋め込みモデルの関連性の向上

Quynh Nguyen — Mon, 03 Nov 2025 00:00:00 GMT

はじめに

このシリーズの最後の部分では、Elastic の事前トレーニング済み E5 モデル (および Hugging Face の他の多言語テキスト埋め込みモデル) のデプロイについて説明し、Elasticsearch と Kibana を使用してテキストデータから高密度のベクトル埋め込みを生成する方法について詳しく説明しました。このブログでは、これらの埋め込みの結果を調べ、多言語モデルを活用することの大きな利点を強調します。

インデックスcoco_multilingualが作成されたので、検索を実行すると、参照用の「en」フィールドを含む複数の言語のドキュメントが表示されます。

# GET coco_multilingual/_search { "_index": "coco_multilingual", "_id": "WAiXQJYBgf6odR9bLohZ", "_score": 1, "_source": { "description": "Ein Parkmeßgerät auf einer Straße mit Autos", "en": "A row of parked cars sitting next to parking meters.", "language": "de", "vector_description": {...} } }, . . .

英語で検索する

英語で検索を実行して、どれくらいうまくいくか確認してみましょう。

GET coco_multi/_search { "size": 10, "_source": [ "description", "language", "en" ], "knn": { "field": "vector_description.predicted_value", "k": 10, "num_candidates": 100, "query_vector_builder": { "text_embedding": { "model_id": ".multilingual-e5-small_linux-x86_64_search", "model_text": "query: kitty" } } } }{ "_index": "coco_multi", "_id": "JQiXQJYBgf6odR9b6Yz0", "_score": 0.9334303, "_source": { "description": "Eine Katze, die in einem kleinen, gepackten Koffer sitzt.", "en": "A brown and white cat is in a suitcase.", "language": "de" } }, { "_index": "coco_multi", "_id": "3AiXQJYBgf6odR9bFod6", "_score": 0.9281012, "_source": { "description": "Una bambina che tiene un gattino vicino a una recinzione blu.", "en": "A little girl holding a kitten next to a blue fence.", "language": "it" } }, . . .

ここでは、クエリは一見単純に見えますが、内部的にはすべての言語のすべてのドキュメントにわたって「kitty」という単語の数値埋め込みを検索しています。また、ベクトル検索を実行しているため、「kitty」に関連する可能性のあるすべての単語を意味的に検索できます。「cat」、「kitten」、「feline」、「gatto」（イタリア語）、「mèo」（ベトナム語）、고양이（韓国語）、猫（中国語）などです。その結果、クエリが英語であっても、他のすべての言語でコンテンツを検索できるようになります。たとえば、「a kitty l ying on somethingを検索すると、イタリア語、オランダ語、ベトナム語のドキュメントも返されます。効率について話しましょう!

他の言語でコンテンツを検索する

GET coco_multi/_search { "size": 100, "_source": [ "description", "language", "en" ], "knn": { "field": "vector_description.predicted_value", "k": 50, "num_candidates": 1000, "query_vector_builder": { "text_embedding": { "model_id": ".multilingual-e5-small_linux-x86_64_search", "model_text": "query: kitty lying on something" } } } }{ "description": "A black kitten lays on her side beside remote controls.", "en": "A black kitten lays on her side beside remote controls.", "language": "en" }, { "description": "un gattino sdraiato su un letto accanto ad alcuni telefoni ", "en": "A black kitten lays on her side beside remote controls.", "language": "it" }, { "description": "eine Katze legt sich auf ein ausgestopftes Tier", "en": "a cat lays down on a stuffed animal", "language": "de" }, { "description": "Một chú mèo con màu đen nằm nghiêng bên cạnh điều khiển từ xa.", "en": "A black kitten lays on her side beside remote controls.", "language": "vi" } . . .

同様に、韓国語で「cat」（「고양이」）のキーワード検索を実行しても、意味のある結果が返されます。驚くべきことに、このインデックスには韓国語の文書がまったくありません。

これが機能するのは、埋め込みモデルが意味を共有セマンティック空間で表現し、インデックス付けされたキャプションとは異なる言語でのクエリでも関連する画像を取得できるためです。

ハイブリッド検索と再ランキングによる関連性の高い検索結果の向上

関連する結果が期待どおりに表示されたことを嬉しく思います。しかし、現実の世界では、たとえば、最も関連性の高い上位 5 ～ 10 件の結果に絞り込む必要がある e コマースや RAG アプリケーションでは、再ランク付けモデルを使用して最も関連性の高い結果を優先することができます。

ここで、ベトナム語で「猫の色は何色ですか？」と尋ねるクエリを実行すると、多くの結果が表示されますが、上位 1 つまたは 2 つが最も関連性が高いとは限りません。

GET coco_multi/_search { "size": 20, "_source": [ "description", "language", "en" ], "knn": { "field": "vector_description.predicted_value", "k": 20, "num_candidates": 1000, "query_vector_builder": { "text_embedding": { "model_id": ".multilingual-e5-small_linux-x86_64_search", "model_text": "query: con mèo màu gì?" } } } }

結果にはすべて「猫」または何らかの形の色が言及されています。

では、それを改善しましょう!Cohereの多言語再ランク付けモデルを統合して、質問に対応する推論を改善しましょう。

PUT _inference/rerank/cohere_rerank { "service": "cohere", "service_settings": { "api_key": "your_api_key", "model_id": "rerank-v3.5" }, "task_settings": { "top_n": 10, "return_documents": true } } GET coco_multi/_search { "size": 10, "_source": [ "description", "language", "en" ], "retriever": { "text_similarity_reranker": { "retriever": { "rrf": { "retrievers": [ { "knn": { "field": "vector_description.predicted_value", "k": 50, "num_candidates": 100, "query_vector_builder": { "text_embedding": { "model_id": ".multilingual-e5-small_linux-x86_64_search", "model_text": "query: con mèo màu gì?" // English: What color is the cat? } } } } ], "rank_window_size": 100, "rank_constant": 0 } }, "field": "description", "inference_id": "cohere_rerank", "inference_text": "con mèo màu gì?" } } } { "_index": "coco_multi", "_id": "rQiYQJYBgf6odR9bBYyH", "_score": 1.5501487, "_source": { "description": "Hai cái điện thoại được đặt trên một cái chăn cạnh một con mèo con màu đen.", "en": "A black kitten lays on her side beside remote controls.", "language": "vi" } }, { "_index": "coco_multi", "_id": "swiXQJYBgf6odR9b04uf", "_score": 1.5427427, "_source": { "description": "Một con mèo sọc nâu nhìn vào máy quay.", // Real translation: A brown striped cat looks at the camera "en": "This cat is sitting on a porch near a tire.", "language": "vi" } },

これで、上位の結果により、アプリケーションは子猫の色が黒か茶色で縞模様であると自信を持って答えることができます。ここでさらに興味深いのは、ベクトル検索によって、元のデータセットの英語のキャプションの欠落が実際に検出されたことです。参照の英語翻訳ではその詳細が抜けていたにもかかわらず、茶色の縞模様の猫を見つけることができます。これがベクトル検索の威力です。

まとめ

このブログでは、多言語埋め込みモデルの有用性と、Elasticsearch を活用してモデルを統合し埋め込みを生成する方法、ハイブリッド検索と再ランク付けによって関連性と精度を効果的に向上させる方法について説明しました。独自のクラウドクラスターを作成し、選択した言語とデータセットですぐに使用できる E5 モデルを使用して、多言語セマンティック検索を試すことができます。

Elasticsearch に多言語埋め込みモデルをデプロイする

Quynh Nguyen — Wed, 22 Oct 2025 00:00:00 GMT

はじめに

世界中のユーザーがいる世界では、言語間情報検索 (CLIR) が非常に重要です。CLIR を使用すると、検索を 1 つの言語に限定するのではなく、あらゆる言語で情報を検索できるため、ユーザーエクスペリエンスが向上し、操作が効率化されます。電子商取引の顧客が自分の言語で商品を検索でき、事前にデータをローカライズする必要なく、適切な結果が表示されるグローバル市場を想像してみてください。あるいは、情報源が別の言語であっても、学術研究者がニュアンスや複雑さを含めて母国語で論文を検索できる場所です。

多言語テキスト埋め込みモデルを使用すると、まさにそれが実現できます。埋め込みは、テキストの意味を数値ベクトルとして表現する方法です。これらのベクトルは、同様の意味を持つテキストが高次元空間内で互いに近く配置されるように設計されています。多言語テキスト埋め込みモデルは、特に、異なる言語間で同じ意味を持つ単語やフレーズを同様のベクトル空間にマッピングするように設計されています。

オープンソースの Multilingual E5 のようなモデルは、多くの場合、対照学習などの手法を使用して、大量のテキストデータでトレーニングされます。このアプローチでは、モデルは類似した意味を持つテキストのペア (肯定的なペア) と類似しない意味を持つテキストのペア (否定的なペア) を区別することを学習します。モデルは、正のペア間の類似性が最大化され、負のペア間の類似性が最小化されるように、生成するベクトルを調整するようにトレーニングされます。多言語モデルの場合、このトレーニングデータには、相互に翻訳された異なる言語のテキストペアが含まれており、モデルが複数の言語の共有表現空間を学習できるようになります。結果として得られる埋め込みは、クエリの言語に関係なく、テキスト埋め込み間の類似性を使用して関連するドキュメントを検索するクロスリンガル検索を含むさまざまな NLP タスクに使用できます。

多言語ベクター検索のメリット

ニュアンス: ベクター検索は、キーワードのマッチングを超えて、意味を捉えることに優れています。これは、文脈や言語の微妙なニュアンスを理解する必要があるタスクにとって非常に重要です。
クロスリンガル理解: クエリとドキュメントが異なる語彙を使用している場合でも、言語間で効果的な情報検索を可能にします。
関連性: クエリとドキュメント間の概念的な類似性に焦点を当てることで、より関連性の高い結果を提供します。

たとえば、さまざまな国における「ソーシャルメディアが政治的議論に与える影響」を研究している学術研究者を考えてみましょう。ベクトル検索を使用すると、「l'impatto dei social media sul discorso politico」（イタリア語）または「ảnh hưởng của mạng xã hội đối với diễn ngôn chính trị」（ベトナム語）などのクエリを入力し、英語、スペイン語などで関連する論文を見つけることができます。他のインデックス付き言語。これは、ベクトル検索では、正確なキーワードを含む論文だけでなく、ソーシャルメディアの政治への影響の概念について議論している論文も特定されるためです。これにより、研究の幅と深さが大幅に向上します。

使い始める

Elasticsearch を使用して CLIR を設定する方法 (すぐに使用できる E5 モデルを使用) を次に示します。複数の言語の画像キャプションを含むオープンソースの多言語 COCO データセットを使用して、2 種類の検索を視覚化します。

1つの英語データセット上の他の言語のクエリと検索用語、および
複数の言語のドキュメントを含むデータセットに対する複数の言語でのクエリ。

次に、ハイブリッド検索と再ランキングの力を活用して、検索結果をさらに改善します。

要件

Python 3.6以上
Elasticsearch 8以上
Elasticsearch Pythonクライアント: pip install elasticsearch

データセット

COCO データセットは、大規模なキャプションデータセットです。データセット内の各画像には複数の異なる言語でキャプションが付けられており、言語ごとに複数の翻訳が利用可能です。デモンストレーションの目的で、各翻訳を個別のドキュメントとしてインデックス化し、参照用に最初の利用可能な英語の翻訳もインデックス化します。

ステップ1: 多言語COCOデータセットをダウンロードする

ブログを簡素化し、理解しやすくするために、ここでは、単純な API 呼び出しを使用して、restval の最初の 100 行をローカル JSON ファイルに読み込みます。あるいは、HuggingFace のライブラリデータセットを使用して、完全なデータセットまたはデータセットのサブセットを読み込むこともできます。

import requests import json import os ### Download multilingual coco dataset into a json file (for easy viewing) ### Here we are retrieving first 100 rows for this example ### Alternatively, you can use `datasets` library from Hugging Face url = "https://datasets-server.huggingface.co/rows?dataset=romrawinjp%2Fmultilingual-coco&config=default&split=restval&offset=0&length=100" response = requests.get(url) if response.status_code == 200: data = response.json() output_file = "multilingual_coco_sample.json" ### Loading the downloaded content into a json file locally with open(output_file, "w", encoding="utf-8") as f: json.dump(data, f, indent=4, ensure_ascii=False) print(f"Data successfully downloaded and saved to {output_file}") else: print(f"Failed to download data: {response.status_code}") print(response.text)

データが JSON ファイルに正常に読み込まれると、次のようなものが表示されます。

Data successfully downloaded and saved to multilingual_coco_sample.json

ステップ2: (Elasticsearchを起動) Elasticsearchでデータをインデックスする

a) ローカル Elasticsearch サーバーを起動します。

b) Elasticsearch クライアントを起動します。

from elasticsearch import Elasticsearch from getpass import getpass # Initialize Elasticsearch client es = Elasticsearch(getpass("Host: "), api_key=getpass("API Key: ")) index_name = "coco" # Create the index if it doesn't exist if not es.indices.exists(index=index_name): es.indices.create(index=index_name, body=mapping)

c) インデックスデータ

# Load the JSON data with open('./multilingual_coco_sample.json', 'r') as f: data = json.load(f) rows = data["rows"] # List of languages to process languages = ["en", "es", "de", "it", "vi", "th"] # For each image, we will process each individual caption as its own document bulk_data = [] for data in rows: row = data["row"] image = row.get("image") image_url = image["src"] # Process each language for lang in languages: # Skip if language not present in this row if lang not in row: continue # Get all descriptions for this language # along with first available English caption for reference descriptions = row[lang] first_eng_caption = row["en"][0] # Prepare bulk indexing data for description in descriptions: if description == "": continue # Add index operation bulk_data.append( {"index": {"_index": index_name}} ) # Add document bulk_data.append({ "language": lang, "description": description, "en": first_eng_caption, "image_url": image_url, }) # Perform bulk indexing if bulk_data: try: response = es.bulk(operations=bulk_data) if response["errors"]: print("Some documents failed to index") else: print(f"Successfully bulk indexed {len(bulk_data)} documents") except Exception as e: print(f"Error during bulk indexing: {str(e)}") print("Indexing complete!")

データがインデックスされると、次のようなものが表示されます。

Successfully bulk indexed 4840 documents

Indexing complete!

ステップ3: E5トレーニング済みモデルをデプロイする

Kibanaで、スタック管理 >トレーニング済みモデルページに移動し、.multilingual-e5-small_linux-x86_64のデプロイをクリックします。オプション。この E5 モデルは、linux-x86_64 向けに最適化された小型の多言語モデルで、そのまま使用できます。「デプロイ」をクリックすると、デプロイ設定または vCPU 構成を調整できる画面が表示されます。簡単にするために、デフォルトオプションを使用し、適応型リソースを選択します。これにより、使用状況に応じてデプロイメントが自動的にスケーリングされます。

オプションとして、他のテキスト埋め込みモデルを使用することもできます。たとえば、BGE-M3 を使用するには、 Elastic の Eland Python クライアントを使用して HuggingFace からモデルをインポートできます。

export MODEL_ID="bge-m3" export HUB_MODEL_ID="BAAI/bge-m3" export CLOUD_ID={{CLOUD_ID}} export ES_API_KEY={{API_KEY}} docker run -it --rm docker.elastic.co/eland/eland \ eland_import_hub_model --cloud-id $CLOUD_ID --es-api-key $ES_API_KEY --hub-model-id $HUB_MODEL_ID --es-model-id $MODEL_ID --task-type text_embedding --start

次に、「トレーニング済みモデル」ページに移動し、インポートしたモデルを必要な構成でデプロイします。

ステップ4: デプロイされたモデルを使用して元のデータをベクトル化または埋め込みを作成する

埋め込みを作成するには、まずテキストを取得して推論テキスト埋め込みモデルに通すことができる取り込みパイプラインを作成する必要があります。これは、Kibana のユーザーインターフェースまたは Elasticsearch の API を通じて実行できます。

Kibana インターフェース経由でこれを行うには、トレーニング済みモデルをデプロイした後、 [テスト]ボタンをクリックします。これにより、生成された埋め込みをテストおよびプレビューできるようになります。cocoの新しいデータビューを作成しますインデックスを作成し、データビューを新しく作成した coco データビューに設定し、フィールドをdescriptionに設定します。これは、埋め込みを生成するフィールドだからです。

それは素晴らしいですね！これで、取り込みパイプラインの作成に進み、元のドキュメントのインデックスを再作成し、パイプラインに渡して、埋め込みを含む新しいインデックスを作成できます。これを実現するには、 「パイプラインの作成」をクリックします。これにより、埋め込みの作成に必要なプロセッサが自動的に入力され、パイプラインの作成プロセスがガイドされます。

ウィザードでは、データの取り込みと処理中に障害を処理するために必要なプロセッサを自動的に入力することもできます。

それでは、取り込みパイプラインを作成しましょう。パイプラインにcoco_e5という名前を付けます。パイプラインが正常に作成されたら、ウィザードで元のインデックス付きデータを新しいインデックスに再インデックスすることで、パイプラインをすぐに使用して埋め込みを生成できます。プロセスを開始するには、 「再インデックス」をクリックします。

より複雑な構成の場合は、Elasticsearch API を使用できます。

一部のモデルでは、モデルのトレーニング方法により、埋め込みを生成する前に実際の入力の先頭または末尾に特定のテキストを追加する必要がある場合があります。そうしないと、パフォーマンスが低下します。

たとえば、e5 の場合、モデルは入力テキストが「passage: {content of passage} 」に続くことを想定します。これを実現するために、取り込みパイプラインを活用しましょう。新しい取り込みパイプラインvectorize_descriptions を作成します。このパイプラインでは、新しい一時的なtemp_descフィールドを作成し、 descriptionテキストの先頭に「passage:」を追加し、モデルでtemp_descを実行してテキスト埋め込みを生成し、 temp_descを削除します。

PUT _ingest/pipeline/vectorize_descriptions { "description": "Pipeline to run the descriptions text_field through our inference text embedding model", "processors": [ { "set": { "field": "temp_desc", "value": "passage: {{description}}" } }, { "inference": { "field_map": { "temp_desc": "text_field" }, "model_id": ".multilingual-e5-small_linux-x86_64_search", "target_field": "vector_description" } }, { "remove": { "field": "temp_desc" } } ] }

さらに、生成されたベクトルに使用する量子化の種類を指定することもできます。デフォルトでは、Elasticsearch はint8_hnswを使用しますが、ここでは各次元を 1 ビットの精度に削減するBetter Binary Quantization (またはbqq_hnsw ) を使用します。これにより、精度は犠牲になりますが、メモリフットプリントが 96% (または 32 倍) 削減されます。後で再ランク付けを使用して精度の低下を改善することが分かっているため、この量子化タイプを選択しています。

そのためには、 coco_multiという名前の新しいインデックスを作成し、マッピングを指定します。ここでの魔法は vector_description フィールドにあり、そこでindex_optionsのタイプをbbq_hnswに指定します。

PUT coco_multi { "mappings": { "properties": { "description": { "type": "text" }, "en": { "type": "text" }, "image_url": { "type": "keyword" }, "language": { "type": "keyword" }, "vector_description.predicted_value": { "type": "dense_vector", "dims": 384, "index": "true", "similarity": "cosine", "index_options": { "type": "bbq_hnsw" } } } } }

これで、説明フィールドを「ベクトル化」または埋め込みを作成する取り込みパイプラインを使用して、元のドキュメントを新しいインデックスに再インデックスできます。

POST _reindex?wait_for_completion=false { "source": { "index": "coco" }, "dest": { "index": "coco_multilingual", "pipeline": "vectorize_descriptions" } }

以上です！Elasticsearch と Kibana を使用して多言語モデルを正常にデプロイし、Kibana ユーザーインターフェースまたは Elasticsearch API を使用して Elastic でデータにベクトル埋め込みを作成する方法を段階的に学習しました。このシリーズの第 2 部では、多言語モデルを使用した場合の結果とニュアンスについて説明します。その間、独自のクラウドクラスターを作成し、選択した言語とデータセットですぐに使用できる E5 モデルを使用して多言語セマンティック検索を試すことができます。