インスピレーションと言い換えには違いがあります。コンテンツを読んでインスピレーションを得て、たとえ同じような結論に達したとしても、自分の言葉でそのアイデアを探求することは可能です。

盗作は長い間議論されてきたテーマですが、コンテンツの制作と公開が加速するにつれて、盗作は関連性を保ち、継続的な課題となっています。

この課題は、盗作チェックが頻繁に行われる書籍、学術研究、司法文書に限定されません。それは新聞やソーシャルメディアにも及ぶ可能性があります。

情報が豊富で出版物に簡単にアクセスできるようになった今、スケーラブルなレベルで盗作を効果的にチェックするにはどうすればよいでしょうか?

大学、政府機関、企業はさまざまなツールを使用していますが、単純な語彙検索で直接的な盗用を効果的に検出できる一方で、言い換えられたコンテンツを特定することが主な課題です。

生成AIによる盗作検出

生成 AI によって新たな課題が生まれます。AI によって生成されたコンテンツは、コピーされた場合に盗作とみなされますか?

たとえば、 OpenAI の利用規約では、OpenAI はユーザー向けに API によって生成されたコンテンツに対する著作権を主張しないことが規定されています。この場合、生成 AI を使用する個人は、生成されたコンテンツを引用なしで自由に使用できます。

しかし、効率性を向上させるために生成 AI を使用することが受け入れられるかどうかは、依然として議論の余地があります。

OpenAIは盗作検出に貢献しようと検出モデルを開発したが、後にその精度が十分に高くないことを認めた。

「これは単独の検出では精度が十分ではなく、より効果を上げるにはメタデータベースのアプローチ、人間の判断、一般の教育と組み合わせる必要があると考えています。」

課題は依然として残っていますが、利用できるツールが増えたことにより、言い換えられたコンテンツや AI コンテンツの場合でも盗作を検出するための選択肢が増えています。

Elasticsearchで盗作を検出する

これを認識して、このブログでは、メタデータ検索を超えて、自然言語処理 (NLP) モデルとベクトル検索、盗作検出を使用したもう 1 つのユース ケースを検討します。

これは Python の例 で実証されており、NLP 関連の記事を含む SentenceTransformers の データセット を活用しています。以前に Elasticsearch にインポートされたテキスト埋め込みモデルで生成された「要約」埋め込みを考慮して「意味的テキスト類似性」を実行することにより、要約の盗用をチェックします。さらに、AI によって生成されたコンテンツ (AI 盗作) を識別するために、OpenAI によって開発されたNLP モデルも Elasticsearch にインポートされました。

次の図はデータ フローを示しています。

推論プロセッサ を使用した 取り込みパイプラインの 実行中に、「abstract」段落は 768 次元のベクトル「abstract_vector.predicted_value」にマッピングされます。

マッピング：

ベクトル表現間の類似性は、「類似性」パラメータを使用して定義されるベクトル類似性メトリックを使用して測定されます。

コサインはデフォルトの類似度メトリックであり、「(1 + cosine(クエリ、ベクトル)) / 2」として計算されます。元のベクトルを保持する必要があり、事前に正規化できない場合を除き、コサイン類似度を実行する最も効率的な方法は、すべてのベクトルを単位長さに正規化することです。これにより、検索中に余分なベクトルの長さの計算を実行することを回避でき、代わりに 'dot_product' を使用できます。

この同じパイプラインでは、テキスト分類モデルを含む別の推論プロセッサが、コンテンツがおそらく人間によって書かれた「本物」か、おそらく AI によって書かれた「偽物」かを検出し、各ドキュメントに「openai-detector.predicted_value」を追加します。

取り込みパイプライン:

クエリ時に、同じテキスト埋め込みモデルを使用して、「query_vector_builder」オブジェクト内のクエリ「model_text」のベクトル表現も生成されます。

k 最近傍 (kNN) 検索は、類似度メトリックによって測定されたクエリ ベクトルに最も近い k ベクトルを見つけます。

各ドキュメントの _score は類似性から導き出され、スコアが大きいほどランキングが高くなります。これは、ドキュメントが意味的に類似していることを意味します。結果として、3 つの可能性を出力します。スコアが 0.9 を超える場合は「高い類似性」を考慮し、スコアが 0.7 未満の場合は「低い類似性」、それ以外の場合は「中程度の類似性」を考慮します。ユースケースに応じて、_score のどのレベルが盗作とみなされるかを決定するために、さまざまなしきい値を柔軟に設定できます。

さらに、テキスト分類が実行され、テキスト クエリ内の AI によって生成された要素もチェックされます。

クエリ:

アウトプット：

この例では、データセットの「抽象」値の 1 つをテキスト クエリ「model_text」として使用した後、盗用が特定されました。類似度スコアは 1.0 であり、類似度が高いこと、つまり直接的な盗用であることを示しています。ベクトル化されたクエリとドキュメントは、予想どおり AI 生成コンテンツとして認識されませんでした。

クエリ:

アウトプット：

テキストクエリ「model_text」を、類似した単語の繰り返しを最小限に抑えながら同じメッセージを伝える AI 生成テキストで更新すると、検出された類似度は依然として高かったものの、スコアは 1.0 ではなく 0.9302529 になりました(言い換え盗用) 。AIによって生成されたこのクエリが検出されることも予想されました。

最後に、テキスト クエリ「model_text」を、これらのドキュメントの要約ではない Elasticsearch に関するテキストと見なすと、検出された類似度は 0.68991005 となり、考慮されたしきい値によると類似度が低いことが示されました。

クエリ:

アウトプット：

AI によって生成されたテキスト クエリでは、言い換えや直接コピーされたコンテンツの場合と同様に、盗用が正確に識別されましたが、盗用検出の状況を把握するには、さまざまな側面を認識する必要があります。

AI 生成コンテンツの検出という観点から、私たちは価値ある貢献を果たすモデルを検討しました。ただし、単独の検出には固有の限界があり、精度を高めるには他の方法を組み込む必要があることを認識することが重要です。

テキスト埋め込みモデルの選択によってもたらされる変動性も、もうひとつの考慮事項です。異なるデータセットでトレーニングされたさまざまなモデルでは、さまざまなレベルの類似性が得られ、生成されたテキスト埋め込みの重要性が強調されます。

最後に、これらの例では、ドキュメントの要約を使用しました。ただし、盗作検出には大きな文書が関係することが多く、テキストの長さの問題に対処することが不可欠です。テキストがモデルのトークン制限を超えることはよくあり、埋め込みを構築する前にチャンクに分割する必要があります。これを処理する実用的なアプローチとしては、dense_vector を使用したネストされた構造を利用することが挙げられます。

まとめ

このブログでは、特に言い換えられたコンテンツや AI によって生成されたコンテンツにおける盗作の検出の課題と、この目的のために意味的なテキストの類似性とテキスト分類をどのように使用できるかについて説明しました。

これらの方法を組み合わせることで、AI によって生成されたコンテンツ、直接的な盗用と言い換えられた盗用を正常に識別した盗用検出の例を示しました。

主な目的は検出を簡素化するフィルタリング システムを確立することですが、検証には人間による評価が依然として不可欠です。

意味的テキスト類似性と NLP についてさらに詳しく知りたい場合は、次のリンクもご覧ください。

• セマンティック検索とは？

• 自然言語処理 (NLP) とは何ですか?

• Elasticsearch による語彙検索と意味検索

• 大規模なドキュメントをインジェストパイプラインでチャンク化し、ネストされたベクトルと組み合わせることで、簡単にパッセージを検索できます。

この目標を考慮して、このブログ投稿では、Elasticsearch を使用して情報を取得するためのさまざまなアプローチを検討し、特にテキスト検索（語彙検索とセマンティック検索）に焦点を当てます。

要件

これを実現するために、eコマース製品情報をシミュレートするために生成されたデータセットでのさまざまな検索シナリオを示す Python の例を提供します。

このデータセットには 2,500 を超える製品が含まれており、それぞれに説明が付いています。これらの製品は 76 の異なる製品カテゴリに分類されており、各カテゴリには以下に示すようにさまざまな数の製品が含まれています。

ツリーマップの視覚化 - カテゴリ.キーワードの上位 22 個の値 (製品カテゴリ)

セットアップには次のものが必要です:

• Python 3.6以降

• Elastic Pythonクライアント

• Elastic 8.8 以降のデプロイメント、8GB メモリの機械学習ノード

• Elastic Learned Sparse EncodeRモデルは、Elastic にプリロードされており、デプロイメントにインストールされて起動します。

Elastic Cloud を使用します。無料トライアルをご利用いただけます。

このブログ記事で提供されている検索クエリに加えて、 Python ノートブックでは次のプロセスをガイドします。

• Pythonクライアントを使用してElasticデプロイメントへの接続を確立する

• Elasticsearchクラスターにテキスト埋め込みモデルをロードする

• 特徴ベクトルと密ベクトルのインデックスを作成するためのマッピングを使用してインデックスを作成します。

• テキスト埋め込みとテキスト拡張のための推論プロセッサを備えた取り込みパイプラインを作成する

語彙検索 - スパース検索

テキスト クエリに基づいて Elasticsearch がドキュメントの関連性をランク付けする従来の方法では、 語彙検索用のスパース モデルである BM25 モデルの Lucene 実装が使用されます。この方法は、正確な用語の一致を探すという、テキスト検索の従来のアプローチに従います。

この検索を可能にするために、Elasticsearch はテキスト分析を実行してテキスト フィールドデータを検索可能な形式に変換します。

テキスト分析は、検索に関連するトークンを抽出するプロセスを管理する一連のルールであるアナライザーによって実行されます。アナライザーには、トークナイザーが 1 つだけ必要です。トークナイザーは文字のストリームを受け取り、それを個々のトークン (通常は個々の単語) に分割します。以下に例を示します。

語彙検索のための文字列トークン化

出力

この例では、デフォルトのアナライザーである標準アナライザーを使用しています。これは、英語の文法に基づいたトークン化を提供するため、ほとんどのユースケースに適しています。トークン化により、個々の用語での一致が可能になりますが、各トークンは文字どおりに一致します。

検索エクスペリエンスをカスタマイズしたい場合は、別の組み込みアナライザーを選択できます。たとえば、ストップ アナライザーを使用するようにコードを更新すると、ストップワードの削除がサポートされ、文字以外の文字でテキストがトークンに分割されます。

出力

組み込みアナライザーがニーズを満たさない場合は、ゼロ個以上の 文字フィルター 、 トークナイザー 、およびゼロ個以上の トークン フィルター の適切な組み合わせを使用する カスタム アナライザー を作成できます。

トークナイザーとトークン フィルターを組み合わせた上記の例では、テキストは、 同義語トークン フィルター によって処理される前に、 小文字フィルター によって小文字化されます。

語彙マッチング

BM25 は、用語の頻度と重要度に基づいて、特定の検索クエリに対するドキュメントの関連性を測定します。

以下のコードは、 一致 クエリを実行し、 「ecommerce-search」 インデックスの 「description」 フィールド値と検索クエリ 「 Comfortable furniture for a large balcony 」 を考慮して最大 2 つのドキュメントを検索します。

このクエリに一致すると見なされるドキュメントの基準を絞り込むと、精度が向上します。ただし、より具体的な結果を得るには、変動に対する許容度が低くなるというデメリットがあります。

出力

出力を分析すると、最も関連性の高い結果は「 おもちゃ 」カテゴリの「バービードリームハウス 」製品であり、その説明には「 家具 」、「 大型」 、「バルコニー 」という用語が含まれているため関連性が高く、説明に検索クエリに一致する用語が 3 つ含まれている唯一の製品であり、説明に「バルコニー」 という用語が含まれているのもこの製品のみです。

2 番目に関連性の高い製品は、「 屋内用家具」に分類される「快適なロッキングチェア 」で、その説明には「 快適な 」および「 家具 」という用語が含まれています。データセット内のこの検索クエリの少なくとも 2 つの用語に一致する製品は 3 つだけであり、この製品はそのうちの 1 つです。

「快適」という言葉は 105 製品の説明に登場し、 「家具」という言葉は、おもちゃ、屋内用家具、屋外用家具、および「犬と猫の用品とおもちゃ」という 4 つのカテゴリーの 4 製品の説明に登場しています。

ご覧のとおり、クエリを考慮すると最も関連性の高い製品はおもちゃであり、2 番目に関連性の高い製品は屋内用家具です。これらのドキュメントが一致する理由を知るためにスコア計算に関する詳細な情報が必要な場合は、 explain __query パラメータを true に設定できます。

両方の結果が最も関連性の高いものであるにもかかわらず、このデータセット内のドキュメントの数と用語の出現の両方を考慮すると、クエリ「大きなバルコニー用の快適な家具」の背後にある意図は、おもちゃや室内用家具などを除いた、実際の大きなバルコニー用の家具を検索することです。

語彙検索は比較的単純かつ高速ですが、ユーザーの意図やクエリを必ずしも知らずにすべての用語と同義語を知ることが常に可能であるとは限らないため、限界があります。自然言語の使用においてよく見られる現象は語彙の不一致です。調査によると、平均して80% の確率で、異なる人々 (同じ分野の専門家) が同じものを異なる名前で呼ぶことがわかっています。

これらの制限により、意味的知識を組み込んだ他のスコアリング モデルを探すことになります。自然言語のような連続的な入力トークンの処理に優れたトランスフォーマーベースのモデルは、ドキュメントとクエリの両方の数学的表現を考慮して、検索の根本的な意味を捉えます。これにより、テキストの高密度でコンテキストを認識したベクトル表現が可能になり、関連するコンテンツを見つけるための洗練された方法であるセマンティック検索が強化されます。

セマンティック検索 - 高密度検索

このコンテキストでは、データを意味のあるベクトル値に変換した後、 k 最近傍 (kNN)検索アルゴリズムを使用して、データセット内でクエリ ベクトルに最も類似したベクトル表現を検索します。Elasticsearch は、kNN 検索に、正確なブルート フォース kNNと近似 kNN (ANN とも呼ばれる) の 2 つの方法をサポートしています。

ブルートフォース kNN は正確な結果を保証しますが、大規模なデータセットでは適切に拡張できません。近似 kNN は、パフォーマンスを向上させるために精度をある程度犠牲にして、近似最近傍を効率的に見つけます。

Lucene の kNN 検索と高密度ベクトル インデックスのサポートにより、Elasticsearch は階層的ナビゲート可能スモール ワールド (HNSW) アルゴリズムを活用し、さまざまなann ベンチマーク データセットにわたって強力な検索パフォーマンスを発揮します。以下のサンプルコードを使用して、Python で近似 kNN 検索を実行できます。

近似kNNによるセマンティック検索

このコード ブロックは、Elasticsearch の kNN を使用して、製品データセットの「 description 」フィールドの埋め込みを考慮した「 大きなバルコニー用の快適な家具 」のベクトル化されたクエリ (query_vector_build) に類似した説明を持つ最大 2 つの製品を返します。

製品の埋め込みは、以前はパイプラインに取り込まれたデータに対して推論するための「 all-mpnet-base-v2 」テキスト埋め込みモデルを含む推論プロセッサを使用して、取り込みパイプラインで生成されていました。

このモデルは、 「 sentence_transformers.evaluation 」を使用した事前学習済みモデルの評価に基づいて選択されました。トレーニング中にさまざまなクラスを使用してモデルを評価します。「all-mpnet-base-v2」モデルは、Sentence-Transformers ランキングで最高の平均パフォーマンスを示し、 Massive Text Embedding Benchmark (MTEB)リーダーボードでも好位置を獲得しました。このモデルは、Microsoft/mpnet ベースのモデルを事前トレーニングし、10 億の文のペアのデータセットで微調整されており、文を 768 次元の密なベクトル空間にマッピングします。

あるいは、特にドメイン固有のデータに合わせて微調整されたモデルなど、使用できる他のモデルも多数あります。

出力

出力は、選択したモデル、 フィルター 、および おおよその kNN チューニング によって異なる場合があります 。

kNN 検索結果は両方とも「 Outdoor Furniture 」カテゴリにありますが、クエリの一部として「 outdoor 」という単語が明示的に言及されておらず、コンテキストにおけるセマンティクスの理解の重要性が強調されています。

高密度ベクトル検索にはいくつかの利点があります。

• セマンティック検索の有効化

• 非常に大規模なデータセットを処理できるスケーラビリティ

• 幅広いデータタイプを処理できる柔軟性

しかし、高密度ベクトル探索には独自の課題もあります。

• ユースケースに適した埋め込みモデルの選択

• モデルが選択されると、ドメイン固有のデータセットでのパフォーマンスを最適化するためにモデルを微調整する必要がある場合があり、このプロセスにはドメイン専門家の関与が求められる。

• さらに、高次元ベクトルのインデックス作成は計算コストが高くなる可能性がある。

セマンティック検索 - 学習されたスパース検索

別のアプローチとして、セマンティック検索を実行する別の方法である学習済みスパース検索を検討してみましょう。

スパースモデルとして、数十年にわたる最適化の恩恵を受けている Elasticsearch の Lucene ベースの転置インデックスを活用します。ただし、このアプローチは、BM25 などの語彙スコアリング関数を使用して同義語を単純に追加するだけにとどまりません。代わりに、より深い言語スケールの知識を使用して学習した関連性を組み込み、関連性を最適化します。

Elastic Learned Sparse Encoder は、検索クエリを拡張して元のクエリには存在しない関連用語を含めることにより、以下の例に示すように、スパース ベクトル埋め込みを改善します。

Elastic Learned Sparse Encoder によるスパースベクトル検索

出力

この場合の結果には、「 屋外用家具 」に非常に類似した製品を提供する「 ガーデン家具 」カテゴリが含まれます。

「ml.tokens」を分析すると、学習済みスパース検索によって生成されたトークンを含む「rank_features」フィールドを見ると、生成されたさまざまなトークンの中に、「リラックス」（快適）、「ソファ」（家具）、「屋外」（バルコニー）など、検索クエリの一部ではないものの、意味的には関連している用語があることがわかります。

以下の画像は、用語拡張ありとなしの両方で、クエリとともにこれらの用語の一部を強調表示しています。

ご覧のとおり、このモデルはコンテキスト認識型の検索を提供し、より解釈しやすい結果を提供しながら語彙の不一致の問題を軽減するのに役立ちます。ドメイン固有の再トレーニングが適用されない場合でも、高密度ベクトル モデルよりも優れたパフォーマンスを発揮します。

ハイブリッド検索: 語彙検索と意味検索を組み合わせた関連性の高い結果

検索に関しては、普遍的な解決策はありません。これらの検索方法にはそれぞれ長所がありますが、課題もあります。ユースケースに応じて、最適なオプションは変わる場合があります。多くの場合、複数の検索方法間で最良の結果が補完的になります。したがって、関連性を高めるために、それぞれの方法の長所を組み合わせることを検討します。

ハイブリッド検索を実装する方法は複数あります。線形結合、各スコアへの重み付け、重みの指定が不要な逆ランク融合 (RRF) などです。

Elasticsearch: 語彙検索と意味検索の両方の長所を活用

このコードでは、「大きなバルコニー用のダイニング テーブルと快適な椅子」という値を持つ 2 つのクエリを使用してハイブリッド検索を実行しました。検索語として「家具」を使用する代わりに、探しているものを指定しており、両方の検索で同じフィールド値「説明」を考慮しています。ランキングは、BM25 スコアと ELSER スコアに等しい重み付けをした線形結合によって決定されます。

出力

以下のコードでは、クエリに同じ値を使用しますが、逆ランク融合法を使用して BM25 (クエリ パラメータ) と kNN (knn パラメータ) のスコアを結合し、ドキュメントを結合してランク付けします。

RRF 機能はテクニカル プレビュー段階です。GA の前に構文が変更される可能性があります。

出力

ここでは、異なるフィールドと値を使用することもできます。これらの例のいくつかは、 Python ノートブックで利用できます。

ご覧のとおり、Elasticsearch を使用すると、従来の語彙検索とベクトル検索（疎かでも密かでも）の両方の利点を活用でき、目標を達成して質問に対する最適な回答を見つけることができます。

ここで説明したアプローチについてさらに学習したい場合は、次のブログが役立ちます。

• Elastic Stackでの情報検索の改善：ハイブリッド検索

• Elasticsearchのベクトル検索：設計の背後にある理論的根拠

• Elasticのベクターデータベースで語彙検索とAIを活用した検索を最大限に活用する方法

• Elastic Learned Sparse Encoder のご紹介: セマンティック検索のための Elastic の AI モデル

• Elastic Stackでの情報検索の改善: 新しい検索モデルElastic Learned Sparse Encoderのご紹介

Elasticsearch は、ベクター検索を構築するために必要なすべてのツールとともに、ベクター データベースを提供します。

• Elasticsearchベクターデータベース

• Elasticによるベクトル検索のユースケース

まとめ

このブログ記事では、Elasticsearch を使用して情報を取得するためのさまざまなアプローチについて検討し、特にテキスト、語彙、意味の検索に焦点を当てました。これを実証するために、eコマース製品情報を含むデータセットを使用してさまざまな検索シナリオを紹介する Python の例を示しました。

BM25 を使用した従来の語彙検索をレビューし、語彙の不一致などの利点と課題について議論しました。この問題を克服するために、意味的知識を取り入れることの重要性を強調しました。さらに、セマンティック検索を可能にする高密度ベクトル検索について説明し、高次元ベクトルのインデックス作成時の計算コストなど、この検索方法に関連する課題についても説明しました。

一方、スパースベクトルは圧縮率が非常に高いことを説明しました。そこで、元のクエリには存在しない関連用語を含めるように検索クエリを拡張する Elastic の Learned Sparse Encoder について説明しました。

検索に関しては、万能の解決策は存在しません。それぞれの検索方法には長所と課題があります。そこで、ハイブリッド検索の概念についても議論しました。

ご覧のとおり、Elasticsearch を使用すると、従来の語彙検索とベクトル検索の両方の長所を活用できます。

始める準備はできましたか?利用可能なPython ノートブックを確認し、 Elastic Cloud の無料トライアルを開始してください。

テクノロジーの進歩に伴い、チャットボットはユーザーにパーソナライズされたエクスペリエンスを提供しながら、より複雑なタスクを迅速に処理するために使用されるようになりました。自然言語処理 (NLP) により、チャットボットはユーザーの言語を処理し、メッセージの意図を識別し、そこから関連情報を抽出できるようになります。たとえば、固有表現抽出では、テキストを一連のカテゴリに分類して重要な情報を抽出します。感情分析は感情的なトーンを識別し、質問応答はクエリに対する「答え」を識別します。NLP の目標は、アルゴリズムが人間の言語を処理し、大量のテキストの中から関連する文章を見つけたり、テキストを要約したり、新しい独自のコンテンツを生成するなど、これまでは人間だけが実行できたタスクを実行できるようにすることです。

これらの高度な NLP 機能は、ベクトル検索と呼ばれるテクノロジーに基づいて構築されています。Elastic は、ベクトル検索、正確なk 最近傍 (kNN) 検索と近似 k 最近傍検索の実行、および NLP をネイティブにサポートしており、Elasticsearch で直接カスタム モデルまたはサードパーティ モデルを使用できます。

このブログ記事では、ベクトル検索と NLP がどのように機能してチャットボットの機能を強化するかを説明し、Elasticsearch がどのようにそのプロセスを促進するかを説明します。まず、ベクトル検索の概要を簡単に説明します。

ベクトル検索

人間は書かれた言語の意味と文脈を理解できますが、機械は同じことはできません。ここでベクトルが登場します。テキストをベクトル表現（テキストの意味の数値表現）に変換することで、マシンはこの制限を克服できます。従来の検索と比較すると、キーワードや頻度に基づく語彙検索に依存するのではなく、ベクトルでは数値に対して定義された演算を使用してテキスト データの処理が可能になります。

これにより、ベクトル検索では、クエリベクトルが与えられた場合に類似性を表す「埋め込み空間」内の距離を使用して、類似の概念またはコンテキストを共有するデータを見つけることができます。データが類似している場合、対応するベクトルも同様になります。

ベクトル検索は NLP アプリケーションで利用されるだけでなく、画像やビデオの処理など、非構造化データが関係するさまざまな他の領域でも使用されます。

チャットボット フローでは、ユーザーのクエリに対して複数のアプローチが可能であり、その結果、情報検索を改善してユーザー エクスペリエンスを向上させるさまざまな方法が存在します。それぞれの選択肢には独自の利点と欠点があるため、利用可能なデータとリソース、トレーニング時間（該当する場合）、および予想される精度を考慮することが重要です。次のセクションでは、質問応答 NLP モデルのこれらの側面について説明します。

質問応答

質問応答 (QA) モデルは、自然言語で尋ねられた質問に答えるように設計された NLP モデルの一種です。ユーザーが、ドキュメント内に既存のターゲット回答がなく、複数のリソースから回答を推測する必要がある質問がある場合、生成型 QA モデルが役立ちます。ただし、これらのモデルは計算コストが高く、ドメイン関連のトレーニングに大量のデータが必要になる可能性があり、この方法はドメイン外の質問を処理するのに特に価値があるにもかかわらず、状況によっては実用的ではない可能性があります。

一方、ユーザーが特定のトピックについて質問し、実際の回答がドキュメント内に存在する場合は、抽出型 QA モデルを使用できます。これらのモデルは、ソース ドキュメントから回答を直接抽出し、透明性と検証性に優れた結果を提供するため、質問にシンプルかつ効率的に回答したい企業や組織にとって、より実用的なオプションとなります。

以下の例は、 Hugging Face で利用可能でElasticsearch にデプロイされた、事前トレーニング済みの抽出 QA モデルを使用して、特定のコンテキストから回答を抽出する方法を示しています。

トレーニング済みのモデルをデプロイします。

推論取り込みパイプラインにモデルを追加します。

ユーザーのクエリを処理して情報を取得する方法はさまざまであり、非構造化データを扱う場合には、複数の言語モデルとデータ ソースを使用することが効果的な代替手段となります。これを説明するために、選択されたドキュメントから抽出されたデータを考慮してクエリに回答するために使用されるチャットボットのデータ処理の例を示します。

チャットボットのデータ処理：NLPとベクトル検索

上記のように、チャットボットのデータ処理は 3 つの部分に分けられます。

• ベクター処理:この部分はドキュメントをベクター表現に変換します。

• ユーザー入力処理:この部分では、ユーザークエリから関連情報を抽出し、セマンティック検索とハイブリッド検索を実行します。

• 最適化:この部分には監視が含まれており、チャットボットの信頼性、最適なパフォーマンス、優れたユーザー エクスペリエンスを確保するために重要です。

ベクトル処理

処理部分では、まず各ドキュメントの構成要素を決定し、各要素をベクトル表現に変換します。これらの表現は、さまざまなデータ形式に対して作成できます。

埋め込みを計算するために使用できる方法は、事前トレーニング済みのモデルやライブラリなど、さまざまあります。

これらの表現に対する検索と取得の有効性は、既存のデータと、使用される方法の品質と関連性に依存することに注意することが重要です。

ベクトルが計算されると、 dense_vectorフィールド タイプを使用して Elasticsearch に保存されます。

チャットボットのユーザー入力処理

ユーザー側では、質問を受け取った後、先に進む前にそこから可能な限りすべての情報を抽出すると便利です。これはユーザーの意図を理解するのに役立ちます。この場合、それを支援するために名前付きエンティティ認識モデル (NER)を使用しています。NER は、名前付きエンティティを識別し、事前定義されたエンティティ カテゴリに分類するプロセスです。

必須のステップではありませんが、構造化データや上記または別の NLP モデルの結果を使用してユーザーのクエリを分類することで、フィルターを使用して kNN 検索を制限できます。これにより、処理する必要があるデータの量が削減され、パフォーマンスと精度が向上します。

セマンティック検索とハイブリッド検索

プロンプトはユーザーのクエリから生成され、チャットボットは変動性と曖昧性を持つ人間の言語を処理する必要があるため、セマンティック検索は最適です。Elasticsearch では、クエリ文字列と埋め込みモデルの ID を query_vector_builder オブジェクトに渡すことで、セマンティック検索を 1 ステップで実行できます。これにより、クエリがベクトル化され、kNN検索が実行され、クエリに意味的に最も近い上位 k 個の一致が取得されます。

エンドツーエンドの例: テキスト埋め込みモデルを展開し、セマンティック検索に使用する方法。Elasticsearch は、疎モデルであるOkapi BM25 の Lucene 実装を使用してテキストクエリの関連性をランク付けし、密モデルはセマンティック検索に使用されます。ベクトル一致とテキスト クエリから取得された 一致の両方の長所 を組み合わせる には 、 ハイブリッド検索 を実行できます。

疎モデルと密モデルの両方を組み合わせると、多くの場合、最良の結果が得られます。

通常、スパース モデルは短いクエリと特定の用語で優れたパフォーマンスを発揮しますが、密なモデルはコンテキストと関連付けを活用します。これらの方法がどのように比較され、相互に補完し合うかについて詳しく知りたい場合は、ここで、検索用に特別にトレーニングされた 2 つの高密度モデルに対して BM25 をベンチマークします。

最も関連性の高い結果は通常、ユーザーに最初に提供される回答になります。_scoreは、返されたドキュメントの関連性を判断するために使用される数値です。

チャットボットの最適化

チャットボットのユーザー エクスペリエンス、パフォーマンス、信頼性を向上させるには、ハイブリッド スコアリングを適用することに加えて、次のアプローチを組み込むことができます。感情分析:ダイアログが展開されるときにユーザーのコメントや反応を認識できるように、感情分析モデルを組み込むことができます。

GPT の機能:全体的なエクスペリエンスを向上させる代わりに、Elasticsearch の検索関連性と OpenAI の GPT 質問応答機能を組み合わせ、 Chat Completion APIを使用して、上位 k 件のドキュメントをコンテキストとして考慮し、ユーザーモデルが生成した応答を返すことができます。プロンプト:<user_question> 「このドキュメント のみを使用して、この質問<top_search_result> に回答してください」

可観測性:あらゆるチャットボットのパフォーマンスを確保することは非常に重要であり、これを実現するには監視が不可欠な要素です。チャットボットのやり取りをキャプチャするログに加えて、応答時間、待ち時間、その他の関連するチャットボットのメトリックを追跡することが重要です。これにより、パターンや傾向を特定し、異常を検出することさえ可能になります。Elastic Observabilityツールを使用すれば、こうした情報を収集・分析できます。

まとめ

このブログ記事では、NLP とベクトル検索とは何かを説明し、ドキュメントのベクトル表現から抽出されたデータを考慮してユーザーのクエリに応答するために使用されるチャットボットの例を詳しく説明します。

実証されているように、NLP とベクトル検索を使用すると、チャットボットは構造化されたターゲット データを超えた複雑なタスクを実行できます。これには、複数のデータ ソースと形式をコンテキストとして使用して推奨事項を作成し、特定の製品またはビジネス関連のクエリに回答するとともに、パーソナライズされたユーザー エクスペリエンスを提供することも含まれます。

ユースケースは、顧客からの問い合わせに対応して顧客サービスを提供することから、開発者のクエリを支援し、ステップバイステップのガイダンスを提供したり、推奨事項を提案したり、タスクを自動化したりすることまで多岐にわたります。目標と既存のデータに応じて、他のモデルや方法を活用してさらに優れた結果を達成し、全体的なユーザー エクスペリエンスを向上させることもできます。

このトピックに関して役立つと思われるリンクをいくつか紹介します。

1. 自然言語処理（NLP）の導入方法：はじめに

2. Elasticsearchにおける画像類似検索の概要

3. ChatGPTとElasticsearch: OpenAIとプライベートデータの出会い

4. Monitor OpenAI API and GPT models with OpenTelemetry and Elastic（OpenTelemetryとElasticを利用してOpenAI APIとGPTモデルを監視）

5. ITリーダーが検索エクスペリエンスを向上させるためにベクトル検索を必要とする5つの理由

Elasticsearch に NLP とネイティブベクトル検索を組み込むことで、そのスピード、スケーラビリティ、検索機能を活用し、構造化データか非構造化データかを問わず大量のデータを処理できる、非常に効率的で効果的なチャットボットを作成できます。

始める準備はできましたか?Elastic Cloud の無料トライアルを開始してください。

このブログ投稿では、それぞれの所有者が所有および運営するサードパーティ製の生成 AI ツールを使用したり、参照したりする場合があります。Elastic はサードパーティ製ツールを一切管理しておらず、そのコンテンツ、操作、使用、またそのようなツールの使用によって発生する損失や損害については一切責任を負いません。個人情報、機密情報、秘密情報を扱う AI ツールを使用する場合は注意してください。送信したデータは AI のトレーニングやその他の目的で使用される場合があります。お客様が提供する情報が安全に保管され、機密性が保たれるという保証はありません。生成 AI ツールを使用する前に、プライバシー慣行と利用規約をよく理解しておく必要があります。

Elastic、Elasticsearch および関連するマークは、米国およびその他の国における Elasticsearch NV の商標、ロゴ、または登録商標です。その他すべての会社名および製品名は、それぞれの所有者の商標、ロゴ、または登録商標です。