ES|QL Joinが登場しました！ついにJoinが使えます！

Elasticsearch 8.18には、最初のSQLスタイルの結合であるES|QLのLOOKUP JOINコマンドが含まれています。現在はテクニカルプレビュー段階で、簡単に更新できるルックアップデータセットによるデータの関連付けとエンリッチメントが可能です。イベントにホストやアセット情報を追加する必要がありますか？問題ありません。どのIPアドレスやURLが脅威情報リストに含まれているかを確認したいですか？もちろんです。ルックアップデータセットを更新してすぐに使用できます。

Lookup JoinはSQLスタイルのLEFT OUTER JOINで、右側には「lookup 」と呼ばれる新しいインデックスモードを使用します。ルックアップインデックスには資産、既知の不良IPなどの脅威情報データ、注文情報、従業員や顧客情報などが含まれ、可能性は無限です。

Elasticsearchには当初から結合機能が不足していました。入れ子や_parent、結合フィールドタイプ、エンリッチなど、この不足を補う試みは過去に何度か行われましたが、同じインデックス内のイベントの横かクライアント側の結合に参照データを置くことでデータを非正規化する方法を推奨するのが常套的な解決策となっていました。ただ、この解決策は、データ量が増えたときの拡張性に乏しく、データやユースケースが多岐にわたる場合、効果が限定的となります。そして遂に、結合機能の実現の目処がつきました。その鍵を握るのが「ES|QL」です。これは単なる言語ではなく、新たなコンピューティングエンジンの上に構築され、結合などの高度な機能が実現可能にします。

Lookup Joinを有効にするために、新しいインデックスモード「lookup」を作成しました。ルックアップインデックスは通常のインデックス（mode:standardがデフォルト）に似ており、直接更新可能です。主な違いは、ルックアップインデックスは1つのシャードだけだということです。したがって、1つのシャードに対してはLuceneの上限である20億件の文書に制限されています。この制限は、多くのルックアップ結合ユースケースの「右側」データを保持するには十分すぎるほどです。この制限を設けることで、結合の右側のソースカーディナリティを減らすことにより、完全に分散された結合に伴う問題の一部を回避できます。また、これにより、ルックアップ参照として使用する予定のデータセットがわかるため、将来的に最適化する方法を見つけることができます。

ルックアップインデックスモードを除き、ソースデータに制限はなく、結合を実行するために必要なデータ準備もありません。つまり、参照データセットの追加も、最新状態に保つことも容易だということです。

その一部は、ES|QLのENRICHコマンドですでに可能になっています。ENRICHは、投入パイプラインにおける取り込み時のルックアップや、頻繁に変更されない小規模なデータセット向けに最適化されていたため、便利ではあったものの、理想的とは言えませんでした。Lookup Joinは、Enrichよりも設定と管理が簡単です。

• 作成すべきエンリッチポリシーなし

• ポリシーの実行なし

• ルックアップインデックスは書き込み可能

• データのコピーが少ない

• 複数の一致の処理が改善され、Enrichは複数の一致がある場合に複数値フィールドを作成するのに対し、Lookup joinは複数行を作成するためユーザーあたりのバイト数や注文合計など、グループ化や集計などのさらなる分析が容易に

• Lookup Joinではマッチフィールドをその場で指定可能

LOOKUP JOIN の活用例をいくつかご紹介します。

• セキュリティイベントに脅威インテリジェンスを組み込むことでイベントをさらに充実

• 現在使用しているホスト群と最新の脅威情報または内部メタデータを比較

• IOTの読み取り値を静的または動的メタデータ（製造元、体積単位）と相関

• 詳しいコンテキストや絞り込みのために、セキュリティイベントをホスト情報と結合

• 資産の重要度などの事実を追加する（このユーザーは経営幹部であるなど）

• ホスト名を持つソースにCrowdStrike AIDを追加

• 特定のIPアドレスが脅威情報フィードに入っているか確認

• イベントに従業員情報を追加

他にも幅広い活用例が考えられます。

次に、環境ルックアップインデックス（私の場合はenvs_lkpという名前です）に対してLOOKUP JOINを追加します。

製造工程および品質保証（QA）工程にエラーが発生しました。各ウェブサーバーをどのチームが所有しているかのリストと照合することで、誰に連絡すべきかを確認できます。

セキュリティアナリストは結合機能が大好きです！次のような用途に使用できます。

• 既知の不正URLをリクエストしているクライアントIPを特定

• 資産情報と関連付けてイベントをグループ化し、優先度やリスクを割り当て

Abuse.chのURLhausから悪質なURLのリストをダウンロードし、検索インデックスにアップロードできます。

少なくとも1つのルックアップインデックスがルックアップ結合を使用するために必要です。現在Elasticは、Kibanaでルックアップを簡単かつ便利に作成・更新する方法を考案中です。当面は、ルックアップインデックスをいくつかの方法で作成するところから開始できます — 重要なのは、インデックスモードが「lookup」でなければならないという点です。

インデックス名を入力し、インデックスモードのドロップダウンメニューから「ルックアップ」を選択してください。

「作成」をクリックすると、空のルックアップインデックスが作成されます。

Kibanaの左側ナビゲーションペインで［Machine learning］（機械学習）をクリックし、［File Data Visualizer］を選択します（またはKibanaの検索バーに「upload」と入力します）。

ファイルを選択するか、ドラッグアンドドロップしてください。これにはCSVが適しています。

「インポート」をクリックした後、インデックスの名前を入力し、「詳細設定」をクリックしてインデックス設定を表示します。ここで、index.mode: lookupを追加する必要があります。

ファイルのアップロードを完了するために、［Import］（インポート）をクリックします。インデックスとデータビューが作成されます。 

いずれの場合も、ES|QLのルックアップインデックスを参照できるようになりました。

または、Data viewを作成してください。

Q：Logstashやエージェントからデータを送信できますか？
はい！ただし、ルックアップインデックスはデータストリームではなく、1つのシャードに過ぎませんので、各ルックアップインデックスには最大20億件のドキュメントしか送信できないことにご注意ください。

そして、ルックアップ結合はほんの始まりに過ぎません。INNER JOINやサブクエリなど、その他の便利な結合方法も提供したいと考えています。また、ルックアップインデックスだけでなく、あらゆるインデックスに対して結合できるようにしたいと考えています。