OrcaがSearch AIを活用して、ユーザーによる可視性の確立、コンプライアンスの達成、リスクの優先順位付けを支援している方法

Orca Securityは、時代の先を行き、サイバーセキュリティチーム（さらには、開発者、DevOps、クラウドアーキテクト、リスクガバナンス、コンプライアンスの各チーム）のニーズに対応できるツールを必要としていました。そして、そのニーズとは、クラウド環境内にあるものを簡単かつ直感的に把握することでした。Orcaでは、データに基づいた意思決定を促進するために、スキルレベルに関係なく、組織内のチームがゼロデイリスクに迅速に対応し、監査を実行して、クラウドアセットを最適化し、脅威のリスクを理解できるようにしたいと考えていました。

Orcaは、ユーザーが分野固有のクエリを検索したり、複雑な質問を簡単な言葉でしたり、正確な結果を即座に得たりできる、よりスマートで、より直感的な方法がアプリ内に必要であると気づきました。たとえば、顧客が"インターネット上に公開されているVMのうち、個人の健康情報が含まれているのはどれか？"といった質問をすることがあります。こうしたクエリでは、データ内の複雑な主題、属性、関係性を理解する必要があります。Orcaが必要としたのは、こうした質問を解釈し、適切なフィルターを自動生成できる検索エンジンでした。

そういうわけで、Orcaの担当チームはAIを活用してそうした複雑なタスクを簡素化できる検索エンジンを導入しようとしていたところ、まさにぴったりだったのがElasticsearchでした。Elasticsearchが複数の大きなメリットをもたらしたおかげで、Orca SecurityのAIベースの検索エンジンは可能性に満ちています。Orcaの担当チームが目の当たりにしたElasticsearchの重要なメリットの一部を以下に示します。

Elasticsearchが実現するハイブリッド検索機能は、キーワードマッチングとベクトル検索を組み合わせることで、分野固有の用語や属性が含まれる複雑なクエリでも、正確で関連性の高い結果を返すことができます。Elasticsearchの強力なフィルタリング機能は、特にOrca Schemaのようなスキーマを利用する場合に重要となります。たとえば、クエリの主題がVMであると判断され、AIが"PIIを保持"といった属性を検索する場合、Elasticsearchは検索の範囲とフィルターを設定して、VMに関連する属性のみが含まれるようにします。そうすることで、データベース上のPIIなど、他のモデルの無関係な属性が除外され、精度と有効なクエリの作成の両方が保証されます。

Elasticsearchでは、カスタムブーストや複数一致のフィールドを処理できるため、検索品質が向上します。たとえば、名前と説明の重み付けを個別にブーストすると、バランスの取れた検索結果が得られます。Orcaでは、これらの機能を活用し、検索パラメーターを微調整して、ユーザーに合わせたエクスペリエンスを提供しています。

従来の大規模言語モデル（LLM）は、特に大量のデータを処理するときに、コストが高くなり、低速になることがあります。そこでElasticsearchは、LLMに対する負荷を効率的に軽減することで、GenAIユースケースの大幅なコスト削減を可能にします。また、Elasticsearchのフィルタリングと検索機能により、検索の速度とコスト効率が向上します。さらに、検索拡張生成（RAG）と呼ばれる、クエリごとに関連性の高い例を選択する処理を最適化することで、LLM操作のコストを大幅に削減します。

基盤モデルのLLMは、一般的なデータでトレーニングしているため、Orcaのクエリ言語（DSL）や、常に変化を続け、固有のアセットタイプや属性が数千にも及ぶサイバーセキュリティデータのグラフを理解できないことがよくあります。DSLのルールを説明するだけでも消費するトークンの数は約2,000に上り、変換例を提供すると、その数はさらに増えます。LLMのコンテキストウィンドウの制限（当時は8,000トークン）を考えると、トークンが増えるたびに、レイテンシとコストが増大することになります。Elasticsearchを利用することで、数百もの例から特に関連性の高いものを3～6個選び出し、必要なデータのみをLLMに送信することができました。このアプローチにより、コストが削減されただけでなく、精度が向上し、レイテンシが削減されました。

データに関する具体的な数字を公開することはできませんが、重要なポイントは次のとおりです。Elasticsearchのおかげで、LLMに送信するデータ量を大幅に削減できました。事前にフィルタリングし、特に関連性の高い例のみ（数百個あっても、そこから3～6個）を厳選することで、LLMの作業負荷を最小限に抑えました。それが直接、応答時間の短縮、コストの削減、全体的な検索エクスペリエンスの効率向上につながっています。

AI検索はこのプラットフォームで特に気に入っている機能の1つで、ユーザーはサイバーセキュリティの何千もの異なる概念や組み合わせのクエリを数十の異なる言語で実行しています（言語サポートについては、今後の記事で詳しく説明します）。

ElasticsearchのパワーとOrcaチームのAIイノベーションへの献身的な取り組みを活かすことで、ユーザーエクスペリエンスを大幅に向上させることができました。新しい検索エクスペリエンスは、スキルのハードルを下げ、タスクをシンプル化し、修復を加速させ、クラウド環境の理解を深めます。その仕組みは以下のとおりです。

Orcaでは、RAGの際に、ユーザーのクエリを中間形式に変換する例を厳選します。ユーザーがクエリを入力すると、Elasticはキーワードマッチングと埋め込み検索を組み合わせて、特に関連性の高い例を選出します。

たとえば、"PIIを含むアセット"というクエリの場合、Elasticsearchは以下のような近接性が特に高い厳選された例を見つけ出します。

• "ヨーロッパ以外のPIIを保持していますか？"

• "SSHキーが暗号化されていない、クレジットカードとPCI準拠のVM"

• "放棄されたアセットとリソース"

各例には、厳選された予期されるJSON出力と推論が付随します。このプロセスにより、LLMが十分なコンテキストに基づいてクエリを構造化形式に正確に変換できるため、検索エクスペリエンス全体が向上し、有効なクエリが確実に作成されます。

ステップ2で、ユーザーのクエリをOrcaの内部表現に変換する際に重要となるのがElasticsearchを使用したRAGです。その仕組みについて説明します。

• 厳選された例：自然言語のクエリをOrcaの構造化形式に変換する方法を示す例を数百作成しました。

• Elasticsearchの役割：ユーザーの新しいクエリごとに、Elasticsearchが厳選された例から特に関連性の高いものを特定します。その際に、キーワードマッチング（正確な用語の検索）と埋め込み検索（意味の類似性の理解）を組み合わせます。

• 例：ユーザーが"インターネットに接続された、脆弱性のあるサーバーをすべて表示して"と頼むと、Elasticsearchは、"インターネットに公開されているアセットを検索"、"CVEがクリティカルのサーバーをすべてリスト化"、"セキュリティパッチが適用されていないリソースを表示"などの例を取得します。

• LLMのタスク：こうした関連性の高い例が、ユーザーの元のクエリと一緒に、LLMに送信されます。LLMはこのコンテキストを利用して、ユーザーのリクエストをOrcaの構造化クエリ言語へと正確に変換します。

また、Orcaでは、"ベクトル埋め込み優先"のデータベースを検討していましたが、埋め込みのほかに適切なキーワード検索機能を追加しないと、結果が不十分であることがわかりました。

Orca Securityでは、数百の主題と数千の属性を含め、スキーマ全体をElasticsearch内でモデル化しました。Elasticsearchの正確なマッチング機能は、ユーザーのクエリを、Orcaのデータベースで使用されている正確な用語に変換するのに役立っています。たとえば、ユーザーが"VM"と入力した場合でも、システムは"仮想マシン"や"仮想インスタンス"などのさまざまな関連用語を理解する必要があります。

検索結果の関連性を高めるために、LLMはユーザーのクエリからキーワードを生成します。これらのキーワードによって検索属性の関連性が高まり、システムは特に関連性の高いデータを取得することができます。また、LLMはクエリをOrca Securityのドメイン固有言語に変換して、フロントエンドで実行できるようにします。