ステートレス - Elasticsearch による新しい検索状態

主要AIや機械学習プラットフォームとシームレスに連携できます。無料のクラウドトライアルを開始してElasticの生成AI機能を探索するか、今すぐローカルマシンでお試しください。

ステートレス Elasticsearch では、規模と速度の限界を押し上げるために、完全にクラウドネイティブな新しいアーキテクチャの構築に投資しています。このブログでは、私たちがどこから始めたのか、ステートレスアーキテクチャの導入による Elasticsearch の将来、そしてこのアーキテクチャの詳細について説明します。

出発点

Elasticsearchの最初のバージョンは、ユーザーが重要な洞察をすばやく検索して明らかにすることを可能にする、分散型のスケーラブルな検索エンジンとして 2010 年にリリースされました。12 年が経過し、65,000 件を超えるコミットが行われた現在でも、Elasticsearch はさまざまな検索問題に対する実証済みのソリューションをユーザーに提供し続けています。数百人の Elastic フルタイム従業員を含む 1,500 人を超える貢献者の努力のおかげで、Elasticsearch は検索分野で発生する新しい課題に対応できるよう絶えず進化してきました。

Elasticsearch のリリース初期にデータ損失の懸念が浮上したとき、Elastic チームは、確認されたデータが安全に保存されることを保証するために、クラスター調整システムを書き換える作業を数年にわたって行いました。大規模なクラスター内のインデックスの管理が面倒であることが明らかになったため、チームは、ユーザーがインデックスパターンとライフサイクルアクションを事前に定義できるようにすることでこの作業を自動化する広範なILM ソリューションの実装に取り組みました。ユーザーが大量のメトリックおよび時系列データを保存する必要性に気付いたため、データサイズを削減するために、より優れた圧縮などのさまざまな機能が追加されました。大量のコールドデータを検索するためのストレージコストが増大したため、低コストのオブジェクトストアでユーザーデータを直接検索する方法として、検索可能なスナップショットの作成に投資しました。

これらの投資は、Elasticsearch の次の進化の基盤を築きます。クラウドネイティブサービスと新しいオーケストレーションシステムの成長に伴い、クラウドネイティブシステムを操作する際のエクスペリエンスを向上させるために Elasticsearch を進化させる時期が来たと判断しました。これらの変更により、 Elastic Cloudで Elasticsearch を実行する際の運用、パフォーマンス、コストの改善につながると考えています。

目指すところ - ステートレスアーキテクチャの採用

Elasticsearch を操作またはオーケストレーションする際の主な課題の 1 つは、Elasticsearch が多数の永続的な状態に依存しているため、ステートフルシステムであることです。3 つの主要な部分は、トランスログ、インデックスストア、およびクラスターメタデータです。この状態は、ストレージが永続的である必要があり、ノードの再起動または置き換え中に失われないことを意味しています。

Elastic Cloud 上の既存の Elasticsearch アーキテクチャでは、停止の場合に冗長性を確保するために、複数のアベイラビリティゾーンにわたってインデックスを複製する必要があります。私たちはこのデータの永続性をローカルディスクから AWS S3 などのオブジェクトストアに移行するつもりです。このデータの保存に外部サービスを利用することで、インデックスのレプリケーションの必要性がなくなり、取り込みに関連するハードウェアが大幅に削減されます。このアーキテクチャでは、AWS S3、GCP Cloud Storage、Azure Blob Storage などのクラウドオブジェクトストアが可用性ゾーン間でデータを複製する方法により、非常に高い耐久性の保証も提供されます。

インデックスストレージを外部サービスにオフロードすると、インデックス作成と検索の役割を分離して Elasticsearch を再設計することも可能になります。プライマリインスタンスとレプリカインスタンスで両方のワークロードを処理するのではなく、インデックス層と検索層を用意する予定です。これらのワークロードを分離することで、ワークロードを個別にスケーリングできるようになり、それぞれのユースケースに的を絞ったハードウェア選択が可能になります。また、検索とインデックス作成の負荷が相互に影響を与える可能性があるという長年の課題の解決にも役立ちます。

数か月にわたる概念実証と実験段階を経て、これらのオブジェクトストアサービスは、インデックスストレージとクラスターメタデータに対して想定されている要件を満たしていると確信しています。当社のテストとベンチマークでは、これらのストレージサービスは Elastic Cloud で確認された最大規模のクラスターの高いインデックス作成ニーズを満たすことができることが示されています。さらに、データをオブジェクトストアにバックアップすることで、インデックス作成のコストが削減され、検索のパフォーマンスを簡単に調整できるようになります。データを検索するために、Elasticsearch は、データがクラウドネイティブのオブジェクトストアに永続的に保存され、頻繁にアクセスされるデータのキャッシュとしてローカルディスクが使用される、実績のある検索可能なスナップショットモデルを使用します。

区別を容易にするために、既存のモデルを「ノード間」レプリケーションと呼びます。このモデルのホット層では、プライマリシャードとレプリカシャードの両方が、取り込みを処理し、検索リクエストに対応するために同じ重い作業を実行します。これらのノードは、ホストするシャードのデータを安全に永続化するためにローカルディスクに依存するという点で「ステートフル」です。さらに、プライマリシャードとレプリカシャードは同期を維持するために常に通信しています。これは、プライマリシャードで実行された操作をレプリカシャードに複製することによって行われます。つまり、指定されたレプリカごとにそれらの操作のコスト (主に CPU) が発生します。取り込みのためにこの作業を実行する同じシャードとノードが検索リクエストも処理するため、プロビジョニングとスケーリングは両方のワークロードを考慮して実行する必要があります。

検索と取り込み以外にも、ノード間レプリケーションモデルのシャードは、Lucene セグメントのマージなど、他の集中的な責任も処理します。この設計にはメリットもありますが、長年にわたりお客様から学んだことや、より広範なクラウドエコシステムの進化に基づいて、多くのチャンスがあることに気づきました。

新しいアーキテクチャにより、次のような多くの即時および将来の改善が可能になります。

同じハードウェア上で取り込みスループットを大幅に向上させることができます。言い換えれば、同じ取り込みワークロードの効率を大幅に向上させることができます。この増加は、レプリカごとにインデックス操作の重複が削除されたことで発生します。CPU を集中的に使用するインデックス作成操作は、インデックス作成層で 1 回だけ実行すればよく、その後、結果のセグメントがオブジェクトストアに送信されます。そこから、データは検索層でそのまま使用できるようになります。
コンピューティングとストレージを分離して、クラスタートポロジを簡素化できます。現在、Elasticsearch には、データをハードウェアプロファイルと一致させるための複数のデータ層 (コンテンツ、ホット、ウォーム、コールド、フローズン) があります。ホット層はほぼリアルタイムの検索用であり、フローズン層は検索頻度の低いデータ用です。これらの層は価値を提供しますが、複雑さも増大します。新しいアーキテクチャでは、データ層が不要になり、Elasticsearch の構成と操作が簡素化されます。また、インデックス作成と検索を分離することで複雑さがさらに軽減され、両方のワークロードを個別に拡張できるようになります。
ローカルディスクに保存する必要があるデータの量を減らすことで、インデックス層のストレージコストを削減できます。現在、Elasticsearch はインデックス作成のために、ホットノード (プライマリとレプリカの両方) に完全なシャードコピーを保存する必要があります。オブジェクトストアに直接インデックスを作成するステートレスアプローチでは、ローカルデータの一部のみが必要になります。追加のみのユースケースでは、インデックス作成のために特定のメタデータのみを保存する必要があります。これにより、インデックス作成に必要なローカルストレージが大幅に削減されます。
検索クエリに関連するストレージコストを削減できます。検索可能なスナップショットモデルをデータ検索のネイティブモードにすることで、検索クエリに関連するストレージコストが大幅に削減されます。ユーザーの検索待ち時間のニーズに応じて、Elasticsearch では頻繁に要求されるデータのローカルキャッシュを増やす調整が可能になります。

ベンチマーク - インデックス作成スループットが75%向上

このアプローチを検証するために、データが単一のノードでのみインデックス化され、レプリケーションがクラウドオブジェクトストアを通じて実現される、広範な概念実証を実装しました。インデックスのレプリケーションに専用のハードウェアを用意する必要がなくなることで、インデックスのスループットが 75%向上することがわかりました。さらに、オブジェクトストアからデータを取得するだけの CPU コストは、今日のホット層に必要な、データのインデックス作成とローカルへの書き込みよりもはるかに低くなります。つまり、検索ノードは CPU を完全に検索専用にできるようになります。

これらのパフォーマンステストは、3 つの主要なパブリッククラウドプロバイダー (AWS、GCP、Azure) すべてに対して 2 ノードクラスターで実行されました。私たちは、実稼働ステートレス実装を追求しながら、より大きなベンチマークを構築し続けるつもりです。

インデックス作成スループット

CPU使用率

私たちにとって無国籍、あなたにとって貯蓄

Elastic Cloud のステートレスアーキテクチャにより、インデックス作成のオーバーヘッドを削減し、取り込みと検索を個別に拡張し、データ層の管理を簡素化し、スケーリングやアップグレードなどの操作を高速化できます。これは、Elastic Cloud プラットフォームの大幅な近代化に向けた最初のマイルストーンです。