AWSで稼働するすべてのElastic Cloud Serverlessプロジェクトに対して、主要なインフラのアップグレードを完了し、より新しく高速なハードウェアへの移行を行いました。この変更は、すべてのサーバーレスプロジェクトに自動的に適用されました。AWS上のElasticsearch、Elastic Observability、Elastic Securityのサーバーレスプロジェクトにおいて、より高いスループットと低いレイテンシを実現します。

開発者にとっての主なパフォーマンス上のメリット

新しいAWSハードウェアインフラは、Elastic Cloud Serverlessで行われるすべての作業の基盤となり、アプリケーションの速度と応答性に目に見えるメリットをもたらします。

クエリのレイテンシの短縮…スループットの向上

ハードウェアの改良によりコンピューティングリソースの速度が劇的に向上し、検索クエリがこれまで以上に高速に処理されるようになります。

• 検索とベクトル検索：従来の全文クエリを実行している場合でも、最先端のベクトル検索を使用して生成AIと検索拡張生成（RAG）アプリケーションを実行している場合でも、レイテンシが大幅に減少します。内部ベンチマーキングでは、検索レイテンシが平均35%減少したことが示されました。

• より高速なインデキシング：データのインジェスト速度が最適化されているため、膨大なデータ量や複雑なドキュメントのインデキシングがスループット向上とともに可能になります。これは、ほぼリアルタイムのデータ可視性を必要とするアプリケーションにとって非常に重要です。内部ベンチマークではインデキシングスループットの平均26%増加が示されました。

負荷下でも安定したパフォーマンス

Elastic Cloud Serverlessは、ワークロードに関係なく、需要に合わせてリアルタイムで動的に自動スケーリングし、レイテンシを最小限に抑えるように設計されています。このハードウェアのアップグレードにより、スケーリングのパフォーマンスと応答性が向上しました。

• スパイクを容易に処理：ユーザートラフィックの突然の急増や大量のバッチデータ取り込みに直面している場合でも、新しいインフラにより、検索とインデキシングのリソースがより効率的にスケールアップし、一貫して低いレイテンシが維持されます。

• 最適化されたコンピューティングとストレージの分離：サーバーレスアーキテクチャはコンピューティングとストレージを分離し、ワークロードを個別にスケールして、最適なパフォーマンスとコスト効率を実現します。より高速なハードウェアによりコンピューティング層が強化され、この分離設計の効率が最大化されます。

舞台裏：内部のベンチマーク結果

AWSインフラのアップグレードの影響を定量化するため、Elasticのエンジニアリングチームは、さまざまなサーバーレスワークロードに対して包括的な社内ベンチマークを実施しました。これらのワークロードは、ユースケースに関係なく、アプリケーション全体で期待できるパフォーマンスの改善に関する実証的な証拠を提供しました。

ベンチマーキングのアプローチ

私たちは、開発者エクスペリエンスとアプリケーションの応答性に直接影響する主要なメトリクス、応答時間（つまり、レイテンシ）と検索およびインデキシング操作のスループットにテストを集中させました。

• テスト対象のワークロード：テストには、ユーザー向けアプリケーションに典型的な高同時検索操作、複雑なベクトル検索クエリ、オブザーバビリティとセキュリティのユースケースのための大量データのインジェスト/インデキシングが含まれていました。特に、私たちのテスト手法では、ElasticのベンチマーキングツールであるRallyの公開データセットを使用しました。

  • wikipedia: 汎用テキスト検索のパフォーマンスを測定するためにWikipediaのテキストコンテンツのスナップショットから生成されたデータセット。

  • MSMARCO-Passage-Ranking：低密度ベクトルフィールドの検索パフォーマンスを測定するためのMicrosoftのMachine Reading Comprehension (MS MARCO) から派生したデータセット。

  • OpenAI_Vector：高密度ベクトルフィールドの検索パフォーマンスを測定するための、BEIRのNQから派生し、OpenAIのtext-embedding-ada-002モデルによって生成された埋め込みで強化されたデータセット。

• 測定：旧インフラと新インフラのパフォーマンスを比較し、最悪ケースのテールレイテンシを99パーセンタイル（P99）で測定し、操作回数を1秒あたりで計測しました。結果の一貫性を確保するために、各トラックはハードウェアプロファイルごとに5回実行されました。

• 目標：私たちの目的は、インフラストラクチャーが、急速な自動スケーリングの期間中でも、一貫してより速く、より予測可能なパフォーマンスを提供する能力を検証することでした。

パフォーマンスデータの概要

結果では、効率と速度が大幅に向上したことが確認されました。これらの利点は、ユーザーの応答時間の短縮や、より少ないコンピュートリソースで同じ量の作業を完了できることによる運用コストの削減に直結します。

以下の表は、定量的な改善点の詳細です。スループット値は高いほど好ましく、レイテンシは値が低いほど好ましいです。

検索ベンチマーク結果：

ベンチマーク

比較

旧インフラ

新しいインフラ

差

`wikipedia`（プレーンテキスト）

検索操作のスループット（ops/s）

729

1107

＋52％

`wikipedia`（プレーンテキスト）

検索操作のレイテンシ（p99、ミリ秒）

56

35

-37%

`MSMARCO-Passage-Ranking`（低密度ベクトル）

検索操作のスループット（ops/s）

22

31

+40％

`MSMARCO-Passage-Ranking`（低密度ベクトル）

検索操作のレイテンシ（p99、ミリ秒）

108

67

-38%

`OpenAI_Vector`（高密度ベクトル）

検索操作のスループット（ops/s）

475

624

+31%

`OpenAI_Vector`（高密度ベクトル）

検索操作のレイテンシ（p99、ミリ秒）

35

22

-37%

インデキシングベンチマークの結果：

ベンチマーク

比較

旧インフラ

新しいインフラ

差

`wikipedia`（プレーンテキスト）

検索操作のスループット（ops/s）

2845

3220

+13%

`wikipedia`（プレーンテキスト）

検索操作のレイテンシ（p99、ミリ秒）

1769

1120

-37%

`MSMARCO-Passage-Ranking`（低密度ベクトル）

検索操作のスループット（ops/s）

7087

8900

+26%

`MSMARCO-Passage-Ranking`（低密度ベクトル）

検索操作のレイテンシ（p99、ミリ秒）

824

677

-18%

`OpenAI_Vector`（高密度ベクトル）

検索操作のスループット（ops/s）

2972

3187

+7%

`OpenAI_Vector`（高密度ベクトル）

検索操作のレイテンシ（p99、ミリ秒）

2946

2944

0%

追加のボーナス：コスト削減

私たちは低レイテンシのパフォーマンスを提供することに重点を置いていますが、新しいハードウェアの効率性もElasticsearchプロジェクトのコストに直接的なプラスの影響を与えます。

Elasticsearch Serverlessの価格設定は使用量ベースで、消費した取り込みと検索リソースに対してのみ料金が発生します。新しく高速なハードウェアはより効率的であるため、ワークロードはより少ないリソースを使用してタスクを完了することが多くなり、ほとんどのプロジェクトで本質的なコスト削減につながります。高額な費用をかけずに、最高のパフォーマンス向上を実現できます。まさに効率の最適化です。

開発者にとっての意義

このインフラストラクチャーのアップグレードはElasticによって完全に管理されるため、移行や構成の変更を行う必要はありません。改善は、AWSベースのすべてのサーバーレスプロジェクトで即座かつ自動的に行われます。

このアップグレードにより、次のことが可能になります。

• より高速なアプリケーションを構築：基盤となる検索プラットフォームがユーザーが求める速度を提供していることを認識しながら、機能の速度に重点を置けます。

• 自信を持ってイノベーションを実現：プラットフォームが最高のパフォーマンスで負荷を処理できることを保証しながら、ベクトル検索や関連性ランキングなどの複雑なAI機能を含む新しい検索、オブザーバビリティ、セキュリティの機能をデプロイします。

• スタックを簡素化：インフラ管理、容量計画、スケーリングを処理する完全に管理されたサービスを使用することで、コードとデータに集中できます。