Elasticデータティアリング戦略：回復力と効率性に優れた導入の最適化

組織がElasticを高く評価する理由は、そのスピード、拡張性、カスタマイズ性、そして機能性にあります。このため、Elasticの新たなユースケースが頻繁に見出されています。データの格納、管理、使用方法を考慮せずに大量のデータが投入されると、データ管理のボトルネックにつながり、課題となります。データが増大するにつれ、現在のセットアップでは新たなニーズへの対応が困難になり、ハードウェアやライセンスの限界に達してしまいます。

組織でこれらの問題が発生している場合、そのソリューションは予想よりも管理しやすいものです。

この課題を克服する方法は、ビジネス目標に沿ったデータ戦略を定義することです。恣意的な要件に基づいてデータを収集・保持するのではなく、次の質問を自問してみてください：

1. ビジネス目標を達成するために、どのようなデータを収集する必要がありますか？

2. このデータはどの程度の頻度で使用されますか？

3. このデータが価値を失う有効期限はありますか？

4. このデータにコンプライアンス要件はありますか？

上記の質問への回答に基づき、組織はビジネス主導のデータ戦略を策定してデータの格納方法と活用方法を最適化し、Elasticへの既存の投資効果を最大化できます。

この戦略を採用するメリットを示すために、このプロセスを経験したお客様のケーススタディを見ていきましょう。 

この顧客は通常、1日あたり5TBのデータを処理し、1秒あたり平均250,000件のイベントを扱っています。ただし、ボリュームが1日あたり7TB、1秒あたり350,000イベントに増加することもあります。この顧客向けのElasticの実装は、大量のセキュリティデータを取り込み、それをセキュリティオペレーションセンター（SOC）チームがサイバーインシデントや不正調査に関する情報を検索できるようにすることに重点を置いていました。

この導入は非常に成功したため、顧客はより広範なデータソースからの長期間のデータ保持と、より高速な検索する機能を必要とする新たなユースケースを追加しました。彼らは以下のビジネス成果を目標としました：

• ログの最適化：データティアを最適化することで、組織はログ管理の実践を強化し、適切なログを適切な期間保持して、運用効率とコンプライアンスの遵守を向上させることができます。

• ライセンス利用率の向上：効率的なストレージティアリングはライセンス利用率の向上を意味し、組織が既存のリソースを最大限に活用して、不要なライセンスコストを回避できる可能性があります。

• ビジネス効率の向上：ログから洞察をより効率的に見つけ出すことでビジネス効率が改善され、迅速な意思決定と、より情報に基づいた戦略的計画が可能になります。

• 新しいユースケースのオンボーディング：最適化されたデータティアにより、組織は新しいユースケースを簡単にオンボーディングでき、大規模なインフラ投資なしでデータ分析機能を拡張できます。

• 明確なデータ戦略：最適化されたデータティアリングは明確なデータ戦略に寄与し、データの信頼性、容易なアクセス性、効果的なガバナンスを確保することで、データに基づく意思決定の基盤を築きます。

データティアリングは複雑で微妙なトピックであり、解説するには専用のブログ記事が必要です。しかし、データ戦略を定義する目的においては、さまざまなデータティアを「取り込み」、「検索する」、「格納する」という3つの主な用途に簡略化できます。

• 取り込み（ホットティア）： 最小限のレイテンシで、可能な限り迅速にデータを投入します。

• 検索する（HotおよびWarmティア）： データを高速に検索し、大規模なデータセットを処理します。

• 格納する（ColdティアおよびFrozenティア）： 必要な期間データを格納し、低頻度のアドホック検索します。

データ保持要件の範囲を理解することは、コンプライアンスと効率的なデータ管理のために不可欠です。規制によって必要な保持期間は異なります：

• SOX保持要件： 7年間

• HIPAAデータ保持要件： 6年間

• PCI DDSデータ保持要件： 1年

• バーゼルIIデータ保持要件： 3～7年

• GDPR従業員レコード：

  • 賃金：3年間

  • 税務記録：6年

  • 氏名、住所：3年間

• 公正労働基準法： 2～3年

従来のアーキテクチャ
従来のアーキテクチャでは、さまざまなデータ処理ニーズに対応するために4層のストレージ実装を備えた2つのデータセンターが必要でした。この実装では、より多くのハードウェア、ライセンス、および運用管理上のオーバーヘッドが必要となっていました。

その顧客は、データの使用方法にかかわらず、すべてのログを90日間保持しました。

• 7日間（Hot）

• 2日間ウォーム

• 10日間のコールド

• フローズン状態の残り日数

その顧客は、HotティアとWarmティアの両方で同じハードウェアを使用していました。Warmティアは、検索可能なスナップショットのためのインデックスの強制マージ専用に使用されていました。WarmティアとColdティアは、CPUとストレージの両面で非常に十分に活用されていませんでした。Frozenティアが狭かったため、履歴を検索するのが低速になりました。

階層型データ戦略により、組織は大量のデータを効率的に格納しつつ、最新データに対するパフォーマンスを最適化できます。シャード割り当て認識を活用することで、組織は各ティアの特性を定義し、データ戦略に従ってインデックスの移行をスケジュールできます。これにより、データは常に最適なハードウェアティアに格納され、パフォーマンスとコストのバランスが保たれます。

メモリとストレージの比率は、Elasticの拡張を計画する際に考慮すべき重要な要素です。Elasticのお客様が利用可能な4つのストレージティアを以下に示します。

• Hotティア： インジェストと検索するパフォーマンスに最適化されており、通常はメモリとストレージの比率が約1:30の高速SSDを使用します

• ウォームティア： ストレージ容量向けに最適化されており、メモリ対ストレージ比が約1:160のSSDまたはHDDを利用します。

• コールドティア： 検索可能なスナップショットをレプリカとして使用し、ストレージ容量を最適化します（ストレージ比率はウォームティアと同じですが、ローカルレプリカを削除することでストレージ要件が半分になります）。

• Frozenティア： アーカイブ目的で最適化されており、安価なスナップショットストレージとローカルディスクキャッシュを使用して、1：1,000を超えるメモリ対ストレージ比を実現します

当社の分析では、別の顧客のElastic実装を最適化するために、さまざまなストレージ構成の総所有コスト (TCO) を評価しました。以下に、これらの構成とそれに関連するコストの詳細な内訳を示します。

• セルフマネージドのESクラスター

•  1日あたり1TBのインジェスト

•  合計保持期間 365日

ストレージティアリングの最適化は、単なるコスト削減ではありません。組織が進化し、新たな課題や機会に適応できるようにするためのものです。

データ戦略の原則を用いてPlatform最適化の課題に取り組むことで、組織は新しいユースケースを促進し、データの信頼性を向上させ、全体的なデータ戦略を強化できます。ドキュメントを確認して、データティアリングを使用して組織がどのようにElasticのレジリエントで効率的な実装を構築できるかをご覧ください。