本日、Elasticsearch の新しいインデックス モードである logsdb の一般提供開始を発表しました。これにより、logsdb のない Elasticsearch の最新バージョンと比較して、ログ データのストレージ フットプリントが最大 65% 削減されます。この劇的な改善により、観測性およびセキュリティ チームは、予算を超過することなく可視性を拡張しながら、すべてのデータを分析のためにすぐにアクセスできるようになります。

Logsdbはデータの順序を最適化し、synthetic _sourceで即座に非格納フィールド値を再構築することにより重複を排除します。また、高度なアルゴリズムとコーデックを使用して圧縮を改善するとともに、Elasticsearch内の列型ストレージを活用して、効率的なログのストレージと取得を実現します。

logsdbインデックスモードを使用してストレージ効率を改善し、分析を強化し、コストを削減

ログは、オブザーバビリティとセキュリティの問題を検出し修正するための重要なシグナルを提供します。AIの進歩によりテキストベースのデータの分析が容易になるにつれて、その有用性は増しており、効率的なストレージと高性能なアクセスがこれまで以上に重要になっています。

残念ながら、インフラストラクチャーやアプリケーションによって生成されるログ量の増加はコストを押し上げており、データ収集の制限、保存期間の短縮、最新データをサイロ化されたアーカイブ層に追いやったりといった、分析を妨げる妥協を強いられています。

Logsdbはこれらの課題に直接対処します。ストレージ効率が向上すれば、より多くのデータを収集でき、複雑なデータフィルタリングの手間を避けることができます。脅威ハンティング、インシデント対応、コンプライアンス要件をサポートするために、ログをより長く保持することができます。すべてのデータが常に検索可能であるため、データセットがどれほど大きくなっても、迅速に洞察を得ることができます。

logsdbインデックスモードの背後にある技術的革新

Logsdbインデックスモードは、スマートインデックスソート、synthetic _source、および高度な圧縮を使用して、ログデータのディスクフットプリントを劇的に削減します。これを実装することで、logsdbを使用しない最新バージョンのElasticsearchと比較して、ログストレージの必要量を最大65%削減できます。現在、logsdbはインデキシング時により多くのCPUを使用しますが、その効率的なストレージによって、ほとんどのお客様にとって全体的なコストが削減されます。長期的なデータ保持を必要とするお客様には、総所有コスト（TCO）が最大50%削減されることを見込んでいます。

スマート インデックス ソートにより、類似のデータを近くに配置することで、ストレージ効率が最大 30% 向上し、一部のログ データ セットでのクエリの待機時間が短縮されます。デフォルトでは、インデックスは host.name と @timestamp でソートされます。データにさらに適切なフィールドがある場合は、代わりにそれを指定することもできます。

高度な圧縮により、Zstandard 圧縮 (Zstd)、デルタ エンコーディング、ランレングス エンコーディング、および自動的に選択されるその他のスマート コーデックを通じて、ログなどのテキストを多く含むデータのストレージ要件が大幅に削減されます。圧縮とパフォーマンスが最適化された列形式で保存される Doc-values により、並べ替え、集計、スクリプト用のフィールド値を効率的に保存および取得できます。

合成 _source を使用すると、組織は _source フィールドを破棄し、オンデマンドでそれを完全にまたは部分的に再構築することで、ストレージのニーズをさらに 20 ～ 40% 削減できます。この機能では、インデックス作成と検索により多くの計算が必要になる場合もありますが、テストでは測定可能な純効率の向上がもたらされることが示されています。Synthetic _source は、ほぼ 2 年間のメトリクスを使用した本番環境での使用に基づいて構築されており、ほぼすべてのフィールド タイプのサポートを含む、ログの多数の機能強化が行われています。

結果として得られるストレージの節約は、インデックスライフサイクルの各フェーズに渡って反映されます。ホットティアでのストレージ削減が65％である場合、ウォーム、コールド、フローズンティアでも同様に65%の削減が適用され、スナップショットをバケットストレージに保存する際のフットプリントも削減されます。

可視性を妥協しない：オブザーバビリティとセキュリティのためにすべてのログを保持

ログはインフラストラクチャとアプリケーションの可視性の基盤であり、監視とトラブルシューティングのための最も単純で基本的なシグナルを提供します。しかし、ログの量の増加に伴い、コストが上昇しています。この課題により、お客様は複雑なフィルタリングおよび管理ポリシーを導入する必要に迫られたり、データを早期に削除したり、データを取り出して分析できる状態にするには1日以上かかるストレージに関連ログを格納することを余儀なくされています。完全で、簡単に検索でき、アクセス可能なデータセットがなければ、問題を見つけて解決することは大幅に困難になります。

Logsdb インデックス モードは、検索可能なスナップショットや自動インポートなどの画期的な Elasticsearch 機能を基盤として構築されており、運用チームとセキュリティ チームの次のような問題点に対処します。

コストの削減: Logsdb はログのストレージ フットプリントを最大 65% 削減し、組織がより多くのデータを保持しながらストレージ費用を削減できるようにします。これにより、ホットからフローズンまですべてのストレージ層でコストが削減され、このデータを使用する観測性およびセキュリティ チームの生産性が向上します。

貴重なデータを保存: Logsdb はすべてのログ データを保存し、追加のツールや複雑なフィルターに頼ることなく運用効率を向上させます。合成 _source などの機能を使用すると、ソース ドキュメント全体を保存せずにデータの値を保持できます。

可視性の拡張: Logsdb は、観測性、セキュリティ、履歴データ用の個別のサイロなしで、1 つのプラットフォーム上のすべてのデータへの効率的なアクセスを提供します。サイト信頼性エンジニア (SRE) にとっては、メトリック、トレース、ビジネス データとともにログを分析できるため、問題解決が迅速化されます。同様に、セキュリティ オペレーション センター (SOC) チームにとっては、盲点を排除することで調査と修復が加速されます。

データへのアクセスを合理化: Logsdb を使用すると、SRE チームはトラブルシューティング、傾向分析、分析のために実用的なデータを効率的に保持できます。同様に、SOC チームは、法外なコストをかけずに、調査や脅威ハンティングのためにすべてのデータを迅速に検索できます。

Logsdbはあなたの環境に対応しています

Elasticsearch logsdb インデックス モードは、バージョン 8.17 以降、Elastic Cloud Hosted および Self-Managed のお客様に一般提供され、 Elastic Cloud Serverlessのログではデフォルトで有効になっています。

基本的なlogsdbの機能（スマートインデックスソートや高度な圧縮を含む）は、Standard、Gold、Platinumライセンスをお持ちの組織で利用可能です。ストレージ要件をさらに削減する完全なlogsdb機能（synthetic _sourceを含む）は、サーバーレスのお客様およびエンタープライズライセンスをお持ちの組織で利用可能です。

Elasticsearch logsdb の動作

Logsdbを使用すると、データの収集範囲を狭めたり、データを破棄したりサイロ化したりすることなく、すべてのログデータを保持し、運用効率を向上させることができます。スマートインデックスソート、高度な圧縮、synthetic _sourceなどの機能を活用して、必要なデータを予算内で保持し、分析することができます。

自分で体験してみませんか？Elastic を無料でお試しください。

本記事に記述されているあらゆる機能ないし性能のリリースおよびタイミングは、Elasticの単独裁量に委ねられます。現時点で提供されていないあらゆる機能ないし性能は、すみやかに提供されない可能性、または一切の提供が行われない可能性があります。