マニュアル

Elasticデータストリームの命名スキームの紹介

By
Nicolas Ruflin

Elastic 7.9では、Elastic AgentとFleet がリリースされ、Elasticsearchで時系列データ用のインデックスとデータストリームを構造化する新しい方法が導入されました。このブログ記事では、Elasticデータストリームの命名スキームの概要とその仕組みについて説明します。これは、Elasticデータストリームの命名スキームに関する一連のブログ記事の第1回目です。

Elasticデータストリームの命名スキーム

Elasticデータストリームの命名スキームは時系列データ用に作られており、次の命名規則を使用してデータセットをさまざまなデータストリームに分割します。

  • 型：データを記述する汎用型
  • データセット：取り込まれたデータとその構造を記述
  • 名前空間：ユーザー設定可能な任意のグループ化

これら３つの部分は「-」で結合され、logs-nginx.access-productionのようなデータストリームが生成されます。3つの部分すべてにおいて、「-」は使用できません。これは、すべてのデータストリームが次のように命名されることを意味します。

{type}-{dataset}-{namespace}

データセットと名前空間の両方にデフォルト値があり、それぞれ dataset=generic と namespace=default です。Elastic Agentの場合、ユーザーがログファイルの取り込みを開始すると、データはlogs-generic-defaultに格納されます。

Elasticデータストリームの命名スキームの利点をフル活用するには、次の3つのフィールドを各ドキュメントに含める必要があります。

  • data_stream.type
  • data_stream.dataset
  • data_stream.namespace

これらのフィールド の詳細は、Elastic Common Schema（ECS）に記載されています。上記のフィールドは 定数キーワード フィールドとしてマッピングされるため、クエリを実行する必要のあるシャードの数を減らすことで、クエリを効率的に実行できます。

Elasticデータストリーム命名スキームの利点

Elasticデータストリームの命名スキームには、BeatsやLogstashが使用していた以前のインデックス戦略に比べていくつかの利点があります。ごく少数の大規模なインデックスの代わりに、より小規模だが密度の高いデータストリームが多数使用されます。利点の簡単な概要：

  • インデックスあたりのフィールド数の削減：データはデータセットごとに複数のデータストリームに分割されるため、各データストリームには最小限のフィールドセットが含まれます。これにより、スペース効率の向上とクエリの高速化が実現します。
  • より細かいデータの制御:データをデータセットと「名前空間」で分割することで、ロールオーバー、保持、セキュリティ権限の細かい管理が可能になります。
  • 柔軟性：ユーザーは「名前空間」を使って、データを自由に分割、整理できます。
  • より良く厳選された体験：Elastic データストリームの命名規則の共通構造により、データストリーム上により良く厳選された体験を構築することが可能です。
  • 必要な取り込み権限の減少：以前はテンプレートの設定や取り込みパイプラインのセットアップはElastic Agentによって行われていました。現在は中央集権的に行われるため、インジェストツールはデータの追加権限のみを必要とします。

Elasticデータストリームの命名スキームの使用

Elasticデータストリーム命名スキームは、Elastic Stackバージョン7.9以降でサポートされています。これは、データストリーム、新しいElasticsearch コンポーネントテンプレート、定数キーワードのサポートを必要とするためです。logs-*-* および metrics-*-* のインデックステンプレートはElasticsearch 7.9以降に同梱されています。Elastic Agent に同梱されるすべてのデータは、Elasticデータストリームの命名スキームを使用します。他のデータシッパーで使用する場合は、命名規則に従い、data_streamフィールドを追加するだけで動作します。

##まとめ

これは、Elasticデータストリームの命名スキームの簡単な要約です。フォローアップのブログ記事では、それが舞台裏でどのように機能するか、Elastic Agentでどのように使用されているか、そしてご自身のためにどのように活用できるかについての技術的な詳細を詳しく説明します。さらなる洞察を得るには、ElasticコミュニティのYouTubeチャンネルでElasticの新しいインデキシング戦略の詳細をご覧ください。