ElasticオブザーバビリティでKubernetesクラスターを管理する

オペレーションエンジニア（SRE、ITマネージャー、DevOps）は、無秩序に増加するテクノロジーやデータの管理にいつも頭を悩ませています。Kubernetesの利用は加速しており、そのデプロイ先についてはAmazon Elastic Kubernetes Service（EKS）、Google Kubernetes Engine（GKE）、Azure Kubernetes Service（AKS）が大半を占めています。単一のクラウドにのみデプロイする場合もありますが、複数のKubernetesクラウドサービスにデプロイしてクラスター管理の手間が増えることもあります。クラウドプロバイダーのややこしさに加えて、デプロイした多数のサービスから生成される大量のオブザーバビリティデータやテレメトリーデータも管理しなければなりません。

Kubernetesクラスターとそこで実行されるアプリケーションで生成されるログ、メトリック、トレースからそれらのステータスや状態を把握する日々の業務は、とてつもない課題となるでしょう。しかし、オペレーションエンジニアの立場では、こうした重要なデータはすべて、問題の予防、予測、修正に欠かせません。ただ、トラブルシューティングやサポートのためにKubernetesのテレメトリーデータを可視化して分析しなければならない場合に、複数のツールに散在するメトリック、ログ、トレースの全量が不要なことは間違いありません。

Elasticオブザーバビリティは、Elasticが得意とするロギングだけでなく、多岐にわたる一元的なオブザーバビリティ機能を備えており、膨大なKubernetesのメトリックやログの管理に役立ちます。OpenTelemetryとAPMエージェントを通じてあらゆるメトリック、ログ、トレースデータを一元化することで、Kubernetesクラスターとそこで実行されるアプリケーションの稼働状況についてきめ細かなインサイトやコンテキストを得られます。

Elasticオブザーバビリティであれば、クラスターの場所（EKS、GKE、AKS、セルフマネージド）やアプリケーションに関係なく、Kubernetesの監視をシンプルに行えます。ノード、ポッド、コンテナー、アプリケーション、インフラ（AWS、GCP、Azure）のメトリック、インフラやアプリのログ、そしてアプリケーショントレースのすべてを、Elasticオブザーバビリティで監視できます。

このブログでは、以下について説明します。

• Elastic Cloudで、ホストのログやメトリック（システムメトリック、コンテナーの統計）およびKubernetes上で実行されているあらゆるサービスのログを取り込むElastic Agent（DaemonSetとしてクラスターに簡単にデプロイ可能）を使用して、メトリックやログデータを集約して取り込む方法
• ElasticオブザーバビリティであらゆるKubernetesクラスターコンポーネント（ポッド、ノード、サービス、名前空間など）のテレメトリーデータ（ログ、メトリック、トレース）を一元化する方法

このブログの内容を実際に試してみたい方のために、本デモに使用したコンポーネントと詳細設定を以下に挙げます。

• Elastic Cloudにアカウントがあり、デプロイしたスタックがあること（手順はこちら）。
• デモにはGKEを使用しましたが、Kubernetesクラスターのデプロイ先はどこでも構いません。
• 非常に人気の高いHipsterShopデモアプリケーションのバリアントを使用しました。このアプリケーションは元々、Kubernetesを紹介するためにGoogleが作成したもので、OpenTelemetry Demoアプリをはじめとする多数のバリアントが存在します。このアプリを使用するには、こちらにアクセスして、指示に従ってデプロイしてください。Kubernetesのメトリックを取り込むためのotelcollectorをデプロイする必要はありません。これについては後ほど説明します。
• ElasticはPrometheusとFluentDからのネイティブインジェストに対応していますが、このブログではElastic Agentを介してKubernetesクラスターから直接取り込む方法をご紹介します。ElasticでPrometheusやFluentD/bitからテレメトリーを取り込む方法については、続編のブログでご紹介する予定です。

Elasticで監視および分析できる対象

Elasticを設定してKubernetesクラスターのメトリックやログを取り込み可視化する手順について説明する前に、利便性の高いElasticのダッシュボードを簡単にご紹介します。

前述のとおり、GKE上でHipsterShopのバリアントを実行し、Kubernetes統合でElastic AgentをGKEクラスター上にDaemonSetとしてデプロイしました。エージェントをデプロイすると、ElasticはKubernetesクラスター（厳密に言えばkube-state-metrics）からメトリックの取り込みを開始し、さらにクラスターからすべてのログ情報を取り込みます。

Elasticには、クラスター概要ダッシュボードやポッドダッシュボードのほかにも、以下のような便利なOOTBダッシュボードが複数用意されています。

• Kubernetes概要ダッシュボード（上図）
• Kubernetesポッドダッシュボード（上図）
• Kubernetesノードダッシュボード
• Kubernetesデプロイダッシュボード
• Kubernetes DaemonSetsダッシュボード
• Kubernetes StatefulSetsダッシュボード
• Kubernetes CronJob & Jobsダッシュボード
• Kubernetesサービスダッシュボード
• 今後定期的に追加予定

これらのダッシュボードをカスタマイズしたり、独自のダッシュボードを作成することもできます。

上の図からわかるように、KubernetesクラスターでElastic Agentを使用すると、KubernetesクラスターのメトリックだけでなくKubernetesのログもすべて取得できます。

上のグラフはログの異常検知の様子であり、9月21日～23日の期間における怪しいログを示しています。下のグラフでは、9月上旬と下旬にCPUの問題が発生したと示しているkubernetes.pod.cpu.usage.nodeメトリックを分析し、詳細を掘り下げています。クラスターテレメトリーについては、機械学習によるマルチメトリック分析と集団分析を組み合わせて、上に示した単一メトリックの問題よりも複雑な分析を実行できます。

Elasticには、Kubernetesクラスターテレメトリーの分析を強化する優れた機械学習機能が用意されています。Elasticにテレメトリーデータを取り込む方法はとても簡単であり、次のセクションでその手順について説明します。

任意のクラウドサービスまたはローカルKubernetesプラットフォーム上のKubernetesクラスターにアプリをデプロイします。Kubernetes上でアプリを起動すると、default名前空間で以下のポッド（または何らかのバリアント）が実行されます。

次に、kube-state-metricsを有効にする必要があります。

まず、以下のコマンドを実行します。

次に、サンプルディレクトリ下にあるkube-state-metricsディレクトリで、標準設定を適用します。

これでkube-state-metricsが有効になり、kube-system名前空間で以下のようなポッドが実行されます。

Kubernetes統合を追加する：

1. 
2. Elasticで、統合機能に移動して［Kubernetes Integration］（Kubernetes統合）を選択し、［Add Kubernetes］（Kubernetesの追加）を選択します。
3. Kubernetes統合の名前を指定します。
4. 設定画面でkube-state-metricsを有効にします。
5. ［new-agent-policy-name］（新規エージェントポリシー名）テキストボックスで、設定に名前を付けます。
6. 設定を保存します。これで、統合とポリシーを作成できました。

エージェントポリシーの内容とElastic Agentでの使用方法については、こちらをご覧ください。

1. Kubernetes統合を追加します。
2. 次に、先ほど作成したポリシーを選択します。
3. ［Add Agent］（エージェントの追加）のステップ3で、マニフェストをクリップボードにコピーするかダウンロードします。
4. kubectlを実行しているシェルにマニフェストを追加してelastic-agent-managed-kubernetes.yamlとして保存し、以下のコマンドを実行します。

kube-system名前空間に、DaemonSetの一部として多数のエージェントが表示されます。

このデモのクラスターでは、4つのノードと4つのelastic-agentsがDaemonSetの一部として起動しています。

さらに、Elasticで直接すべてのポッドのログを参照することもできます。

上の例では、frontendServiceとcartServiceのログを検索しています。

Kubernetesクラスターからは、たとえシンプルなデプロイであっても複雑なメトリック、ログ、トレースデータが生成されるものです。本記事にて、これらのクラスターやメトリック、ログ、トレースデータの管理にElasticオブザーバビリティが役立つことをご理解いただけたなら幸いです。

以下に、この記事で説明した内容を簡単にまとめます。

• DaemonSetとしてクラスターに簡単にデプロイしホストのメトリック（システムメトリック、コンテナーの統計）およびKubernetes上で実行されているあらゆるサービスのメトリックを取り込めるElastic Agentを使用して、Elastic Cloudでメトリックやログデータを集約して取り込む方法
• ElasticであらゆるKubernetesクラスターコンポーネント（ポッド、ノード、サービス、名前空間など）のテレメトリーデータ（Kubernetesのログ、メトリック、トレース）を一元化する方法
• MTTHH（平均勤務時間）を短縮するElasticの機械学習機能

準備は整いましたか？登録して、このブログで紹介した機能をぜひお試しください。