AutoOps: セルフマネージド Elasticsearch 管理を簡素化する旅

セルフマネージド Elasticsearch (オンプレミスまたはプライベートにホストされた環境) 向けの AutoOps を探ります。その価値、設定方法、そしてそれが提供する洞察について紹介します。

リアルタイムの問題検出と実行可能な推奨事項を活用して、Elasticsearchの運用を簡素化し、パフォーマンスを最適化してコストを削減します。AutoOpsはクラウドおよびセルフマネージド導入に対応しています。AutoOpsについて詳しくはこちら

セルフマネージド Elasticsearch (オンプレミスまたはプライベートにホストされた環境) 用の AutoOps を導入し、Elasticsearch の管理を容易にします。このブログでは、従来の技術的な機能のウォークスルーではなく、DevOps エンジニアの観点から、AutoOps の価値、設定方法、および AutoOps が提供する洞察の種類を紹介します。AutoOps の真の価値は、大規模な Elasticsearch を管理する日常業務で最もよくわかるからです。

第1章:背景 - 大規模な自己管理の複雑さ

大規模な自己管理型データ プラットフォームの運用は複雑になる可能性があります。

ある瞬間、クエリは超高速になります。次に、取り込みの遅れとストレージコストの急上昇が発生します。基本的には動物園を経営しているようなものですが、動物たちが午前3時に呼び出しをかけてくることがあります

私の環境も同様です。複数のクラスター、大量のクラスター間検索 (CCS)、部門をまたがる数百人のユーザーです。

日常業務にはスタック モニタリングを使用します。グラフやメトリクスは提供されますが、点と点をつなぐには依然として多くの専門知識と時間がかかります。ボトルネックを診断したり、シャード戦略をいつ調整するかを把握したりすることは、依然として手動でエラーが発生しやすいプロセスです。多くの場合、問題は、停止、パフォーマンスの低下、予期しないストレージの急増を引き起こすまで気付かれません。

第2章: AutoOpsの発見

その後、 AutoOpsがセルフマネージド クラスター (オンプレミスまたはプライベートにホストされた環境) で利用できるようになるという発表がありました。

AutoOps は長年にわたり、Elastic Cloud ユーザーがデプロイメントをより効率的に管理できるよう支援してきました。現在、オンプレミスまたはプライベート クラウド環境で実行されるセルフマネージド クラスター (ECK、ECE、またはスタンドアロン) でも、同じメリットを享受できます。

AutoOps の売り文句は魅力的です。

  • 取り込みボトルネック、不均衡なシャード、遅いクエリなどのリアルタイムの問題検出
  • クラスタの構成に合わせた実用的な推奨事項
  • 効率性を向上させ、無駄な支出を削減するためのリソース最適化の洞察
  • 軽量エージェントのインストールによるシンプルなセットアップ - 追加のインフラストラクチャは不要

正直なところ、「追加のインフラストラクチャは不要」と約束するものにはすべて完全に注目しました。

第3章: 5分でセットアップ(本当に)

私は午後の時間をブロックし、コーヒーを買い込み、長時間の準備に備えました。驚いたことに、たった5分しかかかりませんでした。

  1. Elastic Cloudアカウントにログインしました
  2. エージェントを実行する場所を決定する(Docker、Linux、Kubernetes)
  3. クラスターURLを入力しました
  4. 1つのコマンドを実行するだけで、軽量なMetricbeatエージェントがインストールされます

それでおしまい。クラスターが接続されました。

プロビジョニングする専用の監視クラスターはありません。さらに重要なのは、AutoOps はメトリックのみを送信するため、会社のデータは自己管理環境に保存されるということです。

ステップ1:Elastic Cloudにサインアップする

ステップ2: エージェントを実行する場所を選択する

ステップ3: Elasticsearchエンドポイントと認証方法を入力します

ステップ4: エージェントをインストールするための簡単なコマンド

数分後にはAutoOpsがインサイトを表示し始めます

詳細については、 AutoOps オンボーディング ドキュメントFAQを参照してください。

第4章:最初の洞察、最初の勝利

数分以内に、AutoOps は洞察を明らかにし、根本原因の分析とそれを解決するための明確な手順を提供し始めました。

最初の週のハイライトは次のとおりです:

  • 大きくなりすぎたILMポリシーに関連しないフラグ付きインデックス
  • 1つのクラスターには、過去のメンテナンス作業から残された3つの空ノードがありました。
  • いくつかのノードがウォーターマークを越えており、いくつかのインデックスにレプリカがありませんでした
  • 不適切に構成されたテンプレートを検出しました
  • 長時間実行された検索を特定し、正確なキャンセルコマンドを提案しました

AutoOpsはクラスタがインデックス作成を拒否していることを検出しました

AutoOps は、一部のインデックスがレプリカなしで構成されていることを検出しました
AutoOps が登場する前は、こうした問題に対処するためにさらに多くのハードウェアを投入していたでしょう。代わりに、AutoOps は根本原因を直接指摘し、修正には数分しかかかりませんでした。

今回、監視システムは単にグラフを表示するだけでなく、問題を解決する方法も教えてくれました。AutoOps が自宅の Wi-Fi の診断にも役立ち、最終的に家族の IT 部門としての負担から解放されるのではないかと考え始めました...

AutoOpsはシャードのサイズを監視し、空のシャードが多数ある場合に警告を発しました。

第5章:私が見ているものを見るサポート

初めてサポートケースを開いたとき、もう 1 つの利点に気付きました。Elastic Support のエンジニアが、私が確認していたのとまったく同じデータと推奨事項を確認できるのです。

サポートがコラボレーションに変わりました。チケットをやり取りする代わりに、Elasticsearch を隅々まで熟知したチームメイトと一緒に作業しているような感覚でした。

第6章:大規模な運用

AutoOps が導入される前は、Elasticsearch のスケーリングは科学、本能、部族の知識が混ざり合った作業のように感じられました。

今ではデータ主導型となり、明確な可視性と推奨事項が提供されます。

  • 過剰プロビジョニングを防ぐためのリソース使用率の可視性
  • バランスの取れたパフォーマンスを実現する、よりスマートなシャード割り当てと階層化の推奨事項
  • 無駄なストレージとハードウェアのコストを削減するインデックスのサイズ設定の洞察
  • 複数のクラスターにわたるより迅速な根本原因分析

第7章: 多くのクラウド接続サービスの最初のもの

AutoOps は単なるスタンドアロン ツールではありません。これは、セルフマネージド顧客向けの新しいCloud Connected Servicesセットの最初のものです。Cloud Connect により、セルフマネージド クラスターは、独自の環境にこれらのサービスをインストールして管理する運用オーバーヘッドなしで、Elastic Cloud サービスを利用できるようになります。機能は自動的に展開されるため、チームはインフラストラクチャの複雑さを軽減しながら、より早く改善を受けることができます。

次は、Elastic Inference Service (EIS) です。

最後に

大規模な自己管理型展開の管理は、必ずしも大変な作業である必要はありません。

さらに操作を簡素化したい場合は、ホスト型かサーバーレス型かを問わず、一部のワークロードをElastic Cloudに移動して、Elasticsearch を最も簡単に実行できます。

セルフマネージドで実行を継続したい場合は、セルフマネージドEnterprise ライセンスを持つ任意のクラスターをElastic Cloud の AutoOps に接続します。

要約

大規模な自己管理型 Elasticsearch クラスターの実行は複雑で時間がかかります。AutoOps は、追加のインフラストラクチャを管理することなく、リアルタイムの問題検出、実用的な推奨事項、Elastic Support との可視性の共有を実現します。セットアップには数分しかかからず、すぐに分析情報が表示されます。

最先端の検索体験を構築する準備はできましたか?

十分に高度な検索は 1 人の努力だけでは実現できません。Elasticsearch は、データ サイエンティスト、ML オペレーター、エンジニアなど、あなたと同じように検索に情熱を傾ける多くの人々によって支えられています。ぜひつながり、協力して、希望する結果が得られる魔法の検索エクスペリエンスを構築しましょう。

はじめましょう