AutoOps:简化自我管理 Elasticsearch 管理的旅程

探索用于自我管理 Elasticsearch 的 AutoOps(内部部署或私有托管环境)。我们将展示它的价值、如何设置它以及它提供的见解。

通过实时问题检测和切实可行的建议来简化 Elasticsearch 操作,优化性能并降低成本。AutoOps 可用于云部署和自管型部署。了解更多关于 AutoOps 的信息

为自我管理的 Elasticsearch(内部部署或私有托管环境)推出 AutoOps,使 Elasticsearch 更易于管理。本博客将从 DevOps 工程师的视角出发,介绍 AutoOps 的价值、设置方法及其提供的见解,而不是传统的技术功能介绍,因为 AutoOps 的真正价值体现在大规模管理 Elasticsearch 的日常工作中。

第 1 章:背景--大规模自我管理背后的复杂性

操作任何大规模、自主管理的数据平台都可能非常复杂。

一会儿,查询速度快如闪电。其次,摄取滞后,存储成本飙升。这基本上就像管理一个动物园,只不过动物们可以在凌晨 3 点呼唤你。

我的环境也不例外:多个集群、大量跨集群搜索(CCS)和数百个跨部门用户。

我们在日常运行中使用堆栈监控。它提供了图表和指标,但仍需要大量的专业知识和时间才能将各点联系起来。诊断瓶颈或了解何时调整分片策略仍然是一个手动且容易出错的过程。在许多情况下,这些问题会被忽视,直到造成故障、性能下降或意外的存储峰值。

第 2 章:发现 AutoOps

然后是公告:AutoOps 现在可用于自管理集群(内部部署或私有托管环境)。

AutoOps 长期以来一直帮助 Elastic Cloud 用户更高效地管理部署。现在,在企业内部或私有云环境中运行的自主管理集群(ECK、ECE 或独立集群)也能获得这些优势。

AutoOps 的宣传很有诱惑力:

  • 针对摄取瓶颈、不平衡分片、查询速度慢等问题进行实时问题检测
  • 根据集群配置提出可行建议
  • 资源优化洞察力,提高效率,减少浪费支出
  • 安装轻量级代理,无需额外基础设施,设置简单

老实说,任何承诺 "无需额外基础设施 "的东西都会吸引我的全部注意力。

第 3 章:5 分钟内完成设置(是的,真的)

我封锁了下午的行程,储备了咖啡,准备进行漫长的准备工作。出乎我的意料,只用了五分钟:

  1. 登录我的弹性云账户
  2. 决定在哪里运行代理(Docker、Linux 或 Kubernetes)
  3. 输入群集 URL
  4. 只需运行一条命令,即可安装轻量级 Metricbeat 代理

就是这样。我的集群已连接。

没有专门的监控群组。重要的是,AutoOps 只发送指标,这意味着我公司的数据将保存在我的自我管理环境中。

步骤 1:注册弹性云

第 2 步:选择运行代理的位置

第 3 步:输入您的 Elasticsearch 端点和验证方式

第 4 步:安装代理的简单命令

就是这样:几分钟后,AutoOps 将开始显示洞察结果

有关详细信息,请参阅AutoOps 启动文档常见问题

第 4 章:最初的见解,最初的胜利

在短短几分钟内,AutoOps 就开始提出见解,提供根本原因分析和明确的修复步骤。

第一周的亮点包括

  • 标记了未附加于任何 ILM 政策的指数,这些指数已增长过大
  • 其中一个群集有三个空节点,是过去的维护工作留下的
  • 一些节点跨越了水印,几个索引缺少副本
  • 捕捉到一个配置不当的模板
  • 精确定位长期运行的搜索,并建议准确取消命令

AutoOps 检测到群集拒绝索引

AutoOps 检测到某些索引的配置没有副本
在 AutoOps 之前,我们会投入更多硬件来解决这些问题。相反,AutoOps 直接指出了根本原因,修复只需几分钟。

这一次,监控系统不仅向我显示图表,还告诉我如何解决问题。我开始怀疑 AutoOps 是否也能帮助诊断我的家庭 Wi-Fi,并最终将我从家庭 IT 部门中解放出来...

AutoOps 监控分区大小,并在出现大量空分区时发出警报

第 5 章:与我所见相同的支持

第一次打开支持案例时,我意识到了另一个好处:Elastic Support 工程师可以看到与我查看的完全相同的数据和建议。

它把支持变成了合作。与来来回回的票据相比,感觉就像与一位对 Elasticsearch 了如指掌的队友一起工作。

第 6 章:规模运营

在 AutoOps 之前,扩展 Elasticsearch 感觉就像是科学、直觉和部落知识的混合体。

现在,它以数据为导向,具有清晰的可视性和建议:

  • 了解资源利用情况,防止过度配置
  • 更智能的分片分配和分层建议,实现性能平衡
  • 深入了解索引大小,减少浪费的存储空间和硬件成本
  • 在多个群组中更快地分析根本原因

第 7 章:众多云连接服务中的第一个

AutoOps 不仅仅是一个独立的工具。它是面向自营客户的全新云连接服务系列中的首个服务。Cloud Connect 使自营集群能够使用 Elastic Cloud 服务,而无需在自己的环境中安装和管理这些服务的运营开销。功能会自动推出,因此团队可以更快地获得改进,同时降低基础架构的复杂性。

下一个:弹性推理服务(EIS)。

结语

管理大规模、自主管理的部署并不一定是一件难事。

如果您希望更简单的操作,可以将一些工作负载转移到 Elastic Cloud ,无论是托管 云 还是无服务器 云 ,都能以最简单的方式运行 Elasticsearch。

如果您想继续运行自主管理,可将任何具有自主管理企业许可证的集群连接到 Elastic Cloud 中的 AutoOps

TLDR

运行大型自我管理 Elasticsearch 集群既复杂又耗时。AutoOps 带来了实时问题检测、可行建议以及与 Elastic Support 共享的可视性,而无需管理额外的基础架构。设置只需几分钟,洞察力马上就会显示出来。

准备好打造最先进的搜索体验了吗?

足够先进的搜索不是一个人的努力就能实现的。Elasticsearch 由数据科学家、ML 操作员、工程师以及更多和您一样对搜索充满热情的人提供支持。让我们联系起来,共同打造神奇的搜索体验,让您获得想要的结果。

亲自试用