新的 Elastic 和 Amazon S3 Storage Lens 集成:简化管理、控制成本并降低风险

blog-thumb-cloud-aws.png

数据和应用程序以指数级的速度增长,快速生成日志、指标和跟踪,使得存储和管理变得更加复杂。借助新的 Elastic 和 Amazon Simple Storage Service (Amazon S3) Storage Lens 集成,客户可在整个组织范围内全面了解 Amazon S3 使用情况和活动指标,以及其他 AWS 和本地部署数据集。

SRE 和 DevOps 工程师目前可以使用 Elastic 搜索平台的强大搜索和分析功能,包括仪表板功能、内置 Machine Learning 分析和基于阈值的警报,以识别趋势并将 Amazon S3 Storage Lens 数据与环境中的其他性能指标关联起来。他们还可以利用这些见解,识别不常访问的对象并将其迁移至成本较低的存储中来优化存储成本。

让我们进一步深入了解 Elastic 与 S3 Storage Lens 集成,以及如何轻松地将 S3 Storage Lens 指标传输到 Elastic Cloud

存储使用情况一目了然

Amazon S3 提供具有成本效益和灵活性的存储服务,但要想在大型组织中优化不断增长的存储桶的利用率和成本效益,难免会面临诸多挑战。借助 Elastic,DevOps 和基础架构团队可以查看、汇总和分析 S3 Storage Lens 指标以及安全事件、应用程序指标和系统日志,从而做出关于存储优化的明智决策。

Elastic 可观测性可以跨整个云和本地部署生态系统提供统一可见性,让用户可以监测环境中任何地方发生的事件并做出响应。Elastic 将日志、指标和跟踪集于一个堆栈中,并具有 Machine Learning 功能,可在最终用户受到影响之前检测性能问题并找出根本原因。

  • 查看 S3 Storage Lens 的指标和其他 AWS 数据集(如 Amazon Elastic Compute Cloud (Amazon EC2) 和 Amazon S3 Glacier),以及其他云和本地部署数据集。
  • 使用时序数据建模来检测当前数据中的异常,并基于历史数据预测未来趋势。
  • 利用阈值警报,在 Amazon S3 对象存储指标于设定的时间间隔内高于或低于某个阈值时发送通知,从组织层面一直到 Amazon S3 账户或存储桶层面确定存储利用率过高和利用率不足问题。
  • 识别可迁移至其他较低成本存储(如 Amazon S3 Glacier 或 Amazon S3 Glacier Deep Archive)的可存档对象,将成本控制在预算范围之内。
  • 通过基础架构监测、APM 和最终用户体验监测方面的广泛功能,包括端到端分布式跟踪、错误跟踪、服务依赖关系映射、运行时间和 API 运行状况,优化性能和可用性。

用户可以直接从 Kibana Web UI 中安装 Elastic 和 S3 Storage Lens 集成,该集成包含预构建警报和交互式仪表板,可帮助组织从数据中快速获取最大价值。Elastic 可提供不同的分析选项,从可定制的预构建仪表板和完全可定制的仪表板,到为从业者工作流量身定制的特定用例 UI,不一而足。

检测和调查不断变化的威胁,并做出有效应对

Elastic 提供通用架构和单一存储库,因此来自 S3 Storage Lens 和其他数据集的相同可观测性数据也可用于扩展检测与响应 (XDR),从而将平均检测时间降至零。Elastic 安全将信息安全和事件管理 (SIEM) 和 Endpoint Security 结合在一起,使组织能够从不同来源采集和保留大量数据,将数据存储更长时间以供搜索,并通过检测和 Machine Learning 增强威胁猎捕能力。消除数据孤岛,减少警报疲劳,并帮助组织做好在云扩展环境中迅速阻止威胁的万全准备。

经济高效地存储数据、日志和指标

大多数组织保留历史数据是为了更好地了解模式并提高其操作标准,但在维护数据可访问性的同时,往往也面临着降低存储成本的挑战。好消息:Elastic 帮助组织在 Amazon S3 等低成本对象存储中保留大量历史数据,同时保持数据完全处于活跃和可搜索状态。组织便能够安全地保留其 AWS 和本地部署日志、事件和指标,以满足使用、分析和合规性目的。以任何粒度、任何时间长度保存数据,然后随着数据的增长进行扩展。根据组织的数据性能、恢复能力和保留要求,通过索引生命周期管理和自动扩展功能,实现数据管理分层的自动化。

开始使用 Elastic 和 Amazon S3 Storage Lens

以下参考架构图展示了将多个 S3 存储桶指标从 CloudWatch 指标传输到 Elastic Cloud 的相对标准的过程。

实施步骤:

在 Kibana UI 中进入 Management(管理)->Integrations(集成),并搜索 S3 Storage Lens。单击 AWS S3 Storage Lens 集成以查看更多详情,单击 Add AWS S3 Storage Lens(添加 AWS S3 Storage Lens)并提供适当的配置,然后单击 Save integration(保存集成)

为代理提供收集 AWS S3 Storage Lens 指标所需的所有必要信息。支持多种 AWS 凭证方法,包括访问密钥、临时安全凭证和 IAM 角色 ARN。有关更多详细信息,请参阅安全和权限文档

AWS S3 Storage Lens 指标由 AWS 发布在 CloudWatch 上,每 24 小时发布一次。Elastic 代理将默认每天收集数据,或根据代理配置降低数据收集频率。

导航至 Kibana 仪表板,在 [Metrics AWS] S3 Storage Lens Overview([指标 AWS] S3 Storage Lens 概述)仪表板中查看已解析和可视化的数据。请记住,可能需要 24 小时才能在开箱即用的仪表板上查看数据。

探索使用 Kibana Lens 收集的各种自定义用例的指标。

总结

准备好降低操作复杂性,并从单一管理平台上分析 Amazon S3 对象存储数据与其他日志、指标和跟踪了吗?Elastic 致力于不断改进,为客户提供轻松流畅的体验,使他们能够在选择运行地点和方式时随心所欲;与 AWS 的简化集成就是我们在不断进步的一个例证。

有关其他 AWS 集成的更多信息,请访问 Elastic 集成库。要开始使用 AWS 上的 Elastic,请访问 AWS Marketplace (Elastic)elastic.co

本文所描述的任何功能或特性的发布及上市时间均由 Elastic 自行决定。当前尚未发布的任何功能或特性可能无法按时提供或根本不会提供。