Elastic 数据分层策略：优化以实现韧性与高效部署

各组织青睐 Elastic，是因为它具备速度快、可扩展性强、可定制性高以及功能丰富等特点。正因如此，他们经常发现 Elastic 的新用例。当在未考虑数据如何存储、管理和使用的情况下采集大量数据时，这就会成为一个挑战，并可能导致数据管理方面的瓶颈。随着数据的增长，他们当前的设置难以应对新的需求，已达到其硬件和许可的极限。

如果您的组织正面临这些问题，其解决方案比您预期的更易于管理。

克服这一挑战的方法是制定与您的业务目标相一致的数据策略。与其基于随意要求收集和保留数据，不如自问以下几个问题：

1. 需要收集哪些数据才能推动实现业务目标？

2. 此数据的使用频率如何？

3. 是否存在一个过期日期，在此日期之后该数据将不再具有价值？

4. 此数据是否有合规性要求？

根据上述问题的答案，组织可以制定业务驱动型数据策略，以优化数据的存储和利用方式，从而最大限度地利用其在 Elastic 上的现有投资。

为了展示采用此策略的益处，让我们来探索一个经历过此过程的客户案例研究。 

该客户通常每天处理 5TB 数据，平均每秒处理 250,000 个事件。然而，有时数据量会增加到每天 7TB，每秒 350,000 个事件。该客户的 Elastic 实施重点在于摄取海量安全数据，并将其提供给安全运营中心 (SOC) 团队，以便他们搜索有关网络事件和欺诈调查的信息。

此次实施非常成功，客户随后增加了新的用例，这些用例要求更长的数据保留时间，以及从更广泛的数据源中获得更快的搜索能力。他们设定的业务成果目标如下：

• 日志优化：通过优化数据层，组织可以加强其日志管理实践，确保在合适的时间保留合适的日志，从而提高运营效率并确保合规。

• 改进的许可利用率：高效的存储分层意味着更好的许可利用率，使各组织能够充分利用现有资源，并可能避免不必要的许可成本。

• 提高业务效率：能够更高效地从日志中获取见解，从而提高业务效率，实现更快的决策制定和更明智的战略规划。

• 引入新用例：借助优化的数据层，组织可以轻松引入新用例，在无需大量基础架构投资的情况下扩展其数据分析能力。

• 清晰的数据策略：优化的数据分层有助于制定清晰的数据策略，确保数据可靠、易于访问并得到有效治理，从而为数据驱动型决策奠定基础。

数据分层是一个复杂且微妙的话题，值得专门写一篇博文来详细阐述。然而，就定义数据策略而言，不同的数据层可以简化为三个主要用途：摄取、搜索和存储。

• 摄取（热层）： 以尽可能快的速度和最小的延迟摄取数据。

• Search（热层和温层）： 快速搜索数据并处理大型数据集。

• Store（存储）（冷层和冻结层）：根据需要存储数据，并执行低频的即席搜索。

了解各种数据保留要求对于合规性和高效的数据管理至关重要。不同的法规需要不同的保留期限：

• SOX 保留要求： 7 年

• HIPAA 数据保留要求： 6 年

• PCI DDS 数据保留要求： 1 年

• 巴塞尔协议 II 数据保留要求： 3–7 年

• GDPR 员工记录：

  • 工资：3 年

  • 税务记录：6 年

  • 姓名，地址：3 年

• 公平劳动标准法： 2–3 年

先前架构
先前的架构拥有两个数据中心，并采用四层存储实现，以满足各种数据处理需求。这种实现方式需要更多的硬件、许可证以及运营管理开销。

无论数据如何使用，客户都将所有日志保留了 90 天。

• 7 天热存储层

• 2 天温

• 10 天（冷存储层）

• 冻结状态下的剩余天数

该客户在热层和温层中使用了相同的硬件。温层仅用于强制合并可搜索式快照的索引。温层和冷层在 CPU 和存储方面的利用率都非常低。冻结层范围较窄，导致历史搜索速度缓慢。

分层数据策略使组织能够优化近期数据的性能，同时高效地存储海量数据。通过利用分片分配感知，组织可以定义每一层的特征，并根据数据策略安排索引的迁移。这确保了数据在任何时候都能存储在最合适的硬件层上，从而在性能和成本考量之间取得平衡。

在规划 Elastic 增长时，内存与存储比率是一个关键考量因素。以下是 Elastic 客户可用的四种存储级别：

• 热层： 针对摄取和搜索性能进行了优化，通常使用高速 SSD，内存与存储比率约为 1:30

• 温热层： 针对存储容量进行了优化，利用 SSD 或 HDD，内存与存储比率约为 1:160

• 冷层： 使用可搜索式快照作为副本，针对存储容量进行了优化（尽管存储比例与温层相同，但移除本地副本可将存储需求减半。）

• 冻结层： 针对归档目的进行了优化，采用廉价的快照存储和本地磁盘缓存，以提供超过 1:1,000 的内存存储比

在我们的分析中，我们评估了各种存储配置的总体拥有成本 (TCO)，以优化另一位客户的 Elastic 实施方案。以下是这些配置及其相关成本的详细明细：

•  自管型 ES 集群

• 1 TB 每日摄取

•  总保留期 365 天

优化存储分层不仅仅是为了节省成本；更是为了使各组织能够不断发展并适应新的挑战和机遇。 

通过运用数据战略原则来应对 Platform 优化挑战，组织能够促进新的用例，提高数据可靠性，并增强其整体数据战略。 查看我们的文档，了解您的组织如何利用数据分层构建具有弹性和高效的 Elastic 实施方案。