Elastic 数据分层策略：为弹性及高效的实施而优化

作者：来自 Elastic Michael Calizo, Tim Lee

在 Elastic，我们大多数成功的客户实施都是从单一用例开始的，旨在满足特定的业务需求。Elastic 最初被采用通常是因为开发人员欣赏它提供的功能。然而，由于其灵活性和可定制性，客户倾向于扩大其采用范围以满足各种需求，例如日志记录和应用程序性能监控、SIEM 和安全操作，甚至利用 Elastic 中已有数据的更复杂的搜索用例。

在当今的 IT 环境中，仅仅存储数据（日志、跟踪、指标和文档）是不够的。组织需要一种解决方案，使其团队能够快速有效地访问和利用这些数据。效率是数据管理的关键，因为每一点存储的数据都会产生硬件、许可、维护和管理成本。

在这篇博客中，我们将分析拥有大量数据的组织如何优化跨不同层级的存储方式，以节省成本并从数据中获得更多价值。

挑战：高效且可扩展的数据管理

组织喜欢 Elastic，因为它的速度、可扩展性、可定制性和功能性。正因为如此，他们经常会发现 Elastic 的新用例。当大量数据被提取而不考虑如何存储、管理和使用数据时，这就会成为一个挑战，这可能会导致数据管理出现瓶颈。随着数据的增长，他们当前的设置难以满足新的需求，达到硬件和许可证的极限。

如果你的组织遇到这些问题，解决方案比你预期的更易于管理。

解决方案：业务驱动的数据策略

克服这一挑战的方法是定义符合业务目标的数据策略。不要根据任意要求收集和保留数据，而是问自己以下问题：

需要收集哪些数据来推动业务目标？
这些数据使用的频率是多少？
这些数据是否有到期日期，在此日期之后不再有价值？
这些数据是否有合规性要求？

根据上述问题的答案，组织可以创建业务驱动的数据策略来优化数据的存储和使用方式，从而最大限度地利用其对 Elastic 的现有投资。

案例研究

为了展示采用此策略的好处，让我们来探讨一个经历过此过程的客户的案例研究。

此客户通常每天处理 5TB 的数据，平均每秒处理 250,000 个事件。但是，有时数据量会增加到每天 7TB 和每秒 350,000 个事件。Elastic 为该客户实施的重点是提取大量安全数据，并将其提供给安全运营中心 (security operations center - SOC) 团队，以搜索有关网络事件和欺诈调查的信息。

此实施非常成功，以至于客户添加了新的用例，需要更长的数据保留时间和更快的搜索功能，这些搜索功能来自更广泛的数据源。他们的目标是以下业务成果：

日志优化：通过优化数据层，组织可以增强日志管理实践，确保在适当的时间内保留正确的日志，提高运营效率和合规性。
提高 license 用率：高效的存储分层意味着更好的 license 利用率，使组织能够充分利用其现有资源并避免不必要的 license 成本。
提高业务效率：更有效地从日志中获取见解的能力可以提高业务效率，从而实现更快的决策和更明智的战略规划。
加入新的用例：借助优化的数据层，组织可以轻松加入新的用例，扩展其数据分析能力，而无需大量基础设施投资。
清晰的数据策略：优化的数据分层有助于制定清晰的数据策略，确保数据可靠、易于访问和有效治理，为数据驱动的决策奠定基础。

数据分层

数据分层是一个复杂而微妙的话题，值得专门写一篇博客来阐述。但是，为了定义数据策略，可以将不同的数据层简化为三个主要用途：摄取、搜索和存储。

摄取（hot tier - 热层）：以最小的延迟尽快摄取数据。
搜索（hot and warm tier - 热层和温层）：快速搜索数据并处理大型数据集。
存储（cold and frozen tier - 冷层和冻结层）：根据需要存储数据并执行低频临时搜索。

数据增长和保留

了解数据保留要求的范围对于合规性和高效数据管理至关重要。不同的法规需要不同的保留期限：

SOX 保留要求：7 年
HIPAA 数据保留要求：6 年
PCI DDS 数据保留要求：1 年
Basel II 数据保留要求：3-7 年
GDPR 员工记录：
- 工资：3 年
- 税务记录：6 年
- 姓名、地址：3 年
公平劳动标准法：2-3 年

旧架构与新架构

旧架构

旧架构有两个数据中心，采用四层存储实现，可满足各种数据处理需求。此实现需要更多硬件、许可证和运营管理开销。

客户保留所有日志 90 天，无论数据如何使用。

7 天热层
2 天暖层
10 天冷层
剩余天数为冻结层（也即 71 天）

客户在热层和温层（hot and warm）中使用相同的硬件。温层仅用于强制合并可搜索快照的索引。温层和冷层的 CPU 和存储利用率都很低。冻结层很窄，导致历史搜索速度很慢。

新架构

在审查了数据的使用方式后，发现了以下结果：

大多数高容量数据仅在提取后的前 24 小时内被搜索。
24 小时后，数据的主要用途是安全调查，这需要临时搜索。
一些选定的索引需要保留更长时间才能生成报告。
由于新的合规性要求，数据需要保留长达一年。

迁移到热/冷/冻结架构

热层节点具有足够的容量来执行强制合并活动，从而允许移除温层（warm tier）。
大多数数据可以在 36 小时后从热层直接转换到冻结层。
需要本地存储以用于报告用例的数据可以保存在冷层中。
热层也可以减少，因为需要保留的数据更少。
扩展冻结层会增加可用于搜索的缓存量，从而提高搜索性能。此外，它允许将数据保存一年，而不仅仅是 90 天。

存储优化

更好的存储密度：冷层可以利用可搜索的快照作为副本。冻结层将所有数据存储在快照存储库中，并仅将查询结果缓存在其本地缓存中。
更少的数据复制需要更少的节点，从而降低硬件和许可证利用率。
所有层都使用相同的存储要求，允许轻松整合和重用硬件。
这些变化释放了 20-30 个节点和许可证，这些节点和许可证被重新用于构建其他用例。

新架构旨在整合日志记录和安全工作负载的硬件配置文件，可能引入第三个区域以提高弹性。它还专注于存储优化，包括更好的存储密度和减少数据复制，从而减少所需的节点并优化许可证利用率。该架构允许整合硬件配置文件。

重新架构的好处

改进的数据保留策略：更高效的存储分层策略可以实现更好的数据保留，这对于安全性和合规性目的尤为重要。
简化平台管理：整合硬件配置文件并减少所需的节点数量可以简化平台管理，降低运营开销。
减少硬件占用空间：优化计算资源和存储密度可以减少硬件占用空间，节省空间和能源。
增强投资回报率：通过优化存储层，组织可以获得更好的投资回报，充分利用现有基础设施。

新架构的优点包括管理更简单、许可证和硬件利用率更高、数据保留时间更长、部署规模更小，从而加快升级速度并提高基础设施弹性。但是，潜在的缺点可能是由于更多数据存储在冻结层中，导致某些需要快速存储和高 IOPS 的用例的搜索性能变慢。

实施策略

分层数据策略允许组织优化近期数据的性能，同时高效存储大量数据。通过利用分片分配意识，组织可以定义每个层的特征并根据数据策略安排索引的迁移。这可确保在任何给定时间将数据存储在最合适的硬件层上，从而平衡性能和成本考虑因素。

示例存储层和内存比率

在规划 Elastic 增长时，内存与存储比率是一个至关重要的考虑因素。以下是 Elastic 客户可用的四个存储层：

热层：针对提取和搜索性能进行了优化，通常使用高速 SSD，内存与存储比率约为 1:30
温层：针对存储容量进行了优化，使用 SSD 或 HDD，内存与存储比率约为 1:160
冷层：针对存储容量进行了优化，使用可搜索快照作为副本（尽管存储比率与热层相同，但删除本地副本会使存储需求减半。）
冻结层：针对存档目的进行了优化，使用廉价的快照存储和本地磁盘缓存来提供超过 1:1,000 的内存与存储比率

不同存储配置的高层成本分析

在我们的分析中，我们评估了各种存储配置的总拥有成本 (total cost of ownership - TCO)，以优化另一个客户的 Elastic 实施。以下是这些配置及其相关成本的详细分类：

自我管理的 ES 集群
每日 1TB 摄取
总保留 365 天

Configuration	Retention days	Nodes	Hardware cost	Snapshot storage cost	Total cost (TCO)
Hot-warm	7 hot, 358 warm	4 hot, 60 warm	$44,954	$7,665	$52,619
Hot-warm-cold	7 hot, 90 warm, 268 cold	4 hot, 15 warm, 23 cold	$28,231	$7,665	$36,795
Hot-warm-frozen	7 hot, 90 warm, 268 frozen	4 hot, 15 warm, 3 frozen	$17,051	$7,665	$22,204
Hot-frozen	7 hot, 358 frozen	4 hot, 4 frozen	$6,198	$7,665	$12,066