今天，我们宣布 Elasticsearch 的新索引模式 logsdb 全面上市，与没有 logsdb 的近期版本 Elasticsearch 相比，它可将日志数据的存储空间占用减少多达 65%。这一显著改进使可观察性和安全团队能够在不超出预算的情况下扩大可观察性，同时保持所有数据可立即访问以进行分析。

Logsdb 索引模式优化了数据排序，通过合成 synthetic _source 实时重建非存储字段值来消除重复，并通过先进的算法和编解码器提高压缩效率，同时在 Elasticsearch 中使用列式存储以实现高效的日志存储和检索。

通过 logsdb 索引模式提高存储效率，增强分析能力并降低成本

日志为检测和解决可观测性和安全问题提供了关键信号，随着 AI 的进步简化了文本数据的分析，其作用日益增加，因此高效的存储和高性能的访问比以往任何时候都更为重要。

遗憾的是，基础架构和应用程序产生的日志量不断增加，导致成本上升，不得不做出一些对分析产生负面影响的妥协：限制收集、减少保留或将新数据归入孤立的存档层级。

Logsdb 直接应对这些挑战。有了更高的存储效率，您就可以收集更多数据，并避免复杂的数据筛选带来的麻烦。您可以将日志保留更长时间，以满足威胁搜寻、事件响应和合规要求。而且，由于所有数据均可搜索，因此无论数据集有多大，都能快速获得见解。

logsdb 索引模式所依托的技术创新

Logsdb 索引模式通过智能索引排序、合成 _source 和高级压缩显著减少了日志数据的磁盘占用。实施它可以将日志存储需求减少高达 65%，与没有 logsdb 的最新版本的 Elasticsearch 相比。尽管 logsdb 目前在索引过程中使用更多的 CPU，但其高效的存储降低了大多数客户的总体成本。对于需要长期保留的客户，我们预计总拥有成本（TCO）可降低最多 50%。

智能索引排序可提高存储效率达 30% ，并通过将类似数据放在一起来减少某些日志数据集的查询延迟。默认情况下，它会按 host.name 和 @timestamp 对索引进行排序。如果您的数据有更合适的字段，您可以指定这些字段。

通过 Zstandard 压缩 (Zstd)、delta 编码、run-length 编码和其他自动选择的智能编解码器，高级压缩大大降低了日志等文本数据的存储要求。Doc-values 以专为压缩和性能优化的列格式存储，可高效存储和检索字段值，用于排序、聚合和脚本编写。

通过舍弃_source字段并按需全部或部分重建 _source 字段，合成_source 使企业能够将存储需求再减少 20-40% 。虽然该功能有时需要更多的计算来进行索引和检索，但测试表明，它带来了可衡量的净效率改进。Synthetic _source 基于近两年的生产使用指标，对日志进行了大量改进，包括支持几乎所有字段类型。

由此产生的存储节省效益会贯穿于索引的整个生命周期阶段。热层存储减少 65%，温层、冷层和冻结层的存储也会相应减少，同时还能减少在桶存储中存储快照所占用的空间。

不影响可见性：保留所有日志，确保可观测和安全性

日志是基础架构和应用程序可见性的基础，提供了监测和故障排除最简单和最基本的信号。然而，随着日志记录量的增长，成本也在不断上升。这一挑战迫使客户实施复杂的筛选和管理策略，过早地删除数据，并将相关日志滞留在需要一天或更长时间才能恢复成可用状态的存储区中，然后再进行分析。如果没有完整、易于搜索和可访问的数据集，查找并解决问题的难度就会大大增加。

Logsdb 索引模式以可搜索快照和自动导入等突破性 Elasticsearch 功能为基础，解决了运营和安全团队的这些痛点：

降低成本： Logsdb 可减少日志的存储空间占用达 65% ，使企业能够在保留更多数据的同时降低存储费用。这意味着所有存储层（从热存储到冷冻存储）都能节约成本，使用这些数据的可观察性和安全团队也能提高工作效率。

保存宝贵数据： Logsdb 可保存所有日志数据并提高运行效率，而无需依赖额外的工具或复杂的过滤器。利用合成 _source 等功能，无需存储整个源文件即可保留数据的价值。

扩大可见性：Logsdb 可在一个平台上高效访问所有数据，而无需为可观察性、安全性和历史数据建立单独的孤岛。对于站点可靠性工程师（SRE）来说，它可以在分析日志的同时分析指标、跟踪和业务数据，从而加快问题的解决。同样，对于安全运营中心 (SOC) 团队来说，它可以通过消除盲点来加快调查和修复工作。

简化数据访问：Logsdb 可让 SRE 团队有效保留可操作的数据，用于故障排除、趋势分析和分析。同样，SOC 团队可以迅速搜索所有数据，进行调查和威胁猎取，而无需承担高昂的成本。

Logsdb 已为您的环境做好准备

Elasticsearch logsdb 索引模式从 8.17 版开始普遍适用于 Elastic Cloud 托管和自管理客户，并默认为 Elastic Cloud Serverless 中的日志启用。

拥有标准、黄金级或白金级许可证的组织可以使用基本 logsdb 功能（包括智能索引排序和高级压缩）。无服务器客户和拥有企业许可证的组织可使用能进一步降低存储要求的完整 logsdb 功能（包括合成 _source）。

运行中的 Elasticsearch logsdb

Logsdb 使您能够保留所有日志数据并提高运营效率，而不会缩小收集范围或丢弃或孤立数据。通过智能索引排序、高级压缩和合成 _source 等功能，您可以在预算允许的范围内保存并分析所需的数据。

想亲自体验一下吗？免费试用 Elastic。

本文中描述的任何功能或功能性的发布和时间均由 Elastic 自行决定。当前尚未发布的任何功能或功能性可能无法按时提供或根本无法提供。