Logstash

集中、转换和存储数据

Logstash 是免费且开放的服务器端数据处理管道,能够从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。

刚接触 Logstash?立即部署并运行。
观看视频
了解如何使用 Logstash 对 CSV 文件进行解析并将内容采集到 Elasticsearch 中。
观看视频
成为 Elastic 认证工程师,助力您在使用 Elasticsearch 的过程中获得更多机遇。
了解详情

不止是采集

输入、筛选和输出

Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式,或分散或集中地存在于很多系统中。Logstash 支持各种输入选择,可以同时从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

Diagram of Logstash inputs

筛选

实时解析和转换数据

数据从源传输到存储库的过程中,Logstash 筛选器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便进行更强大的分析和实现商业价值。 

Logstash 能够动态地转换和解析数据,不受格式或复杂度的影响:

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化,完全排除敏感字段
  • 简化整体处理,不受数据源、格式或架构的影响。  

使用我们丰富的筛选器库和功能多样的 Elastic Common Schema,您可以实现无限丰富的可能。

Diagram of Logstash filters

输出

选择您的存储库,传输您的数据

尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。 

Logstash 提供了众多输出选择,您可以将数据发送到所需的位置,并且能够灵活地解锁众多下游用例。

Diagram of Logstash outputs

可扩展

以您自己的方式创建和配置管道

Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、筛选器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。

从定制应用程序采集数据?没有看到所需的插件?Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器,可帮助您开始创作并分享成果。

即插即用

使用 Elastic Stack 更快获得洞察

Logstash 模块通过热门的数据源(如 ArcSight 和 Netflow )呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板,您在短短几分钟内便可开始数据探索。

Screenshot of Arcsight

可靠性与安全性

构建可信的交付管道 

假如 Logstash 节点发生故障,Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力,现在您无需采用额外的队列层,Logstash 就能平稳度过高峰期。此外,我们还能让您充分确保自己采集管道的安全性。

管理和编排

使用单个 UI 集中管理部署

借助 Pipeline 管理图形界面 (UI) 来管理 Logstash 的部署,您可以轻而易举地编排和管理自己的管道。此外,此项管理功能也与内置 Security 功能无缝集成,用以避免任何意外操作。

Diagram of Logstash

下列客户已在使用,并深受他们的信任和喜爱