icon

Logstash

集中、转换和存储数据

Logstash 是开源的服务器端数据处理管道,能够同时从多个来源采集数据,转换数据,然后将数据发送到您最喜欢的“存储库”中。

刚接触 Logstash?立即使用并运行。

观看视频

了解如何使用 Logstash 对 CSV 文件进行解析并将内容采集到 Elasticsearch 中。

观看视频

成为 Elastic 认证工程师,从而在使用 Elasticsearch 的过程中获得更多机遇。

了解详情

在 Logstash 7.4 中,管道到管道通信功能现已正式推出。

采集,还有更多

输入、过滤器和输出

Logstash 能够动态地采集、转换和传输数据,不受格式或复杂度的影响。利用 Grok 从非结构化数据中派生出结构,从 IP 地址解码出地理坐标,匿名化或排除敏感字段,并简化整体处理过程。

输入

采集各种样式、大小和来源的数据

数据往往以各种各样的形式,或分散或集中地存在于很多系统中。 Logstash 支持 各种输入选择 ,可以在同一时间从众多常用来源捕捉事件。能够以连续的流式传输方式,轻松地从您的日志、指标、Web 应用、数据存储以及各种 AWS 服务采集数据。

过滤器

实时解析和转换数据

数据从源传输到存储库的过程中,Logstash 过滤器能够解析各个事件,识别已命名的字段以构建结构,并将它们转换成通用格式,以便更轻松、更快速地分析和实现商业价值。

  • 利用 Grok 从非结构化数据中派生出结构
  • 从 IP 地址破译出地理坐标
  • 将 PII 数据匿名化,完全排除敏感字段
  • 简化整体处理,不受数据源、格式或架构的影响

我们的过滤器库丰富多样,拥有无限可能。

输出

选择您的存储库,导出您的数据

尽管 Elasticsearch 是我们的首选输出方向,能够为我们的搜索和分析带来无限可能,但它并非唯一选择。

Logstash 提供众多输出选择,您可以将数据发送到您要指定的地方,并且能够灵活地解锁众多下游用例。

可扩展

以您自己的方式创建和配置管道

Logstash 采用可插拔框架,拥有 200 多个插件。您可以将不同的输入选择、过滤器和输出选择混合搭配、精心安排,让它们在管道中和谐地运行。

从自定义应用程序采集数据?没有看到所需的插件?Logstash 插件很容易构建。我们有一个极好的插件开发 API 和插件生成器,可帮助您开始创作并分享成果。

即插即用

使用 Elastic Stack 更快获得洞察

Logstash 模块通过热门的数据源(如 ArcSight 和 Netflow )呈现瞬间可视化的体验。通过立即部署采集管道和复杂的仪表板,您在短短几分钟内便可开始数据探索。

可靠性与安全性

构建可信的交付管道

假如 Logstash 节点发生故障,Logstash 会通过持久化队列来保证至少将运行中的事件送达一次。那些未被正常处理的消息会被送往死信队列 (dead letter queue) 以便做进一步处理。由于具备了这种吸收吞吐量的能力,现在您无需采用额外的队列层,Logstash 就能平稳度过高峰期。此外,我们还能让您充分确保自己采集管道的安全性。

Monitoring

全方位监视您的部署

Logstash 管道通常服务于多种用途,会变得非常复杂,因此充分了解管道性能、可用性和瓶颈异常重要。借助监测和管道查看器功能,您可以轻松观察和研究处于活动状态的 Logstash 节点或整个部署。

管理和编排

使用单个 UI 集中管理部署

借助 Pipeline 管理图形界面 (UI) 来管理 Logstash 的部署,您可以轻而易举地编排和管理自己的管道。此外,此项管理功能也与内置 Security 功能无缝集成,用以避免任何意外操作。