Logstash
データの一元化、変換、保管
Logstashは、無料かつオープンのサーバーサイドデータ処理パイプラインです。膨大な数のソースからデータを取り込み、変換して、お好みの格納庫(スタッシュ)に送信します。
投入 + α
入力、フィルター、出力
Logstashは形式や複雑さを問わず、データを動的に投入、変換、送信します。たとえばGrokフィルターで非構造化データから構造を抽出したり、IPアドレスから地理的座標を解読、あるいはセンシティブ情報を含むフィールドを匿名化・除外することもでき、後工程の処理を楽にします。
入力
形式、サイズ、ソースを問わない
データは多数のシステムにバラバラな形式で散在していたり、サイロ化されていたりします。Logstashはさまざまなインプットをサポートし、多くの一般的なソースから、イベントを同時にプルすることができます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。
各種フィルター
データの解析と変換
データがソースからストアまで転送される間に、Logstashのフィルターが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換し、一般的なフォーマットにまとめて強力な分析に使えるようにします。
Logstashは、形式や複雑さに関係なく、データを動的に変換して整形します:
- grokフィルターを使用して、非構造データから構造を抽出する
- IPアドレスから地理情報を得る
- 個人情報を匿名化し、機密情報フィールドを完全に除外する
- あらゆるソース、フォーマット、スキーマのデータ処理をシンプルにする
豊富なフィルターライブラリや多彩なElastic Common Schemaを使うこともでき、可能性は無限です。
アウトプット
格納場所を選んでデータを転送
出力先のおすすめは、検索と分析の可能性を無限に切り拓くElasticsearchですが、他の出力先もサポートしています。
Logstashはさまざまな出力先に対応し、自由にデータを転送できます。ダウンストリームが多数ある場合も使えるフレキシブルな仕様です。
監視
デプロイを完全に可視化
Logstashの洗練されたパイプラインは幅広い用途に使えます。そのためにもパフォーマンスや、可用性、ボトルネックを把握することが重要です。Elasticの監視とPipeline Viewer機能を使用すると、アクティブなLogstashノードや、デプロイの全体を手軽に監視できます。
管理と制御
ひとつのUIでデプロイを集中管理
パイプライン管理用のUIで複数のLogstashデプロイをまとめて把握でき、パイプラインの制御と管理がシンプルになります。シームレスに接続できるElasticのセキュリティ機能を併用することにより、予期しないデータの漏洩も防止できます。