Logstash

データの一元化、変換、保管

Logstashは、無料かつオープンのサーバーサイドデータ処理パイプラインです。膨大な数のソースからデータを取り込み、変換して、お好みの格納庫(スタッシュ)に送信します。 

Logstashを活用しませんか?すぐに使いはじめることができます。
動画を視聴する
LogstashでCSVファイルをパースして、Elasticsearchに投入する方法をご紹介しています。
動画を視聴する
Elasticsearchのスキルが身につくElastic認定エンジニアの資格で、プロジェクトとキャリアの可能性が広がります。
さらに詳しく

投入 + α

入力、フィルター、出力

Logstashは形式や複雑さを問わず、データを動的に投入、変換、送信します。たとえばGrokフィルターで非構造化データから構造を抽出したり、IPアドレスから地理的座標を解読、あるいはセンシティブ情報を含むフィールドを匿名化・除外することもでき、後工程の処理を楽にします。

入力

形式、サイズ、ソースを問わない

データは多数のシステムにバラバラな形式で散在していたり、サイロ化されていたりします。Logstashはさまざまなインプットをサポートし、多くの一般的なソースから、イベントを同時にプルすることができます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。

Diagram of Logstash inputs

各種フィルター

データの解析と変換

データがソースからストアまで転送される間に、Logstashのフィルターが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換し、一般的なフォーマットにまとめて強力な分析に使えるようにします。 

Logstashは、形式や複雑さに関係なく、データを動的に変換して整形します。

  • grokフィルターを使用して、非構造データから構造を抽出する
  • IPアドレスから地理情報を得る
  • 個人情報を匿名化し、機密情報フィールドを完全に除外する
  •  あらゆる ソース、フォーマット、スキーマのデータ処理をシンプルにする

豊富なフィルターライブラリや多彩なElastic Common Schemaを使うこともでき、可能性は無限です。

Diagram of Logstash filters

アウトプット

格納場所を選んでデータを転送

出力先のおすすめは、検索と分析の可能性を無限に切り拓くElasticsearchですが、他の出力先もサポートしています。 

Logstashはさまざまな出力先に対応し、自由にデータを転送できます。ダウンストリームが多数ある場合も使えるフレキシブルな仕様です。

Diagram of Logstash outputs

拡張性

パイプラインを思いのままに作成、設定

プラグインを着脱できるフレームワークが特徴のLogstash。プラグインの種類は200を超えます。多様な入力元、フィルター、出力先を自在に組み合わせて、スムーズに動くパイプラインを作ることができます。

カスタムアプリケーションから投入する最適なプラグインが見つからなくても、心配いりません。Logstashプラグインは開発も簡単です。プラグイン開発用のAPIとプラグインジェネレータを使えば、すぐにプラグインを作成して共有できます。

モジュールですぐにはじめる

Elastic Stackにすぐ投入、瞬時にインサイトを取得

ArcSightやNetFlowといった人気のデータソースの投入と分析は、Logstashのモジュールにお任せください。入力パイプラインやダッシュボードが自動的に作成され、すぐにデータ探索を開始できます。

Screenshot of Arcsight

信頼性とセキュリティ

データパイプラインの高い信頼性 

万が一Logstashノードがダウンしても、処理中のイベントを確実に1回以上届ける永続キューを備えています。永続キューは処理されなかったイベントをデットレターキューに退避させ、後で再び処理します。またスループットの吸収機能も搭載。外部キューレイヤーを使用せず、投入量のスパイクに応じてスケールします。安全性にも配慮し、投入パイプラインを確実に保護できるよう設計しています。

管理と制御

ひとつのUIでデプロイを集中管理

パイプライン管理用のUIで複数のLogstashデプロイをまとめて把握でき、パイプラインの制御と管理がシンプルになります。シームレスに接続できるElasticのSecurityを併用することにより、予期しないデータの漏洩も防止できます。

Diagram of Logstash

高い信頼と評価