icon

Logstash

The Elastic Stack

Logstashは、オープンソースのサーバーサイドデータ処理パイプラインです。膨大な数のソースから同時にデータを取り込み、変換して、お好みの格納庫(スタッシュ)に送信します。お勧めのスタッシュは、もちろんElasticsearchです。

Logstash
徹底解説:Logstash入門。   ビデオを見る
NewLogstash 6.7で、ネイティブJavaプラグインのサポートがベータ公開されました。 さらに詳しく

入力

データはさまざまな形式で多数のシステムに渡って分散しているものですが、Logstashは多様な入力プラグインで、様々なソースから同時にイベントを取り込みます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。

入力

データはさまざまな形式で多数のシステムに渡って分散しているものですが、Logstashは多様な入力プラグインで、様々なソースから同時にイベントを取り込みます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。

フィルター

5.10.83.30
user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET/apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

2000-10-10T13:55:36.000Z.

"GET /apache_pb.gif HTTP/1.0" 200 2326

データがソースからストアまで転送される間に、Logstashのfilterが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換して、ビジネスバリューをもたらす分析に最適な、一般的なフォーマットにまとめます。

  • grokフィルターを使用して、非構造データから構造を抽出する
  • IPアドレスから地理情報を得る
  • 個人情報を匿名化し、機密情報フィールドを完全に除外する
  • あらゆるソース、フォーマット、スキーマのデータを容易に処理する

豊富なフィルタライブラリを使えば、可能性は無限です。

フィルター

データがソースからストアまで転送される間に、Logstashのfilterが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換して、ビジネスバリューをもたらす分析に最適な、一般的なフォーマットにまとめます。

  • grokフィルターを使用して、非構造データから構造を抽出する
  • IPアドレスから地理情報を得る
  • 個人情報を匿名化し、機密情報フィールドを完全に除外する
  • あらゆるソース、フォーマット、スキーマのデータを容易に処理する

豊富なフィルタライブラリを使えば、可能性は無限です。

出力

理想的な出力先はElasticsearchですが、他の出力先ももちろん利用できます。検索と分析の可能性が阻害されることはありません。

Logstashではさまざまな出力先を指定でき、自由にデータを転送できます。この高い柔軟性により、ダウンストリームが多数ある場合でも利用できます。

出力

理想的な出力先はElasticsearchですが、他の出力先ももちろん利用できます。検索と分析の可能性が阻害されることはありません。

Logstashではさまざまな出力先を指定でき、自由にデータを転送できます。この高い柔軟性により、ダウンストリームが多数ある場合でも利用できます。

ArcSightNetflowといった人気のデータソースの投入・分析は、Logstashのモジュールにお任せください。入力パイプラインやダッシュボードが自動的に作成され、すぐにデータ探索を開始できます。

拡張性

Logstashには、200を超えるプラグインを持つフレームワークがあります。さまざまな入力、フィルター、アウトプットを組み合わせて、スムーズに動くパイプラインを作ることができます。

プラグイン開発用のAPIとプラグインジェネレータを使えば、プラグインの作成と共有もすぐにできます。

信頼性とセキュリティ

たとえ10の、あるいは1000ものLogstashが動作していても、パイプラインは完全に保護されています。Beatsやその他のデータソースからの入力も暗号化でき、保護されたElasticsearchクラスターとの統合も完璧です。

監視

Logstashの洗練されたパイプラインはさまざま用途に利用可能です。そのためにもパフォーマンスや、可用性、ボトルネックを把握することは重要です。オプションの監視機能を使用して、アクティブなLogstashノードや、その他のコンポーネントを手軽に監視することができます。

管理と制御

パイプライン管理用のUIで、複数のLogstashのパイプラインを制御します。Elastic Stackのセキュリティ機能との併用で、予期しないデータの漏洩を防止します。