Logstashの紹介編集

Logstashは、リアルタイムのパイプライン機能を備えたオープンソースのデータ収集エンジンです。Logstashは、異なるデータソースのデータを動的に統合し、そのデータを選択した出力先に合わせます。多様で高度なダウンストリーム分析と可視化の事例向けにすべてのデータをクレンジングし、誰でも使えるようにします。

本来、Logstashはログ収集における革新を牽引していますが、その機能はその事例に留まりません。収集プロセスをさらにシンプルにする多数のネイティブコーディックにより、数多くのinput、filter、およびoutputのプラグインであらゆる種類のイベントを整形し変換することができます。Logstashは、大量かつ多様なデータを利用して、分析を促進します。

Logstashの威力編集

Elasticsearchの収集エンジン以上

強力なElasticsearchとKibanaのシナジーを備えた水平にスケーラブルなデータ処理パイプライン

プラグ可能なパイプラインアーキテクチャ

さまざまなinput、filter、およびoutputを組み合わせ、調整して、パイプラインを調和

*コミュニティによる拡張が可能で開発者が使いやすいプラグインエコシステム*

200を超えるプラグインが利用可能であるだけでなく、独自のプラグインを柔軟に作成、共有することが可能

static/images/logstash.png

Logstashはデータ重視編集

データを収集するほど、より多くのことがわかります。Logstashは、あらゆる形式やサイズのデータを扱えます。

ログとメトリクス編集

すべてここから始まります。

  • あらゆる種類のログデータを処理

    • 多数のApacheなどのWebログやJavaのlog4jなどのアプリケーションログを容易に収集
    • syslogWindows event logs、ネットワークやファイアウォールのログなど、多様な形式のログをキャプチャ
  • Filebeatとの安全で補足的なログ転送を利用
  • GangliacollectdNetFlowJMXを始めとする数多くのインフラストラクチャとアプリケーションプラットフォームのメトリクスをTCPUDPを通して収集

Web編集

World Wide Webを解放します。

  • HTTPリクエストをイベントに変換

    • ソーシャルセンチメント分析にTwitterなどのWebサービスFirehoseから習得
    • GitHub、HipChat、JIRAを始めとする無数のアプリケーションのWebhookサポート
    • 数多くの Watcherアラート事例
  • オンデマンド方式のHTTPエンドポイントのポーリングによりイベントを作成

    • Webアプリケーションインターフェイスからヘルス、パフォーマンス、メトリクスといったさまざまな種類のデータを広く一般にキャプチャ
    • 受信よりもポーリングの制御が優先される状況に最適

データの格納とストリーム編集

すでに所有しているデータからさらなる価値を見つけます。

  • JDBCインターフェイスを使用して、リレーショナルデータベースまたはNoSQLストアからのデータの理解を深める
  • Apache KafkaRabbitMQAmazon SQSZeroMQのようなメッセージングキューからのさまざまなデータストリームを統合

センサとIoT編集

その他の広大なデータを探索します。

  • この技術の進歩した時代に、大規模なIoT世界は、接続したセンサーからのデータの利用を通して、無数の使用事例を解放しています。
  • Logstashは、モバイル機器からインテリジェントホーム、接続された車、ヘルスケアセンサなど数多くの業界固有アプリケーションに送信されたデータを取得する、イベント収集の共通バックボーンです。

簡単にすべてを整形編集

データが良ければ良いほど、知識は深まります。取得時にデータをきれいにして変換し、インデックス作成時または出力時にほぼリアルタイムの情報をすぐに取得します。Logstashは、パターン照合、ジオマッピング、動的なルックアップ機能とともに、数多くの集約や変形ですぐに使用できます。

  • Grokは、主要なLogstashフィルタで、非構造データから構造を展開するために至る所で使用されます。Web、システム、ネットワークを始めとする各種のイベント形式をすばやく分析することを目的とした数多くの統合パターンを利用してください。
  • IPアドレスからの位置座標の解読、複雑な 日付 の標準化、キーと値のペアおよび CSV データの単純化、機密情報の匿名化、および ローカルルックアップ やElasticsearchのクエリでのデータの整形により視野が広がります。
  • JSONイベントやmultilineイベントのような共通イベント構造の処理を容易にするために、コーディックがよく使用されます。

格納庫の選択編集

最も重要なデータを転送します。データの格納、分析、および措置により、さまざまなダウンストリームの分析事例と運用事例を明らかにします。

分析

アーカイブ

監視

アラート