Logstashの紹介edit
Logstashは、リアルタイムのパイプライン機能を備えたオープンソースのデータ収集エンジンです。Logstashは、異なるデータソースのデータを動的に統合し、そのデータを選択した出力先に合わせます。多様で高度なダウンストリーム分析と可視化の事例向けにすべてのデータをクレンジングし、誰でも使えるようにします。
本来、Logstashはログ収集における革新を牽引していますが、その機能はその事例に留まりません。収集プロセスをさらにシンプルにする多数のネイティブコーディックにより、数多くのinput、filter、およびoutputのプラグインであらゆる種類のイベントを整形し変換することができます。Logstashは、大量かつ多様なデータを利用して、分析を促進します。
Logstashの威力edit
Elasticsearchの収集エンジン以上
強力なElasticsearchとKibanaのシナジーを備えた水平にスケーラブルなデータ処理パイプライン
プラグ可能なパイプラインアーキテクチャ
さまざまなinput、filter、およびoutputを組み合わせ、調整して、パイプラインを調和
コミュニティによる拡張が可能で開発者が使いやすいプラグインエコシステム
200を超えるプラグインが利用可能であるだけでなく、独自のプラグインを柔軟に作成、共有することが可能
Logstashはデータ重視edit
データを収集するほど、より多くのことがわかります。Logstashは、あらゆる形式やサイズのデータを扱えます。
ログとメトリクスedit
すべてここから始まります。
Webedit
World Wide Webを解放します。
-
HTTPリクエストをイベントに変換
-
オンデマンド方式のHTTPエンドポイントのポーリングによりイベントを作成
- Webアプリケーションインターフェイスからヘルス、パフォーマンス、メトリクスといったさまざまな種類のデータを広く一般にキャプチャ
- 受信よりもポーリングの制御が優先される状況に最適
データの格納とストリームedit
すでに所有しているデータからさらなる価値を見つけます。
- JDBCインターフェイスを使用して、リレーショナルデータベースまたはNoSQLストアからのデータの理解を深める
- Apache Kafka、RabbitMQ、Amazon SQS、ZeroMQのようなメッセージングキューからのさまざまなデータストリームを統合
センサとIoTedit
その他の広大なデータを探索します。
- この技術の進歩した時代に、大規模なIoT世界は、接続したセンサーからのデータの利用を通して、無数の使用事例を解放しています。
- Logstashは、モバイル機器からインテリジェントホーム、接続された車、ヘルスケアセンサなど数多くの業界固有アプリケーションに送信されたデータを取得する、イベント収集の共通バックボーンです。
簡単にすべてを整形edit
データが良ければ良いほど、知識は深まります。取得時にデータをきれいにして変換し、インデックス作成時または出力時にほぼリアルタイムの情報をすぐに取得します。Logstashは、パターン照合、ジオマッピング、動的なルックアップ機能とともに、数多くの集約や変形ですぐに使用できます。
- Grokは、主要なLogstashフィルタで、非構造データから構造を展開するために至る所で使用されます。Web、システム、ネットワークを始めとする各種のイベント形式をすばやく分析することを目的とした数多くの統合パターンを利用してください。
- IPアドレスからの位置座標の解読、複雑な 日付 の標準化、キーと値のペアおよび CSV データの単純化、機密情報の匿名化、および ローカルルックアップ やElasticsearchのクエリでのデータの整形により視野が広がります。
- JSONイベントやmultilineイベントのような共通イベント構造の処理を容易にするために、コーディックがよく使用されます。
格納庫の選択edit
最も重要なデータを転送します。データの格納、分析、および措置により、さまざまなダウンストリームの分析事例と運用事例を明らかにします。