icon

Logstash

データの一元化、変換、保管

Logstashは、オープンソースのサーバーサイドデータ処理パイプラインです。膨大な数のソースから同時にデータを取り込み、変換して、お好みの格納庫(スタッシュ)に送信します。

ダウンロード

Logstashを活用しませんか?すぐに使いはじめることができます。

ビデオを見る

LogstashでCSVファイルをパースして、Elasticsearchに投入する方法をご紹介しています。

ビデオを見る

Elasticsearchのスキルが身につくElastic認定エンジニアの資格で、プロジェクトとキャリアの可能性が広がります。

さらに詳しく

New

Logstash 7.4で、パイプラインツーパイプライン通信機能が一般公開となりました。

投入 + α

入力、フィルター、出力

Logstashは形式や複雑さを問わず、データを動的に投入、変換、送信します。たとえばGrokフィルターで非構造化データから構造を抽出したり、IPアドレスから地理的座標を解読、あるいはセンシティブ情報を含むフィールドを匿名化/除外することもでき、後工程の処理を楽にします。

入力

データはさまざまな形式で多数のシステムに渡って分散しているものですが、Logstashは多様な入力プラグインで、様々なソースから同時にイベントを取り込みます。ログやメトリック、Webアプリケーション、データストア、あるいはさまざまなクラウドサービスからのデータ投入を、簡単に、継続的に、スムーズに実現します。

フィルター

データがソースからストアまで転送される間に、Logstashのfilterが各イベントを解析し、フィールドを識別して構造化します。さらにデータを変換して、ビジネスバリューをもたらす分析に最適な、一般的なフォーマットにまとめます。

  • grokフィルターを使用して、非構造データから構造を抽出する
  • IPアドレスから地理情報を得る
  • 個人情報を匿名化し、機密情報フィールドを完全に除外する
  • あらゆるソース、フォーマット、スキーマのデータを容易に処理する

豊富なフィルタライブラリを使えば、可能性は無限です。

出力

理想的な出力先はElasticsearchですが、他の出力先ももちろん利用できます。検索と分析の可能性が阻害されることはありません。

Logstashではさまざまな出力先を指定でき、自由にデータを転送できます。この高い柔軟性により、ダウンストリームが多数ある場合でも利用できます。

拡張性

パイプラインを思いのままに作成、設定

プラグインを着脱できるフレームワークが特徴のLogstash。プラグインの種類は200を超えます。多様な入力元、フィルター、出力先を自在に組み合わせて、スムーズに動くパイプラインを作ることができます。

カスタムアプリケーションから投入する最適なプラグインが見つからなくても、心配いりません。Logstashプラグインは開発も簡単です。プラグイン開発用のAPIとプラグインジェネレータを使えば、すぐにプラグインを作成して共有できます。

モジュールですぐにはじめる

Elastic Stackにすぐ投入、瞬時にインサイトを取得

ArcSightやNetFlowといった人気のデータソースの投入と分析は、Logstashのモジュールにお任せください。入力パイプラインやダッシュボードが自動的に作成され、すぐにデータ探索を開始できます。

信頼性とセキュリティ

データパイプラインの高い信頼性

万が一Logstashノードがダウンしても、処理中のイベントを確実に1回以上届ける永続キューを備えています。永続キューは処理されなかったイベントをデットレターキューに退避させ、後で再び処理します。またスループットの吸収機能も搭載。外部キューレイヤーを使用せず、投入量のスパイクに応じてスケールします。安全性にも配慮し、投入パイプラインを確実に保護できるよう設計しています。

Monitoring

すべてのコンポーネントをチェック

Logstashの洗練されたパイプラインは幅広い用途に使えます。そのためにもパフォーマンスや、可用性、ボトルネックを把握することが重要です。ElasticのMonitoringとパイプライン表示機能を使用することで、アクティブなLogstashノードも、デプロイの全体も手軽に監視できます。

SignUpCTA

管理と制御

ひとつのUIでデプロイを集中管理

パイプライン管理用のUIで複数のLogstashデプロイをまとめて把握でき、パイプラインの制御と管理がシンプルになります。シームレスに接続できるElasticのSecurityを併用することにより、予期しないデータの漏洩も防止できます。

高い信頼と評価

Logstashを使ってみよう

自由に使えるオープンソースです。依存性を調べたり、再起動を繰り返すためにcronジョブを書いたりする必要はありません。Logstashは最小限の手順で立ち上げることができ、イベントストリーミングのペースに合わせてパイプラインが稼働します。ご質問や、ご不明点がおありの場合は、Logstashドキュメントをご参照いただくか、Logstashフォーラムをご活用ください。