logstash

データの一元化、変換、保管

Logstashは、オープンソースのサーバーサイドデータ処理パイプラインで、膨大な数のソースから同時にデータを取り込み、変換して、指定された任意の「格納庫(スタッシュ)」(私たちの場合は当然、Elasticsearchです)に送信します。
logstash

徹底解説: Logstash入門。 ビデオをみる

New Logstash modules have arrived. Ingest security and network traffic data in a snap with new modules for ArcSight and Netflow. Read More

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET/apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

[10/Oct/2000:13:55:36 -0700]

"GET /apache_pb.gif HTTP/1.0" 200 2326

5.10.83.30 user-identifier frank

2000-10-10T13:55:36.000Z.

"GET /apache_pb.gif HTTP/1.0" 200 2326

EXTENSIBILITY

パイプラインの作成と設定も、お好み通りに。

Logstashには、200を超えるプラグインを持つフレームワークがあります。さまざまなinput、filter、outputを組み合わせて、スムーズに動くパイプラインを作ることができます。

カスタムアプリケーションからデータ投入するのに適切なプラグインが見つからない場合でも、Logstashプラグインは簡単に作成できます。 プラグイン作成のためのすばらしいAPIとプラグインジェネレータが用意されており、プラグインの作成と共有が可能です。

DURABILITY

データパイプラインの高い信頼性

Logstashノードが突然停止しても、Persistent Queueによりデータを失うことはありません。データの送信に失敗した場合でも、Dead Letter Queueにより再送信が可能です。Logstashは突然のデータ増加に対しても、外部のキューレイヤーに頼ることなく、スケールすることができるのです。

Logstash Monitoring Dashboard

MONITORING

全てのコンポーネントを可視化

Logstashの洗練されたパイプラインは様々な用途に利用可能で、パフォーマンスや、可用性、ボトルネックを理解することが重要です。X-PackのMonitoring機能で、アクティブなLogstashノードや、その他のコンポーネントを容易に監視することができます。

SECURITY

端から端までパイプラインを保護する

Logstashインスタンスが10でも1000でも、パイプラインを一貫して保護します。Beatsからのデータはもちろん、他の入力も転送時に暗号化できます。また、セキュリティ保護されたElasticsearchクラスタとの完全統合も可能です。

Logstashで処理できるログの数はどれぐらい? ぜひお試しください。

依存性を調べたり、再起動を繰り返すためにcronジョブを書いたりする必要はありません。Logstashは最小限のステップで起動でき、イベントストリームと同期したパイプラインを展開します。

ダウンロード

自由に利用できるオープンソース。