Elastic Stackの有償オプション

Elastic Stackは、Machine LearningやGraph分析などエンタープライズグレードのセキュリティと開発者フレンドリーなAPIを備えた高度なオプション群(旧X-Pack)を提供しています。あらゆるタイプのデータに対応し、大規模な投入、分析、検索、可視化をサポートします。

管理と運用

スケーラビリティと回復性

監視

管理

アラート

スタックセキュリティ

デプロイ

クライアント

投入とエンリッチ

データソース

データエンリッチメント

モジュールと統合

管理

データストレージ

柔軟性

セキュリティ

管理

検索と分析

全文検索

分析

機械学習

Elastic APM

探索と可視化

可視化

共有と共同作業

Elasticマップ

Elastic Logs

Elastic Metrics

Elastic Uptime

Elastic SIEM

SignUpCTA

管理と運用

管理と運用

スケーラビリティと回復性

Elasticsearchは、設計段階から分散環境での安全な運用を考慮した製品です。クラスターサイズの変更も思いのまま。ノードを追加するだけです。

クラスタリングと高可用性

クラスターとは、共同ですべてのデータを保有し、全ノードを横断してフェデレーションによるインデキシングと検索を提供する1つ以上のノード(サーバー)の集合です。Elasticsearchのクラスターはプライマリシャードとレプリカシャードの2つを搭載しており、ノードがダウンした場合にフェイルオーバーの役割を果たします。プライマリシャードに問題が生じると、レプリカシャードが代替します。

クラスタリングと高可用性についてさらに詳しく

ノードの自動復旧

意図的であるかを問わず、何らかの理由で任意のノードがクラスターから切り離される場合、複製とシャードのリバランスを活用して、マスターノードに代替されます。この一連のアクションは、各シャードを可能な限りすみやかに、完全に複製することで、データロスからクラスターを保護することを目的としています。

ノードの割り当てについてさらに詳しく

自動のデータ再バランス化

Elasticsearchクラスターのマスターノードは、どのシャードをどのノードに割り当てるか自動的に判断します。さらにマスターノードは、シャードを別のノードへ移動させ、クラスターの再バランス化を図るタイミングも決定します。

自動のデータ再バランス化についてさらに詳しく

分散型スケーラビリティ

Elasticsearchは、ニーズに応じて自在にスケールします。データの増加やユースケースの追加、リソースの不足が生じた場合も、運用クラスターにノードを追加するだけ。キャパシティと信頼性を簡単に引き上げることができます。クラスターにノードを追加すると、自動でレプリカシャードが割り当てられ、有事の際も安心です。

分散型スケーラビリティについてさらに詳しく

ラック認識

カスタムノード属性を認識属性として使用し、シャードを割り当てる際、Elasticsearchに物理ハードウェアの設定を考慮させることができます。どのノードが同じ物理サーバー(あるいは同じラック、同じゾーン)にあるかをElasticsearch側で把握していれば、プライマリシャードとレプリカシャードを分散させ、障害発生時にすべてのシャードコピーが失われるリスクを最小化することができます。

割り当て認識についてさらに詳しく

クラスター横断レプリケーション

クラスター横断レプリケーション(cross-cluster replication、CCR)機能を使って、リモートクラスターのインデックスをローカルクラスターに複製することができます。一般的な運用ユースケースで広く役立ちます。

CCRについてさらに詳しく
  • 災害復旧:プライマリクラスターに障害が発生した場合、2番目のクラスターがホットバックアップとして振る舞います。

  • 地理的近接性:読み取りのサービスをローカルで提供し、ネットワークレイテンシーを低減します。

データセンター横断レプリケーション

Elasticsearchを使用するミッションクリティカルな多くのアプリに欠かせない要件に、データセンター横断レプリケーションがあります。従来は、部分的かつ付加的なテクノロジーで解決されていました。Elasticsearchのクラスター横断レプリケーションなら、データセンター間や、地理的冗長性を目的に、あるいはElasticsearchクラスター間のデータ複製のためにテクノジーを追加する必要はありません。

データセンター横断レプリケーションについてさらに詳しく

管理と運用

監視

Elastic StackのMonitoringオプションで、Elastic Stackの稼働状況を可視化することができます。最大限に活用するために、いつでも状態を把握しておきましょう。

すべてのスタックの監視

Elastic StackのMonitoringオプションで、ElasticsearchやLogstash、Kibanaの運用に関するインサイトを取得してみましょう。あらゆる監視メトリックをElasticsearchに格納し、Kibanaで簡単に可視化できます。

Elastic StackのMonitoringについてさらに詳しく

複数クラスターの監視

一元化された監視クラスターで、複数のクラスターの状態とパフォーマンスを記録、追跡し、ワークフローをシンプルにします。

複数クラスターの監視についてさらに詳しく

データ保存期間の設定

Elastic Stackで、監視データをどの程度の期間保持するか制御することができます。デフォルトでは7日間ですが、お好みに応じて自在に設定を変更可能です。

保持ポリシーについてさらに詳しく

問題発生時の自動通知

Elastic StackのAlertingオプションは、クラスターの状態やライセンス期間の終了、Elasticsearch、Kibana、Logstashに関するメトリックの変化を自動で通知します。

自動通知機能についてさらに詳しく

Elastic Stackの監視サービス

Elastic CloudのElasticsearch Serviceには、Elastic Stackを監視するElastic Stack Monitoring Serviceが含まれています。このサービスで提供される専用クラスターが監視データをホストするため、別途監視用クラスターを作成・管理する必要がありません。

Elastic Stack Monitoring Serviceについてさらに詳しく

管理と運用

管理

豊富な管理ツール、UI、APIが揃っており、Elastic Stackのデータやユーザー、クラスター、運用などを完全に制御できます。

インデックスライフサイクル管理

インデックスライフサイクル管理(ILM)は、4つある各フェーズにインデックスが滞在する期間のポリシーを定義し、自動化して制御します。また、インデックスの各フェーズで実行される一連のアクションも定めます。データを保管するリソースのグレードを変えることで、運用コストのよりきめ細やかな管理を実現します。

ILMについてさらに詳しく
  • Hot:頻繁に更新、クエリが生じるフェーズ

  • Warm:更新はされないが、クエリが生じるフェーズ

  • Cold/Frozen:更新はされず、クエリが生じる頻度も乏しいフェーズ(検索は可能だが、遅い)

  • Delete:保管の必要がない

Hot-Warmアーキテクチャー

Hot-Warmアーキテクチャーは、ElasticsearchのデプロイをHotデータノードとWarmデータノードに分離します。2種類のデータノードを使うことで、投入されるデータをクエリにすばやく反応できるよう処理しながら、既にあるデータをより長期に保持することが可能になります。

Hot-Warmの導入についてさらに詳しく
  • 新たに投入されるデータを処理するHotデータノードには、高速ストレージが適しています。

  • Warmデータノードはストレージを高密度で使用し、データを長期に保存する際のコスト効率に優れています。

フローズンインデックス

Elasticsearchインデックスは、一部のデータ構造をメモリーに保持し、効率的に検索したり、インデックスできるよう設計されています。メモリー使用量を軽減(して運用コストを削減)するために、Elasticsearchであまり使用されないデータはフローズンインデックスに入れることができます。フローズンインデックスはメモリーに保持されていません。フローズンインデックスのデータは、クエリが生じたとき一時的にメモリーに読み込まれ、クエリの完了と同時に再び解放されます。

フローズンインデックスについてさらに詳しく

スナップショットと復元

スナップショットとは、実行中のElasticsearchクラスターのバックアップです。個々のインデックスのスナップショットを撮ることも、クラスター全体で撮ることもでき、スナップショットは共有ファイルシステムのレポジトリに格納されます。プラグインを使用し、リモートレポジトリを選択することもできます。

スナップショットと復元についてさらに詳しく

ソースのみのスナップショット

ソースレポジトリは、ソースのみのスナップショットを作成する機能です。スナップショットを最小限にすることで、最大50%のディスクスペースを節約します。ソースのみのスナップショットは格納フィールドとインデックスメタデータを含みます。インデックスやドキュメント値ストラクチャーを含まず、格納後は検索できません。

ソースのみのスナップショットについてさらに詳しく

スナップショットライフサイクル管理

管理者はバッググラウンドでスナップショットの管理を行うスナップショットライフサイクル管理(SLM)APIを使って、Elasticsearchクラスターのスナップショットを撮る間隔を定義できます。SLM専用のUIがあり、SLMポリシーの保持期間を設定したり、スナップショットを自動で作成・削除したり、スケジュールを指定できるようになっています。どのクラスターも適切にバックアップできるだけでなく、顧客とのSLAに沿って復旧を実施するために必要な頻度のバックアップを確実に実行することができます。

SLMについてさらに詳しく

データのロールアップ

古いデータを使えるようにしておくと、分析には非常に役立ちます。問題は、膨大な量のデータのアーカイブに費用がかかることでした。したがって膨大な過去データの保持期間を、その有用性よりも、コスト面の制約で決定されることが少なくありませんでした。Elasticのロールアップは、過去データを要約して格納する機能です。分析に使えるように維持しつつ、生データにかかるストレージコストを大きく引き下げます。

ロールアップについてさらに詳しく

CLIツール

コマンドラインでElasticsearchのセキュリティを設定したり、その他のタスクを実行したりするためのツールが数多くあります。

CLIツールを探す

アップグレードアシスタントUI

アップグレードアシスタントUIは、Elastic Stackの最新バージョンへ移行する作業をアシストします。UIのアシスタントがお使いのクラスターやインデックスから推奨されない設定を特定します。さらに、再インデキシングを含む問題解決プロセスへナビゲートします。

アップグレードアシスタントについてさらに詳しく

アップグレードアシスタントAPI

アップグレードアシスタントAPIでElasticsearchクラスターのステータスを確認・アップグレードしたり、以前のメジャーバージョンで作成されたインデックスを再インデックスしたりすることができます。Elasticsearchで、より新しいメジャーバージョンへ移行する際に便利です。

アップグレードアシスタントAPIについてさらに詳しく

ユーザーとロールの管理

Kibanaから、APIや[管理]メニューでユーザーとロールの作成/管理を行うことができます。

ユーザーとロールの管理についてさらに詳しく

変換

変換は、2次元的な表によるデータストラクチャーです。このデータストラクチャーは、インデックス済みデータをより処理しやすくする性質を備えています。変換は、アグリゲーションを通じてデータをエンティティセントリックなインデックスにピボットします。変換、要約でデータを可視化できようにするだけでなく、機械学習分析用のソースを提供するなど、別の手法によるデータ分析を可能にします。

変換についてさらに詳しく

管理と運用

アラート

Elasticsearchのクエリ機能をフルパワーで活用するElastic Stackのアラート機能なら、データの重要な変化を見逃しません。つまり、Elasticsearchでクエリできるものは何でも通知可能です。

高可用でスケーラブルな通知

通知ニーズにElastic Stackを活用するメリットは、組織の規模を問いません。あらゆるソース、あらゆるフォーマットのデータを確実かつ安全に投入できるElastic Stackが、重要なデータをリアルタイムに検索、分析、可視化。さらに、カスタムの頼れる通知をアナリストに届けます。

Alertingについてさらに詳しく

メール、Slack、Pagerdurty、JIRAやウェブフック経由の通知

どのような通知方法がお好みですか?メール、PagerDuty、Slack、HipChatなど、豊富な選択肢から選べます。パワフルなウェブフックもあり、既存の監視システムや、外部システムとの連携もスムーズです。

アラートの通知オプションについてさらに詳しく

アラートUI

ひとつのUIで、通知の参照、作成、管理を制御することができます。通知の内容も、実施されたアクションも、リアルタイムにわかります。

Kibanaの通知設定についてさらに詳しく

管理と運用

スタックセキュリティ

適切なユーザーに適切なアクセス権限を付与する機能、それがElastic Stackのセキュリティオプションです。たとえばIT部門や事業部、アプリ開発チームごとに善意のユーザーを管理することで、不正な侵入を防ぐことができます。また、お客様や経営陣にも個別の権限を付与して、Elastic Stackのデータを安全に、安心して共有できます。

通信の暗号化

SSL/TLSを用いたトラフィック暗号化や、ノード認証証明書をはじめとするテクノロジーで、Elasticsearchノードのデータに対するネットワークベースの攻撃を阻止しています。

通信の暗号化についてさらに詳しく

保存データの暗号化

Elastic Stackに保存データを暗号化するメニューは搭載されていませんが、ホストマシンにおけるディスクレベルの暗号化は常に推奨されています。スナップショットの対象についても、保存先データが確実に暗号化されていることが必要です。

ロールベースのアクセス制御(RBAC)

ロールベースのアクセス制御は、ユーザーやグループにロールをアサインし、さらにロールに応じた権限をアサインしてユーザーのアクセス権を設定する機能です。

RBACについてさらに詳しく

属性ベースのアクセス制御(ABAC)

Elastic StackのSecurityオプションは、属性ベースのアクセス制御(ABAC)メカニズムも備えています。属性を使用して、検索クエリやアグリゲーションがアクセスするドキュメントを制約します。このメカニズムで、ロール定義にアクセスポリシーを導入することが可能です。エンドユーザーは、必要なすべての属性を備える特定のドキュメントしか読み取ることができません。

ABACについてさらに詳しく

フィールドとドキュメントレベルのセキュリティ

フィールドレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つフィールドを制限します。ドキュメントベースの読み取りAPIで、どのフィールドにアクセスを許可するか定めることが可能です。

フィールドレベルのセキュリティについてさらに詳しく

ドキュメントレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つドキュメントを制限します。ドキュメントベースの読み取りAPIで、どのドキュメントにアクセスを許可するか定めることが可能です。

ドキュメントレベルのセキュリティについてさらに詳しく

監査ログ

認証の失敗や拒否された接続など、セキュリティ関連イベントを追跡する監査を有効化することができます。こうしたイベントのログを記録しておくことによって、クラスター上の疑わしいアクティビティを監視し、攻撃が発生した際のエビデンスとして使用することができます。

監査ログについてさらに詳しく

IPフィルター

クラスターに追加するノードや、アプリクライアント、ノードクライアント、トランスポートクライアントなどにIPフィルターを追加することができます。ブラックリストに入っているIPアドレスがノードに入ると、セキュリティ機能がElasticsearchへの接続をただちに遮断し、リクエスト処理が停止されます。

IPアドレスまたは範囲

xpack.security.transport.filter.allow:"192.168.0.1"
xpack.security.transport.filter.deny:"192.168.0.0/24"

Whitelist

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

IPv6

xpack.security.transport.filter.allow:"2001:0db8:1234::/48"
xpack.security.transport.filter.deny:"1234:0db8:85a3:0000:0000:8a2e:0370:7334"

Hostname

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'
IPフィルターについてさらに詳しく

セキュリティレルム

Elastic StackのSecurityオプションで実行されるユーザー認証は、レルムと、1つ以上のトークンに基づく認証サービスを使用します。レルムは認証トークンに基づいてユーザーを解決、認証する役割を果たします。Elastic StackのSecurityオプションで、多数の内蔵型レルムが提供されています。

セキュリティレルムについてさらに詳しく

シングルサインオン(SSO)

Elastic StackはバックエンドサービスにElasticsearchを使用しており、KibanaへのSAMLシングルサインオン(SSO)に対応しています。SAML認証の導入で、OktaやAuth0といった外部IDプロバイダーを使ったKibanaへのログインが可能になります。

SSOについてさらに詳しく

サードパーティセキュリティの統合

Elastic Stackのセキュリティ仕様がサポートしない認証システムをお使いの場合も、カスタムレルムを作成してユーザーを認証することができます。

サードパーティセキュリティについてさらに詳しく

FIPS 140-2準拠モード

Elasticsearchは、有効化されたJVM内で実行可能なFIPS 140-2準拠モードを提供しています。FIPS認可/NIST推奨の暗号アルゴリズムで、確実にFIPS 140-2の処理基準に準拠することができます。

FIPS 140-2準拠についてさらに詳しく

508条

Elastic Stackのデプロイを米国のアクセシビリティ要件であるU.S. Section 508(第508条)に準拠させる必要がある場合も、セキュリティ機能で対応することができます。

各種コンプライアンスの遵守についてさらに詳しく

GDPRへの対応

扱っているデータが、GDPRガイドラインでは「個人データ」に分類にされる確率は決して低くありません。ロールベースのアクセス制御からデータ暗号化まで、Elastic Stackの機能を活用してみましょう。GDPRが定める保護と処理の要件に、Elasticsearchデータを対応させることができます。

GDPRに関するホワイトペーパーはこちら

管理と運用

デプロイ

パブリッククラウド、プライベートクラウド、またはハイブリッドでも。Elastic Stackを簡単にデプロイして管理できます。

ダウンロードとインストール

とにかく簡単にはじめることができます。ElasticsearchとKibanaをダウンロードして、アーカイブやパッケージマネージャーからインストールするだけ。すぐにデータをインデックスしたり、分析、可視化することができます。Machine LearningやSecurity、Alerting、Graph分析などの有償オプション(プラチナ)はデフォルトの配布に含まれており、30日間無料でお試しいただけます。

Elastic Stackをダウンロード

Elastic Cloud

クラウドでElasticプロダクトを手軽にデプロイ、運用、スケーリングするSaaSとして、導入数が増えているElastic Cloud。使いやすいマネージドのElasticsearchエクスペリエンスとして、またパワフルですぐに開始できる検索ソリューションとして、Elastic CloudはElasticプロダクトをシームレスに導入する出発点となります。Elastic Cloudのすべてのプロダクトを14日間無料でお試しください。クレジットカードの登録は必要ありません。

Elastic Cloudを使いはじめる

Elastic Cloud Enterprise

Elastic Cloud Enterprise(ECE)は規模や環境を問わず、ひとつのコンソールでElasticsearch、Kibana、オプションをプロビジョニング、管理、監視します。Elasticsearch、Kibana、各種オプションを、ベアメタルサーバー、仮想環境、プライベートクラウド、またはパブリッククラウド(Google、Azure、AWSなど)ほか、お好きな環境に展開できます。

30日間の無料トライアルでお試しください

Elastic Cloud on Kubernetes

Kubernetes Operatorに基づいて開発されたElastic Cloud on Kubernetes(ECK)は、Kubernetesの基本的なオーケストレーション機能を拡張することにより、KubernetesでのElasticsearchやKibanaの設定/管理をサポートします。Elastic Cloud on Kubernetesを使うと、KubernetesでElasticsearchを実行するためのデプロイ、アップグレード、バックアップ、スケール、高可用性、セキュリティなどのプロセスをシンプル化することができます。

Elastic CloudでKubernetesにデプロイ

Helmチャート

わずか数分でオフィシャルのElasticsearchやKibanaでHelmチャートをデプロイできます。

オフィシャルのElastic Helmチャート

Dockerコンテナー化

Docker Hubのオフィシャルなコンテナーを使って、ElasticsearchやKibanaをDocker上で実行できます。

DockerでElastic Stackを実行する

管理と運用

クライアント

Elastic Stackなら、ユーザーが「使いやすい」と感じる方法で自由にデータを扱うことができます。各種のRESTful APIや言語クライアント、堅牢なDSLを備え、SQLにも対応。あらゆる方法をスムーズに実行できる柔軟性があります。

REST API

Elasticsearchが提供する、包括的でパワフルなJSONベースのREST APIを通じて、クラスターを操作することができます。

REST APIについてさらに詳しく
  • クラスターやノード、インデックスのヘルスとステータス、統計情報を確認しましょう。

  • クラスターやノード、インデックスデータ、メタデータを管理します。

  • インデックスのCRUD(作成、読み取り、アップデート、削除)と検索操作を実行します。

  • ページング、ソート、フィルタリング、アグリゲーションをはじめとする高度な検索操作を実行します。

クライアントプログラミング言語

Elasticsearchは標準のRESTful APIとJSONを使用します。さらにElasticが開発・保守するクライアントライブラリがJava、Python、.Net、SQL、PHPといった多数の言語で用意されているほか、コミュニティによるクライアントもあります。無限の可能性を持つElasticsearch。あなたの自由なアイデアを妨げません。

使用可能なクライアントプログラミング言語を探す

コンソール

[コンソール]はKibanaが開発ツールの1つです。cURL風の構文でElasticsearchに送るリクエストを作成したり、リクエストへのレスポンスを表示することができます。

コンソールについてさらに詳しく

Elasticsearch DSL

ElasticsearchはJSONベースでクエリを定義する完全なクエリDSL(ドメイン固有言語、domain-specific language)を提供しています。クエリDSLはパワフルな検索オプションとして、用語/フレーズのマッチング、あいまい検索、ワイルドカード、正規表現、ネストクエリ、ジオクエリなどを含む全文検索に対応しています。

Elasticsearch DSLについてさらに詳しく
GET /_search
{
    "query": {
        "match" : {
            "message" : {
                "query" : "this is a test",
                "operator" : "and"
            }
        }
    }
}

Elasticsearch SQL

Elasticsearch SQLは、ElasticsearchでリアルタイムにSQL風のクエリを実行できる機能です。クライアントはRESTインターフェース、コマンドライン、JDBCのいずれでもSQLを使用することができ、Elasticsearch内でデータ検索やアグリゲーションがネイティブに実行されます。

Elasticsearch SQLについてさらに詳しく

JDBCクライアント

Elasticsearch SQL JDBCドライバーは、豊富で包括的な仕様を備えたElasticsearchのためのJDBCドライバーです。JDBCコールをElasticsearch SQLに転換するタイプ4ドライバー(プラットフォーム非依存でスタンドアローン、データベース直結の純粋なJavaドライバー)です。

JDBCクライアントについてさらに詳しく

ODBCクライアント

Elasticsearch SQL ODBCドライバーは、Elasticsearchのための多機能な3.80 ODBCドライバーです。コアレベルドライバーとしてElasticsearch SQL ODBC APIを通じてアクセスできるすべての機能を提供し、ODBCコールをElasticsearch SQLに変換します。

ODBCクライアントについてさらに詳しく

投入とエンリッチ

投入とエンリッチ

データソース

どのようなタイプのデータ収集も、Beatsにおまかせください。サーバーやコンテナーにデプロイするだけで、Elasticsearchにデータを集約します。高度な処理にも最適です。Logstashにデータを送信して変換やパースを任せることもできます。

オペレーティングシステム

Linuxの監査フレームワークデータを収集し、ファイルの整合性を監視します。Auditbeatからリアルタイムで送信されるイベント情報に基づいて、Elastic Stackがさらに分析を進めます。

Auditbeatについてさらに詳しく

Windowsベースの環境で起きていることを、常に把握しておくことができます。Winlogbeatは、WindowsイベントログをElasticsearchとLogstashにリアルタイムでストリームするスマートな手段です。

Winlogbeatについてさらに詳しく

Webサーバーとプロキシ

FilebeatやMetricbeatを使って、お使いのWebサーバーやプロキシサーバーをさまざまな方法で監視できます。NGINX、Apache、HAProxy、IISなどに対応するモジュールや、事前設定済みダッシュボードも用意されています。

使用可能なFilebeatモジュールを探す

データストアとメッセージキュー

FilebeatとMetricbeatは、シンプルにデータを収集、パース、可視化する内部モジュールを搭載。MySQL、MongoDB、PostgreSQL、Microsoft SQLをはじめとする一般的なログフォーマットやデータストアのシステムメトリック、データベース、メッセージキューシステムに対応しています。

使用可能なMetricbeatモジュールを探す

クラウドサービス

AWS Lambdaをはじめとするサーバーレスなアーキテクチャーでコードをデプロイ。つまり、基盤のソフトやハードを追加したり、管理したりする必要がありません。Functionbeatを使えば、KinesisやSQS、CloudWatchといったクラウドのインフラ監視もシンプルです。

Functionbeatについてさらに詳しく

コンテナーと制御

アプリケーションログを監視し、Kubernetesのメトリックとイベントをモニタリングして、Dockerコンテナーのパフォーマンスを分析しましょう。インフラ運用に特化したアプリで、あらゆるデータをリアルタイムに可視化・検索できます。

コンテナー監視についてさらに詳しく
  • MetricbeatFilebeatの自動探知機能で、環境のあらゆる変化を把握できます。

  • モジュールを追加したり、パスを記録するプロセスは自動化され、DockerやKubernetesのAPIフックを使って監視設定を動的に調整してくれます。

ネットワークデータ

HTTPのようなネットワークプロトコルでは、アプリケーションの遅延やエラー、応答時間、SLA、ユーザーアクセスのパターン、傾向などの状況を把握することが可能です。Packetbeatを使用すると、このデータをリアルタイムで解析してネットワーク内のトラフィックの流れを理解することができます。

Packetbeatについてさらに詳しく

セキュリティデータ

脅威を検知するカギは、あらゆる場所で見つかる可能性があります。したがって、システム全体の状況をリアルタイムに、かつ完全に把握することが重要です。BeatsにはZeekやSuricataなど多くのIDSに対応するモジュールがあり、セキュリティデータのシッピングにも役立ちます。

Elastic SIEMでデータを保護

アップタイムデータ

サービスを同じホストでテストする場合も、インターネット経由でテストする場合も、Heartbeatがあればアップタイムと応答時間のデータ生成が簡単になります。

Heartbeatについてさらに詳しく

ファイルのインポート

ファイルデータビジュアライザーを使って、CSVやNDJSON、ログのファイルをElasticsearchインデックスにアップロードすることができます。ファイルデータビジュアライザーは、ファイルストラクチャーAPIを使用してファイルのフォーマットとフィールドマッピングを特定します。その後、データをインデックスにインポートすることができます。

ファイルデータのインポートについてさらに詳しく

投入とエンリッチ

データエンリッチメント

アナライザーやトークナイザー、フィルター、インデックスタイムエンリッチメントをはじめ、各種オプションが豊富に揃うElastic Stackなら、生データから貴重な情報を引き出せます。

各種プロセッサー

Ingestノードを使用して、実際のドキュメントをインデックスする前にドキュメントを事前処理することができます。Ingestノードはバルクリクエストやインデックスリクエストを遮断し、ドキュメントを変換してから再びバルクAPIまたはインデックスAPIにドキュメントを渡します。Ingestノードにはappend、convert、date、dissect、drop、fail、grok、join、emove、set、split、sort、trimほか、25種類以上のプロセッサーがあります。

投入プロセッサーについてさらに詳しく

各種アナライザー

分析とは、テキストの変換プロセスです。Eメールにかならず"本文"がついてくるのと同じです。検索のために倒置されたインデックスと、トークンやタームを切り離すことはできません。内蔵のアナライザーを分析用のアナライザーとして使うことも、インデックスごとに、トークナイザーやフィルターを組み合わせて作成したカスタムアナライザーを定義して使用することもできます。

データアナライザーについてさらに詳しく

例:標準アナライザー(デフォルト)

インプット:"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

Output: the 2 quick brown foxes jumped over the lazy dog's bone

トークナイザー

トークナイザーは文字のストリームを受け取り、個別のトークン(通常は個別の単語)に分解してから、トークンのストリームを出力します。トークナイザーは各タームの順序や位置も記録しています(フレーズや単語の近接性クエリに使用)。先頭と末尾の文字はタームが表現する元の単語から控除されます(検索スニペットの強調に使用)。Elasticsearchは多数のトークナイザーを搭載しており、そのトークナイザーを使ってカスタムアナライザーを構築することもできます。

トークナイザーについてさらに詳しく

例:Whitespace tokenizer

インプット:"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

アウトプット:The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.

フィルター

トークンフィルターは、トークナイザーから来るトークンのストリームを受け取り、修正(例:小文字に変える)や、削除(例:ストップワードを除外する)、追加(例:同義語)を行うことができます。Elasticsearchは多数のトークンフィルターを搭載しており、そのトークンフィルターを使ってカスタムアナライザーを構築することもできます。

トークンフィルターについてさらに詳しく

文字フィルターを使って、トークナイザーに渡される前の文字を、事前処理することができます。文字フィルターは、元のテキストを文字のストリームとして受け取り、文字を追加、削除、または変更してそれを変換します。Elasticsearchは多数の文字フィルターを搭載しており、その文字フィルターを使ってカスタムアナライザーを構築することもできます。

文字フィルターについてさらに詳しく

言語アナライザー

検索は、母国語で。Elasticsearchは30以上の言語アナライザーを提供しており、ロシア語やアラビア語、中国語などラテン文字を使用しない言語にも対応します。

使用可能な言語フィルターを探す

Grok

Grokパターンとは、再使用可能な別の表現をサポートする正規表現のようなものです。Grokを使用して、ドキュメントの構造化フィールドからシングルテキストフィールドを抽出することができます。syslogログや、Apache、MySQLログのようなWebサーバーログ、(コンピューター用ではなく)人間用に書かれるログフォーマットに最適なツールです。

Grokについてさらに詳しく

フィールド変換

データフィードを使用している場合、スクリプトを追加して分析前にデータを変換することができます。データフィードには任意のscript_fieldsプロパティがあります。そこにスクリプトを指定し、カスタム表現を評価して、スクリプトフィールドに返すようにすることができます。この機能を使用して、さまざまなデータ変換を実施することができます。

フィールド変換についてさらに詳しく
  • 数的フィールドの追加

  • 文字列の結合、トリミング、変換

  • トークン置換

  • 正規表現マッチングと結合

  • ドメイン名で文字列を分割

  • geo_pointデータの変換

外部参照

Logstashの外部参照プラグインで、ログデータを投入時にエンリッチすることができます。ログ行を手軽に追加できるだけでなく、クライアントIPロケーションやDNS参照結果、前後のログ行といったコンテクスト情報を加えることも可能。Logstash向けの多彩なプラグインから、自由に選んで使えます。

Logstashの外部参照についてさらに詳しく

一致エンリッチプロセッサー

一致投入プロセッサーを使うことにより、投入時にデータを参照して、エンリッチ済みデータをプルする最適なインデックスを指定することができます。特に、データに要素を追加するプロセスが不可欠なBeatsのユーザーに便利です。BeatsからLogstashにピボットする必要がなく、Ingestパイプラインだけで処理することが可能になります。また一致エンリッチプロセッサーによるデータの正規化は、高度な分析や一般的なクエリにも役立ちます。

一致エンリッチプロセッサーについてさらに詳しく

地理空間一致エンリッチプロセッサー

地理空間一致エンリッチプロセッサーは、地理データを活用して検索とアグリゲーションの機能性を高めます。クエリやアグリゲーションを地理座標で定義する必要がありません。一致エンリッチプロセッサーと同様に、投入時にデータを参照して、エンリッチ済みデータをプルする最適なインデックスを判断することができます。

地理空間一致エンリッチプロセッサーについてさらに詳しく

投入とエンリッチ

モジュールと統合

あらゆる方法でデータをElastic Stackに入れることができます。RESTful APIを使えるほか、クライアントプログラミング言語各種、投入ノード、軽量なシッパー、あるいはLogstashを使うことも可能。サポート言語リストに拘束されることがありません。オープンソースだから、投入するデータタイプにも制限はありません。特定のデータタイプをシッピングする必要がある場合も、カスタムの投入メソッドの構築に必要となるライブラリと手順が揃っています。成果をコミュニティにシェアすることもできます。同じメソッドを必要とする人のために、公開することが可能です。

クライアントとAPI

Elasticsearchは標準のRESTful APIとJSONを使用します。さらにElasticが開発・保守するクライアントライブラリがJava、Python、.Net、SQL、PHPといった多数の言語で用意されているほか、コミュニティによるクライアントもあります。無限の可能性を持つElasticsearch。あなたの自由なアイデアを妨げません。

使用可能なクライアントプログラミング言語とAPIを探す

Ingestノード

Elasticsearchが提供する多彩なノードタイプの1つに、データ投入専用のノードがあります。Ingestノードは1つ以上の投入プロセッサーで構成されたパイプラインの事前処理を実行することができます。投入プロセッサーの動作タイプと必要なリソースにより、特定のタスクのみ実行する投入専用ノードを使う方がよい場合があります。

Ingestノードについてさらに詳しく

Beats

Beatsは、エージェントとしてサーバーにインストールできるオープンソースのデータシッパー。運用に関するデータをElasticsearchやLogstashに送ります。一般的なログやメトリック、その他さまざまなタイプのデータを捉えることができます。

Beatsについてさらに詳しく

コミュニティのシッパー

ユースケースに解決を必要する具体的な課題がある場合、コミュニティBeatの活用をおすすめしています。Elasticは、そのプロセスをシンプル化するインフラを用意しました。libbeatライブラリにすべてGoで記述されているAPIが提供されています。どのBeatsでも、このAPIを使用してElasticsearchにデータをシッピングしたり、入力オプションの設定や、ロギングの実装などを行うことができます。

Beats開発者向けガイドはこちら

100に迫る数のコミュニティがコントリビューションを行っているBeats各種。Cloudwatchログおよびメトリックや、GitHubアクティビティ、Kafkaに関するトピックスからMySQL、MongoDB Prometheus、Apache、Twitterまで、さまざまなエージェントがあります。

コミュニティが開発したBeatsを探す

Logstash

Logstashは、リアルタイムでパイプライン処理に対応するオープンソースのデータ収集エンジンです。Logstashは異なるソースから動的にデータを集め、正規化して指定の送信先に届けます。あらゆるデータをクレンジングし、アクセシブルになるよう整形。下流工程にある高度な分析や可視化など、幅広いユースケースで使えるデータにします。

Logstashについてさらに詳しく

Logstashプラグイン

インプットやコーデック、フィルター、アウトプットなど各種の独自プラグインをLogstashに追加することができます。プラグインを自由に開発し、Logstashの中核部にデプロイすることができます。Logstashで使用するオリジナルのJavaプラグインを記述することも可能です。

Logstashへのコントリビューションについて

Elasticsearch-Hadoop

Apache Hadoop向けElasticsearch(Elasticsearch-Hadoop、ES-Hadoop)は、オープンソースで独立型、自己充足型の小型ライブラリです。ES-Hadoopを使うと、HadoopジョブでElasticsearchを操作することができます。Hadoopデータに役立つダイナミックな検索アプリケーションを手軽に構築したり、全文検索や、地理空間情報検索、アグリゲーション機能を使った深く遅延の少ない分析を実行したりできます。

ES-Hadoopについてさらに詳しく

プラグインと統合

オープンソースで言語不問。プラグインと統合を使って、Elasticsearchの機能性を手軽に拡張することができます。プラグインは、ユーザーがカスタマイズした方法でElasticsearchのコア機能を拡張します。統合は、Elasticsearchを使いやすくする外部ツールやモジュールのことです。

使用可能なElasticsearchプラグインを探す
  • API機能拡張プラグイン

  • Alertingプラグイン

  • 分析プラグイン

  • ディスカバリープラグイン

  • 投入プラグイン

  • 管理プラグイン

  • マッパープラグイン

  • Securityプラグイン

  • スナップショット/レポジトリ復元プラグイン

  • 格納プラグイン

投入とエンリッチ

管理

投入メソッドは、Kibanaから一元的に管理することができます。

Beatsの集中管理

Beatsの集中管理機能を使えば、他の設定管理ツールを使う必要はほとんどありません。Beatsの設定の変更をElastic Stackで直接管理できるだけでなく、複数のBeatsに変更を自動で一括適用できます。

Beatsの集中管理についてさらに詳しく

Logstashパイプラインの一元管理

Kibanaのパイプライン管理UIで、複数のLogstashインスタンスを制御できます。Logstash側では、設定管理を有効化する操作を行うだけ。一元管理パイプライン設定で使用するLogstashとして登録されます。

Logstashパイプラインの一元管理についてさらに詳しく

データストレージ

データストレージ

柔軟性

Elastic Stackは、あらゆるユースケースに対応するパワフルなソリューションです。中核となる高度な検索機能のほか、ドキュメントストレージにも、時系列分析やメトリック分析、地理空間分析のための最適なツールにもなります。多様なニーズに応えるフレキシブルな設計です。

データタイプ

Elasticsearchは、ドキュメントのフィールドについてさまざまなデータタイプをサポートしています。また、各データタイプについて複数のサブタイプも提供しています。それが、種類を問わず、データを可能な限り効率的かつ効果的に格納、分析、活用できる理由です。Elasticsearchで最適に扱うことができるデータタイプに、次のようなものがあります。

Elasticsearchがサポートするデータタイプ
  • テキスト

  • シェイプ

  • ベクター

  • Histogram

  • 日時/時系列

  • フラット化されたフィールド

  • 地理座標/ジオシェイプ

  • 非構造化データ(JSON)

  • 構造化データ

全文検索(転置インデックス)

Elasticsearchは、超高速の全文検索を実現する目的で開発された倒置インデックスと呼ばれる構造を使用します。倒置インデックスは、ドキュメントに出現するユニークなすべての単語を列挙したリストと、各単語がどのドキュメントに出現するかを列挙したリストで構成されます。倒置インデックスを作成する際、はじめに各ドキュメントのコンテンツフィールドを単語(ターム、またはトークンと呼ばれます)に分割します。次に、ユニークなすべての単語を列挙し、並べ替えたリストを作成します。最後に、各タームが出現するドキュメントをリストアップします。

倒置インデックスについてさらに詳しく

ドキュメント格納(非構造化データ)

Elasticsearchは、構造化をデータ投入や分析の要件としていません(構造化されていれば、スピードが向上します)。シンプルに使いはじめることができる設計で、ドキュメントストアとしても効率的です。ElasticsearchはNoSQLデータベースではありませんが、類似の機能性を備えています。

動的マッピングについてさらに詳しく

時系列/分析(列での格納)

転置インデックスでクエリを実行すると、検索タームをすばやく参照できます。しかし、並べ替えやアグリゲーションを実行するには、別のデータアクセスパターンが必要です。タームを参照してドキュメントを見つける代わりに、ドキュメントを参照してフィールドにあるタームを探せるようにしなければなりません。ドキュメントの値は、インデックス時にElasticsearchのオンディスクデータ構造になっています。そのため前述のデータアクセスパターンを使うことができ、検索を列で実行することが可能です。Elasticsearchが時系列とメトリック分析にすぐれた能力を発揮できる理由もここにあります。

ドキュメント値についてさらに詳しく

地理空間(BKDツリー)

ElasticsearchはLuceneでBKDツリー構造を使用し、地理空間データを格納します。これにより、地理座標(緯度・経度)とジオシェイプ(四角形・ポリゴン)のどちらも効率的に分析することができます。

データストレージ

セキュリティ

Elasticsearchは、データの悪用を回避する複数の手段をサポートしています。

保存データの暗号化

Elastic Stackに保存データを暗号化するメニューは搭載されていませんが、ホストマシンにおけるディスクレベルの暗号化は常に推奨されています。スナップショットの対象についても、保存先データが確実に暗号化されていることが必要です。

フィールドとドキュメントレベルのAPIセキュリティ

フィールドレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つフィールドを制限します。ドキュメントベースの読み取りAPIで、どのフィールドにアクセスを許可するか定めることが可能です。

フィールドレベルのセキュリティについてさらに詳しく

ドキュメントレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つドキュメントを制限します。ドキュメントベースの読み取りAPIで、どのドキュメントにアクセスを許可するか定めることが可能です。

ドキュメントレベルのセキュリティについてさらに詳しく

データストレージ

管理

Elasticsearchのクラスターやノード、インデックス、シャード、そしてデータ自体も、完全に管理することができます。

クラスター化インデックス

クラスターとは、共同ですべてのデータを保有し、全ノードを横断してフェデレーションによるインデキシングと検索を提供する1つ以上のノード(サーバー)の集合です。このアーキテクチャーでは、簡単に水平方向へのスケールを行うことができます。Elasticsearchはクラスター管理のための包括的でパワフルなREST APIとUIを提供しています。

クラスター化インデックスについてさらに詳しく

データスナップショットと復元

スナップショットとは、実行中のElasticsearchクラスターのバックアップです。個々のインデックスのスナップショットを撮ることも、クラスター全体で撮ることもでき、スナップショットは共有ファイルシステムのレポジトリに格納されます。プラグインを使用し、リモートレポジトリを選択することもできます。

スナップショットと復元についてさらに詳しく

ソースのみのデータスナップショット

ソースレポジトリは、ソースのみのスナップショットを作成する機能です。スナップショットを最小限にすることで、最大50%のディスクスペースを節約します。ソースのみのスナップショットは格納フィールドとインデックスメタデータを含みます。インデックスやドキュメント値ストラクチャーを含まず、格納後は検索できません。

ソースのみのスナップショットについてさらに詳しく

ロールアップインデックス

古いデータを使えるようにしておくと、分析には非常に役立ちます。問題は、膨大な量のデータのアーカイブに費用がかかることでした。したがって膨大な過去データの保持期間を、その有用性よりも、コスト面の制約で決定されることが少なくありませんでした。Elasticのロールアップは、過去データを要約して格納する機能です。分析に使えるように維持しつつ、生データにかかるストレージコストを大きく引き下げます。

ロールアップについてさらに詳しく

検索と分析

検索と分析

全文検索

Elasticsearchは、パワフルな全文検索機能で広く知られています。中核となる転置インデックスが高速処理を実現し、調整可能な関連性スコアリングや高度なクエリDSL、幅広い検索拡張など、機能性にすぐれています。

倒置インデックス

Elasticsearchは、超高速の全文検索を実現する目的で開発された倒置インデックスと呼ばれる構造を使用します。倒置インデックスは、ドキュメントに出現するユニークなすべての単語を列挙したリストと、各単語がどのドキュメントに出現するかを列挙したリストで構成されます。倒置インデックスを作成する際、はじめに各ドキュメントのコンテンツフィールドを単語(ターム、またはトークンと呼ばれます)に分割します。次に、ユニークなすべての単語を列挙し、並べ替えたリストを作成します。最後に、各タームが出現するドキュメントをリストアップします。

倒置インデックスについてさらに詳しく

クラスター横断検索

クラスター横断検索(cross-cluster search、CCS)で、ノードを複数のクラスターを横断する連携クライアントのように実行させることができます。クラスター横断検索ノードは、リモートクラスターに直接は加わりません。ほとんど負荷をかけずにリモートクラスターへ接続し、連携された検索リクエストを実行します。

CCSについてさらに詳しく

関連性スコアリング

マッチするドキュメントのスコアを定義するのが類似度(関連性スコアリング/順位付けモデル)です。デフォルトで、ElasticsearchはBM25類似度を使用します。これはTF/IDFベースの高度な類似度で、(名前など)短いフィールドに最適なtf正規化に内蔵されています。さらにこの他にも、多数の類似度オプションを使用することができます。

類似度モデルについてさらに詳しく

クエリDSL

全文検索を実行するには、頼れるクエリ言語が必要です。ElasticsearchはJSONベースでクエリを定義する完全なクエリDSL(ドメイン固有言語、domain-specific language)を提供しています。シンプルなクエリでタームやフレーズをマッチさせることができ、複数のクエリの組み合わせに対応する複合クエリを開発することも可能です。クエリ時にフィルターを適用して、関連性スコアの算出前にドキュメントを除外することもできます。

ElasticsearchクエリDSLについてさらに詳しく

強調表示

強調表示機能は、検索結果から1つ以上のフィールドの文字列をハイライトします。クエリがマッチしている箇所が一目でわかります。強調表示をリクエストすると、レスポンスに強調表示要素が追加され、強調表示されたフィールドとフラグメントを含む検索ヒット部分を示します。

強調表示についてさらに詳しく

自動入力

入力予測により、自動入力機能や、入力と同時に検索結果を表示するエクスペリエンスが提供されています。エンドユーザーの入力と同時に関連性の高い結果へ導くナビゲーターとなり、検索精度も高くなります。

自動入力についてさらに詳しく

修正(スペルチェック)

編集スペルチェックは、編集距離からタームを提案する予測機能を応用しています。提案されるテキストはあらかじめ分析されており、提案されるタームは、分析されたテキストトークンごとに出力されます。

修正についてさらに詳しく

入力予測

検索中に「もしかして~ですか?」と提案する、フレーズの入力予測機能を追加できます。ngram言語モデルに基づいて重み付けされた個別のトークンは使用しません。用語の入力予測機能に付加的なロジックを構築することにより、完全に修正されたフレーズを選択します。この入力予測機能は、共起性と頻度に基づいて取り上げるトークンを決定にすぐれた能力を発揮します。

入力予測についてさらに詳しく

パーコレーター

クエリを使ってインデックスに格納されたドキュメントを探す、というのが標準的な検索モデルです。それとは対照的に、パーコレーターを使ってインデックスに格納されたクエリにドキュメントをマッチさせることができます。パーコレートクエリは一部にドキュメントを含んでおり、そのドキュメントをインデックスに格納されたクエリとマッチさせるために使用します。

パーコレーターについてさらに詳しく

クエリプロファイラー/オプティマイザー

プロファイルAPIは、検索リクエストを実行中する個々のコンポーネントのタイミングについて詳しい情報を提供します。行レベルで検索リクエストがどのように実行されたかのインサイトを入手できることで、特定のリクエストが遅延した理由を把握したり、改善措置を講じることができます。

プロファイルAPIについてさらに詳しく

許可に応じて検索結果を表示

フィールドレベルのセキュリティドキュメントレベルのセキュリティを備え、エンドユーザーの検索において、読み取りアクセスのある範囲の結果だけを表示します。具体的には、ドキュメントベースの読み取りAPIからアクセスできるフィールドとドキュメントを制限します。

クエリのキャンセル

Kibanaに搭載されている"クエリのキャンセル"機能は、不要な処理の負荷を軽減させることでクラスター全体への影響を抑制します。ユーザーがクエリを変更/更新した場合や、ブラウザのページを再読み込みした場合にElasticsearchリクエストの自動的なキャンセルが実行されます。

検索と分析

分析

検索は「最初の一歩」です。Elastic Stackのパワフルな分析機能を使って、欲しいデータを入手したり、より深い意味を見出してみましょう。アグリゲーション結果の表示や、ドキュメント間の関連性分析、閾値ベースのアラート設定といった高度な作業も、土台となるパワフルな検索のおかげで簡単に行えます。

アグリゲーション

アグリゲーションフレームワークが、検索クエリに基づいてアグリゲーション済みデータを提供します。たとえるなら、アグリゲーションと呼ばれるシンプルなブロックを用意しておき、それを組み合わせて複雑なデータのサマリーを構築する、そんな仕組みです。アグリゲーションを、一連のドキュメントから分析的な情報を取得する作業の単位としてとらえることができます。

アグリゲーションについてさらに詳しく
  • メトリックアグリゲーション

  • バケットアグリゲーション

  • パイプラインアグリゲーション

  • マトリックスアグリゲーション

Graph探索

Graph探索APIを使って、Elasticsearchインデックス中のドキュメントや用語に関する情報を抽出/要約することができます。Graph探索APIについて理解するベストな方法は、KibanaでGraphを使った関係性の探索を行ってみることです。

Graph探索APIについてさらに詳しく

閾値アラート

Elasticsearchインデックスのデータが一定時間内に指定した閾値を上回る、または下回るよう定期的にチェックするアラートを作成できます。Elasticsearchのクエリ機能をフルパワーで活用するアラートなら、データの重要な変化を見逃しません。

閾値アラートについてさらに詳しく

検索と分析

機械学習

Elasticの機械学習は、トレンドや周期性などからデータの振る舞いを自動的に、リアルタイムにモデル化し、すばやく問題を特定して原因分析を手助けします。さらに、誤検出を防ぎます。

推定

推定により、リグレッションや分類などの教師あり機械学習プロセスをバッチ分析だけでなく、連続的に実行することができます。教育済み機械学習モデルを流入データに使えるのも、推定のおかげです。

推定についてさらに詳しく

言語の特定

言語特定とは、訓練済みモデルを使ってテキストの言語を特定することです。推定プロセッサー内の言語特定モデルを参照することができます。

言語特定についてさらに詳しく

時系列データの将来予測

ElasticのMachine Learningは、データの正常な振る舞いのベースラインを作成します。この情報を活用すれば、未来の振る舞いを予測することもできます。未来の特定の日時の数値を予測する、あるいは時系列中の値が未来に再び発生する可能性を見積もる、といった使い方が可能です。

未来予測についてさらに詳しく

時系列データの異常検知

ElasticのMachine Learningオプションは、データの正常な振る舞いの正確なベースラインを作成し、異常なパターンを特定することによって時系列データ分析を自動化します。異常が検知され、スコア付けされるだけではありません。Machine Learningの専有アルゴリズムを使用してデータ中の顕著なインフルエンサーへのリンク付けまで実行します。

異常検知についてさらに詳しく
  • 数値や回数、頻度における一時的な偏差に関連する異常

  • 統計的稀出性

  • データ母集団における稀な振る舞い

異常の通知

Alertingに教師なし学習のMachine Learningを組み合わせれば、ルールや閾値の定義が難しい異常も検知できます。問題が発生すると、Alertingのフレームワークの異常スコアを活用した通知が届きます。

Alertingについてさらに詳しく

占有数解析

Elasticの機械学習機能は、指定した期間について"典型的"なユーザーやマシン、他のエンティティのプロファイルを構築します。そこから、母体データと比較して異常に振る舞う「外れ値」を特定することができます。

占有数解析についてさらに詳しく

ログメッセージの分類

アプリのログイベントは構造化されていないことが多く、また変数データを含むこともあります。ElasticのElasticのMachine Learningオプションは、メッセージの静的な部分とクラスターの類似メッセーを同時に観測し、カテゴリ別に分類します。

ログメッセージの分類についてさらに詳しく

原因分析

異常が検出された瞬間から、Elasticの機械学習は大きな影響を及ぼす要因の特定に向けて動き出します。たとえば、トランザクションに異常がある場合、問題の原因となっているクラッシュしたサーバーや、設定に誤りのあるスイッチをすばやく特定することができます。

原因分析についてさらに詳しく

データビジュアライザー

データビジュアライザーはElasticsearchデータを深く理解する上で役立ちます。ログファイル、または既存のインデックスのメトリックやフィールドを解析し、機械学習分析に使用できるフィールドを特定することもできます。

データビジュアライザーについてさらに詳しく

マルチメトリックの異常エクスプローラー

複数の検知器を使用し、高度な機械学習ジョブを作成できます。マルチメトリックジョブでインプットデータストリームを分析し、挙動をモデル化しましょう。ジョブで定義した2つの検知器に基づく分析を実行したら、あとは異常エクスプローラーで結果を表示するだけです。

マルチメトリックジョブについてさらに詳しく

外れ値検出API

教師なしの機械学習による外れ値検出機能は、距離と密度に基づく4つの技術を使用して、"大部分"に比べて"普通ではない"データポイントを発見します。ジョブ作成APIで、外れ値を検出するデータフレーム分析ジョブを作成できます。

外れ値検出APIについてさらに詳しく

検索と分析

Elastic APM

Elasticsearchにログやシステムメトリックを取り込んだら、Elastic APMで、アプリケーションのメトリックも投入できます。初期設定に、4行コードを加えるだけ。問題箇所をすばやく確認し、自信をもってコードをプッシュできます。

APMサーバー

APMサーバーは、APMエージェントからデータを受け取り、Elasticsearchドキュメントに変換します。受け取りと変換は、HTTPサーバーエンドポイントを、収集したAPMデータをストリーミングするエージェントにエクスポーズすることで行われます。APMサーバーは、APMエージェントから受け取ったイベントを検証・処理した後、データをElasticsearchドキュメントに変換して、対応するElasticsearchインデックスに格納します。

APMサーバーについてさらに詳しく

APMエージェント

APMエージェントは、運用中のサービスと同じ言語のオープンソースライブラリです。他のライブラリと同じように、運用中のサービスにインストールすると、サービスコードを記録してランタイムのパフォーマンスデータとエラーを収集します。収集データは短時間バッファされ、APMサーバーに送られます。

APMエージェントについてさらに詳しく

APMアプリ

コードから問題を検索し、修正できます。ボトルネックを特定し、コードレベルの変化への注目を促すKibanaのAPMアプリがナビゲート。開発・テストのサイクルから、アプリケーションのパフォーマンス、ユーザーエクスペリエンスまで、開発のあらゆるフェーズでコードを最適化することができます。

Elastic APMについてさらに詳しく

分散トレーシング

インフラを通過するリクエストの数はいくつ?個々の取引を結びつける分散トレーシングを使えば1つのリクエストの全体像を追うことができ、サービスの状況を明確に把握できます。パスのどこでレイテンシーが生じるか特定することで、最適化が必要なコンポーネントもおのずとわかります。

分散トレーシングについてさらに詳しく

Alertingの統合

目を離しているときも状況を把握できます。問題がある時も、万事うまくいっている時も、メールやSlackで通知が届きます。

Alertingについてさらに詳しく

Machine Learning統合

APMアプリで直接Machine Learningジョブを作成してみましょう。機械学習機能がデータを自動でモデル化し、異常な振る舞いをすばやく検出します。

APMのMachine Learning統合についてさらに詳しく

探索と可視化

探索と可視化

可視化

Elasticsearchインデックスにあるデータを、可視化してみましょう。Kibanaは、Elasticsearchクエリをベースにした可視化を作成します。Elasticsearchの各種アグリゲーションを使用し、データを抽出処理するだけ。データのトレンドからスパイク、急な落ち込みまで、把握すべきあらゆる情報をチャートで表示してくれます。

ダッシュボード

Kibanaのダッシュボードは可視化や検索のコレクションを表示します。ダッシュボードのコンテンツを思いのままにアレンジ、サイズ調整、編集することができ、保存後に共有することもできます。

Kibanaのダッシュボードについてさらに詳しく

Canvas

Canvasは、データを美しく表現する新しい手法です。Canvasは、データを色や形、テキスト、ユーザーの想像力と結びつけます。動的でマルチページ、ピクセルパーフェクトなデータ表現は、大型ディスプレイへの表示にも最適です。

Canvasについてさらに詳しく

Kibana Lens

Kibana LensのUIは使いやすく、直感的。ドラッグ&ドロップの簡単な操作で、データの可視化プロセスをシンプルにします。何十億のログ行を探索する場合も、Webサイトトラフィックに潜む傾向を特定する場合も、Lensなら数クリックでデータのインサイトを入手できます。Kibanaの使用経験も、知識も必要ありません。

Kibana Lensについて詳しくはこちらをご覧ください。

時系列ビジュアルビルダー

時系列ビジュアルビルダー(Time Series Visual Builder、TSVB)Elasticsearchのアグリゲーションフレームワークを最大に活用しています。無限のアグリゲーションとパイプラインアグリゲーションを組み合わせ、複雑なデータを有意義な手法で表示します。

TSVBについてさらに詳しく

Graph分析

Graph分析オプションで、Elasticsearchインデックスにある項目同士の関わりを見つけ出すことができます。インデックスされたターム同士の関係性を探索し、どの関係性が最も重要か確かめましょう。不正検知から"おすすめ"を提案するエンジンまで、幅広いアプリに役立てることができます。

Graph分析についてさらに詳しく

地理空間分析

Elastic Stackを使う現場にたびたび登場するのが、「どこで?」という問いです。攻撃者からネットワークを保護するときも、特定の地域でアプリのレスポンスが低速化するときも、タクシーで帰宅するときでさえ、地理データの検索が重要な役割を果たします。

地理空間分析とマップについてさらに詳しく

コンテナー監視

アプリケーションや環境は日々進化しています。だから、Elastic Stackも進化しました。アプリやDocker、Kubernetesで起きていることを1か所で監視・検索・可視化できます。

コンテナー監視についてさらに詳しく

Kibanaプラグイン

コミュニティ発のプラグインモジュールで、さらにたくさんの機能をKibanaに追加してみましょう。オープンソースのプラグインを、幅広いアプリや機能拡張、可視化などで使うことができます。次のようなプラグインがあります。

Kibanaで使えるプラグインを探す
  • Vegaビジュアライゼーション

  • Prometheus exporter

  • 3Dチャートとグラフ

  • カレンダー可視化

  • 他多数

データ投入チュートリアル

わかりやすいチュートリアルで、データセットをElasticsearchに読み込む方法を学習できます。インデックスパターンの定義や、データの探索と発見、可視化やダッシュボードの作成方法も紹介されています。

データ投入チュートリアルについてさらに詳しく

探索と可視化

共有と共同作業

Kibanaで可視化したデータを上司やチームに共有しましょう。上司の上司や、クライアント、コンプライアンス管理者、ビジネスパートナーまで、共有したい相手に簡単にシェアできます。ダッシュボードへの埋め込みや、リンクでの共有、PDFやPNG、CSVへの出力まで、共有のオプションも豊富。KibanaのSpacesが、ダッシュボードや可視化レポートの管理をサポートします。

埋込ダッシュボード

Kibanaなら、ダッシュボード関連の操作も簡単です。ダッシュボードのリンクを共有したり、Webページにiframeでダッシュボードを埋め込んだりでき、ライブデータのダッシュボードにも、現在時の静的なスナップショットにも対応しています。

ダッシュボードの埋込と共有についてさらに詳しく

ダッシュボードオンリーモード

内蔵のkibana_dashboard_only_user built-inロールを使用して、ログインしたユーザーがKibanaに表示できるコンテンツを制限できます。Kibanaのkibana_dashboard_only_userロールには、読み取り限定のアクセス許可が事前設定されています。このロールのユーザーがダッシュボードを開くと閲覧エクスペリエンスに制約があり、[編集]や[作成]のメニューは非表示になっています。

ダッシュボードオンリーモードについてさらに詳しく

Space

KibanaのSpaceを使用して、ダッシュボードやその他の保存済みオブジェクトを、わかりやすいカテゴリー別に整理することができます。いずれかのspaceを開くと、そのspaceに保存されているダッシュボードとオブジェクトだけが表示されます。セキュリティ面でも役立ちます。ユーザーからspaceへのアクセス権限を個別に制御できる、追加の保護レイヤーとして機能します。

Spaceについてさらに詳しく

PDF/PNGレポート

Kibanaの可視化やダッシュボードは、すばやくレポート生成してPDFやPNGに保存することができます。オンデマンドでレポートを取得したり、後で生成するようにスケジュール設定したり、特定の条件で生成されるように設定できるほか、関係者との自動共有も設定できます。

Reportingについてさらに詳しく

CSVファイルへのエクスポート

[ディスカバー]に保存した検索をCSVファイルにエクスポートし、外部のテキストエディターで使うことができます。

保存した検索のエクスポートについてさらに詳しく

探索と可視化

Elasticマップ

マップアプリを使って、地理空間データを大規模に、高速かつリアルタイムにパースすることができます。1つのマップに複数のレイヤーやインデックスを使用する機能や、生ドキュメントのプロッティング、動的なクライアントサイドスタイリング、複数レイヤーを縦断する検索など、多彩な機能を通じてデータを手軽に把握し、監視することができます。

マップレイヤー

Kibanaのマップアプリは、複数の異なるインデックスを複層レイヤーとして1つのビューに表示します。同一の地図上にレイヤーを重ねているため、まとめて、リアルタイムに検索や絞り込むことが可能です。コロプレスレイヤーやヒートマップレイヤー、タイルレイヤー、ベクターレイヤーを含む各種のオプションが揃っています。

マップレイヤーについてさらに詳しく

カスタムリージョンマップ

ベクターシェイプの境界とグラデーションカラーでテーマに合わせたリージョンマップを作成できます。お好みのスタイルを選び、カスタムロケーションデータに適用してみましょう。

リージョンマップについてさらに詳しく

Elastic Maps Service(ズームレベル)

Elastic Maps Serviceはマップアプリをはじめ、Kibanaで地理空間データを可視化するすべてのサービスを支えています。地理データの可視化に欠かせないベースマップタイルや、シェイプファイル、その他の主要な機能を提供します。Kibanaのデフォルト配布では、マップ上で最大18倍まで拡大することができます。

Elastic Maps Serviceについてさらに詳しく

GeoJSONアップロード

GeoJSONアップロード機能はシンプルで使いやすく、堅牢です。地図作成者は、Elasticsearchにデータを直接投入し、この機能を使用することで、ポイントやシェイブ、コンテンツでエンリッチ化されたGeoJSONファイルを地図にドラッグアンドドロップし、瞬時に可視化できます。

GeoJSONアップロードについてさらに詳しく

探索と可視化

Elastic Logs

Elastic Stackには、一般的なデータソースにそのまま使えるダッシュボードがあらかじめ用意されています。FilebeatとWinlogbeatでログを送ると、ElasticsearchにインデックスされてKibanaが可視化。数分もかかりません。

ログシッパー(Filebeat)

Filebeatでログやファイルを転送して1か所にまとめれば、シンプルなものはシンプルに扱うことができます。Filebeatにはauditd、Apache、NGINX、System、MySQLなど、多様なモジュールがあります。よく使われる形式のログを、1つのコマンドで簡単に収集、パース、可視化できます。

Filebeatについてさらに詳しく

ログダッシュボード

Filebeatダッシュボードサンプルを使って、Kibanaで簡単にログデータの探索をはじめることができます。事前構成済みのダッシュボードではじめて必要に応じてカスタマイズするスタイルなら、セットアップに時間がかかりません。

ログダッシュボードについてさらに詳しく

ログアプリ

ログアプリを使うと、コンパクト&カスタマイズ可能な画面上でリアルタイムにログをtailすることができます。このログデータはメトリックアプリ内でメトリックと相関付けされ、問題の診断も簡単に行うことができます。

ログアプリについてさらに詳しく

探索と可視化

Elastic Metrics

Elastic Metricsで、CPUの使用量やシステム負荷、メモリ使用量、ネットワークトラフィックといった高次のメトリックを簡単に追跡することができます。サーバーやコンテナー、サービス全体のヘルスの把握に役立ちます。

メトリックシッパー(Metricbeat)

Metricbeatはサーバーにインストールできる軽量のシッパーです。サーバーで運用中のシステムや実行中のサービスからメトリックを定期的に収集します。CPUやメモリ、RedisやNGINXなど、システム統計情報を軽快に転送します。

Metricbeatについてさらに詳しく

メトリックダッシュボード

Metricbeatダッシュボードサンプルを使って、Kibanaで運用するサービスの監視を簡単にはじめることができます。事前構成済みのダッシュボードではじめて必要に応じてカスタマイズするスタイルなら、セットアップに時間がかかりません。

メトリックダッシュボードについてさらに詳しく

メトリックアプリ

Elasticsearchにメトリックデータを投入するセットアップが完了したら、Kibanaのメトリックアプリで監視して、リアルタイムに問題を特定しましょう。

メトリックアプリについてさらに詳しく

探索と可視化

Elastic Uptime

オープンソースのHeartbeatを内蔵したElastic Uptimeは、ログ、メトリック、APMが提供するリッチなコンテクストとアベイラビリティデータを組み合わせて活用します。シンプルな方法で点と点を結び、アクティビティ同士を関連付けて問題をすばやく解決します。

アップタイムモニター(Heartbeat)

Heartbeatはリモートサーバーにインストールする軽量なデーモンです。サービスのステータスを定期的に確認することにより、サービスを提供できているか判断します。Heartbeatが投入するサーバーデータをKibanaのアップタイムダッシュボードやアプリに表示することができます。

Heartbeatについてさらに詳しく

アップタイムダッシュボード

Heartbeatダッシュボードサンプルを使って、運用するサービスのステータスをKibanaで簡単に可視化できます。事前構成済みのダッシュボードではじめて必要に応じてカスタマイズするスタイルなら、セットアップに時間がかかりません。

アップタイムダッシュボードについてさらに詳しく

アップタイムアプリ

Kibanaのアップタイムアプリで、ネットワークや環境内で生じる障害と接続の問題をすみやかに特定/診断することができます。便利なインターフェースで、ホストやサービス、Webサイト、APIなどを手軽に監視できます。

アップタイムアプリについてさらに詳しく

探索と可視化

Elastic SIEM

Elastic SIEMとElastic Endpoint Securityは、ITの運用やSOCに必要となる分析や、脅威ハンティングの機能を提供します。思考と同じスピードで脅威調査し、トリアージすることが可能です。KibanaのSIEMアプリはアドホック検索やレスポンシブなフィルタリング、詳細表示といったあらゆる調査ワークフローに対応。直感的に使うことができる、インタラクティブなインターフェースパッケージです。

Elastic Common Schema

Elastic Common Schema(ECS)を使って、多様なソースからくるデータを分析できます。ダッシュボードや機械学習ジョブといった分析コンテンツをより広範に適用したり、検索をより厳密に設定することができ、フィールド名も覚えやすくなります。

Elastic Common Schemaについてさらに詳しく

ホストセキュリティ分析

Kibanaが備える可視化とダッシュボードの豊富なライブラリが拡充され、SIEMアプリの[ホスト]ビューに、データテーブルとホスト関連の主要なセキュリティイベントが表示されます。データテーブルからは、[タイムラインイベントビューアー]をインタラクティブに操作することができます。Elastic Endpoint SecurityやFilebeat、Winlogbeat、Auditbeatで収集したホストベースのセキュリティデータもサポートされるようになりました。

ホストセキュリティ分析についてさらに詳しく

ネットワークセキュリティ分析

SIEMアプリの[ネットワーク]ビューはネットワークアクティビティの主要なメトリックとネットワークイベントのテーブルを表示し、アナリストの調査をサポートします。テーブルから[タイムラインイベントビューアー]をインタラクティブに操作することができます。さらに人気のネットワーク監視と、Cisco ASAやPalo Altoファイアウォールに加えて、Bro/ZeekやSuricataなどの侵入検知システム(Intrusion Detection Systems、IDS)の統合機能を追加し、ネットワークベースのセキュリティイベントの収集範囲も拡充しました。

ネットワークセキュリティ分析についてさらに詳しく

タイムラインイベントビューアー

タイムライン機能で、イベントを表示したり、注釈をつけることができます。さらにグラフベースの関係性分析や、コンテクストデータを収集して攻撃や侵入の根本原因を明らかにすることも可能です。幅広い作業がKibanaだけで完結します。

タイムラインイベントビューアーについてさらに詳しく

機械学習機能

SIEMアプリに統合された機械学習機能が、脅威ハンティングと検知のワークフローを強化します。機械学習の異常検知ジョブは、サイバー攻撃の特定の振る舞いを検知するよう設計されています。有効化するだけの操作で、簡単にジョブを実行することができます。検出された異常はアプリの[ホスト]や[ネットワーク]ビューに一覧で表示され、活用しやすくなっています。機械学習とSIEMについてさらに詳しく