Elasticsearchの機能

クラスターとは、共同ですべてのデータを保有し、全ノードを横断してフェデレーションによるインデキシングと検索を提供する1つ以上のノード（サーバー）の集合です。Elasticsearchのクラスターはプライマリシャードとレプリカシャードの2つを搭載しており、ノードがダウンした場合にフェイルオーバーの役割を果たします。プライマリシャードに問題が生じると、レプリカシャードが代替します。

意図的であるかを問わず、何らかの理由で任意のノードがクラスターから切り離される場合、複製とシャードのリバランスを活用して、マスターノードに代替されます。この一連のアクションは、各シャードを可能な限りすみやかに、完全に複製することで、データロスからクラスターを保護することを目的としています。

Elasticsearchクラスターのマスターノードは、どのシャードをどのノードに割り当てるか自動的に判断します。さらにマスターノードは、シャードを別のノードへ移動させ、クラスターの再バランス化を図るタイミングも決定します。

Elasticsearchは、ニーズに応じて自在にスケールします。データの増加やユースケースの追加、リソースの不足が生じた場合も、運用クラスターにノードを追加するだけ。キャパシティと信頼性を簡単に引き上げることができます。クラスターにノードを追加すると、自動でレプリカシャードが割り当てられ、有事の際も安心です。

カスタムノード属性を認識属性として使用し、シャードを割り当てる際、Elasticsearchに物理ハードウェアの設定を考慮させることができます。どのノードが同じ物理サーバー（あるいは同じラック、同じゾーン）にあるかをElasticsearch側で把握していれば、プライマリシャードとレプリカシャードを分散させ、障害発生時にすべてのシャードコピーが失われるリスクを最小化することができます。

クラスター横断レプリケーション（cross-cluster replication、CCR）機能を使って、リモートクラスターのインデックスをローカルクラスターに複製することができます。一般的な運用ユースケースで広く役立ちます。

Elasticsearchを使用するミッションクリティカルな多くのアプリに欠かせない要件に、データセンター横断レプリケーションがあります。従来は、部分的かつ付加的なテクノロジーで解決されていました。Elasticsearchのクラスター横断レプリケーションなら、データセンター間や、地理的冗長性を目的に、あるいはElasticsearchクラスター間のデータ複製のためにテクノジーを追加する必要はありません。

インデックスライフサイクル管理（ILM）は、4つある各フェーズにインデックスが滞在する期間のポリシーを定義し、自動化して制御します。また、インデックスの各フェーズで実行される一連のアクションも定めます。データを保管するリソースのグレードを変えることで、運用コストのよりきめ細やかな管理を実現します。

データティアは、ノードロール属性を使ってデータをHot、Warm、Coldの3つのノードに正式に区分する手法です。ノードロール属性に基づき、ノードのインデックスライフサイクル管理ポリシーも自動的に定義されます。Hot、Warm、Coldの3つのノードロールを割り当てることで、高コスト・高パフォーマンスなストレージから低コスト・低パフォーマンスなストレージへのデータ移動プロセスを大幅にシンプル化、および自動化できます。大切なデータインサイトには、一切影響を生じません。

Elasticsearchインデックスは、一部のデータ構造をメモリーに保持し、効率的に検索したり、インデックスできるよう設計されています。メモリー使用量を軽減（して運用コストを削減）するために、Elasticsearchであまり使用されないデータはフローズンインデックスに入れることができます。フローズンインデックスはメモリーに保持されていません。フローズンインデックスのデータは、クエリが生じたとき一時的にメモリーに読み込まれ、クエリの完了と同時に再び解放されます。

管理者はバッググラウンドでスナップショットの管理を行うスナップショットライフサイクル管理（SLM）APIを使って、Elasticsearchクラスターのスナップショットを撮る間隔を定義できます。SLM専用のUIがあり、SLMポリシーの保持期間を設定したり、スナップショットを自動で作成・削除したり、スケジュールを指定できるようになっています。どのクラスターも適切にバックアップできるだけでなく、顧客とのSLAに沿って復旧を実施するために必要な頻度のバックアップを確実に実行することができます。

スナップショットとは、実行中のElasticsearchクラスターのバックアップです。個々のインデックスのスナップショットを撮ることも、クラスター全体で撮ることもでき、スナップショットは共有ファイルシステムのレポジトリに格納されます。プラグインを使用し、リモートレポジトリを選択することもできます。

“検索可能スナップショット”は、直接クエリできるスナップショットです。通常のスナップショットを復元する場合と比べて、検索にかかる時間を劇的に短縮できます。各スナップショットインデックスの必要な部分を読み取り専用で活用し、検索リクエストを実行する仕組みです。検索可能スナップショットとColdティアを組み合わせて、Amazon S3やAzure Storage、Google Cloud Storageといったオブジェクトストレージシステムにレプリカシャードをバックアップすると、データストレージコストを大幅に削減できます。もちろん、検索のための完全なアクセスが保たれます。

ソースレポジトリは、ソースのみのスナップショットを作成する機能です。スナップショットを最小限にすることで、最大50%のディスクスペースを節約します。ソースのみのスナップショットは格納フィールドとインデックスメタデータを含みます。インデックスやドキュメント値ストラクチャーを含まず、格納後は検索できません。

古いデータを使えるようにしておくと、分析には非常に役立ちます。問題は、膨大な量のデータのアーカイブに費用がかかることでした。したがって膨大な過去データの保持期間を、その有用性よりも、コスト面の制約で決定されることが少なくありませんでした。Elasticのロールアップは、過去データを要約して格納する機能です。分析に使えるように維持しつつ、生データにかかるストレージコストを大きく引き下げます。

データストリームは、継続的に生成される時系列データのインジェスト、検索、管理に便利で、スケーラブルな方法です。

変換は、2次元的な表によるデータストラクチャーです。このデータストラクチャーは、インデックス済みデータをより処理しやすくする性質を備えています。変換は、アグリゲーションを通じてデータをエンティティセントリックなインデックスにピボットします。変換、要約でデータを可視化できようにするだけでなく、機械学習分析用のソースを提供するなど、別の手法によるデータ分析を可能にします。

アップグレードアシスタントAPIでElasticsearchクラスターのステータスを確認・アップグレードしたり、以前のメジャーバージョンで作成されたインデックスを再インデックスしたりすることができます。Elasticsearchで、より新しいメジャーバージョンへ移行する際に便利です。

APIキーの管理には、ユーザーが独自のキーを管理できる程度にフレキシブルで、個々のロールに応じてアクセスを制限できる機能が必要です。ユーザーは専用UIを使ってAPIキーを作成したり、長い期間Elasticsearchと通信する認証情報として使用したりすることができます。他の多くのソフトウェアでは、自動化スクリプトや自動化ワークフローの統合という形で提供されています。

Some settings are sensitive, and relying on filesystem permissions to protect their values is not sufficient. For this use case, Elasticsearch provides a keystore to prevent unwanted access to sensitive cluster settings. The keystore can optionally be password protected for additional security.

SSL/TLSを用いたトラフィック暗号化や、ノード認証証明書をはじめとするテクノロジーで、Elasticsearchノードのデータに対するネットワークベースの攻撃を阻止しています。

Elastic Stackに保存データを暗号化するメニューは搭載されていませんが、ホストマシンにおけるディスクレベルの暗号化は常に推奨されています。スナップショットの対象についても、保存先データが確実に暗号化されていることが必要です。

ロールベースのアクセス制御は、ユーザーやグループにロールをアサインし、さらにロールに応じた権限をアサインしてユーザーのアクセス権を設定する機能です。

Elastic StackのSecurityオプションは、属性ベースのアクセス制御（ABAC）メカニズムも備えています。属性を使用して、検索クエリやアグリゲーションがアクセスするドキュメントを制約します。このメカニズムで、ロール定義にアクセスポリシーを導入することが可能です。エンドユーザーは、必要なすべての属性を備える特定のドキュメントしか読み取ることができません。

フィールドレベルのセキュリティ対策で、ユーザーが読み取りアクセスを持つフィールドを制限します。ドキュメントベースの読み取りAPIで、どのフィールドにアクセスを許可するか定めることが可能です。

認証の失敗や拒否された接続など、セキュリティ関連イベントを追跡する監査を有効化することができます。こうしたイベントのログを記録しておくことによって、クラスター上の疑わしいアクティビティを監視し、攻撃が発生した際のエビデンスとして使用することができます。

クラスターに追加するノードや、アプリクライアント、ノードクライアント、トランスポートクライアントなどにIPフィルターを追加することができます。ブラックリストに入っているIPアドレスがノードに入ると、セキュリティ機能がElasticsearchへの接続をただちに遮断し、リクエスト処理が停止されます。

xpack.security.transport.filter.allow:"192.168.0.1"
xpack.security.transport.filter.deny:"192.168.0.0/24"

xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
xpack.security.transport.filter.deny: _all

xpack.security.transport.filter.allow:"2001:0db8:1234::/48"
xpack.security.transport.filter.deny:"1234:0db8:85a3:0000:0000:8a2e:0370:7334"

xpack.security.transport.filter.allow: localhost
xpack.security.transport.filter.deny: '*.google.com'

Elastic StackのSecurityオプションで実行されるユーザー認証は、レルムと、1つ以上のトークンに基づく認証サービスを使用します。レルムは認証トークンに基づいてユーザーを解決、認証する役割を果たします。Elastic StackのSecurityオプションで、多数の内蔵型レルムが提供されています。

Elastic StackはバックエンドサービスにElasticsearchを使用しており、KibanaへのSAMLシングルサインオン（SSO）に対応しています。SAML認証の導入で、OktaやAuth0といった外部IDプロバイダーを使ったKibanaへのログインが可能になります。

Elastic Stackのセキュリティ仕様がサポートしない認証システムをお使いの場合も、カスタムレルムを作成してユーザーを認証することができます。

通知ニーズにElastic Stackを活用するメリットは、組織の規模を問いません。あらゆるソース、あらゆるフォーマットのデータを確実かつ安全に投入できるElastic Stackが、重要なデータをリアルタイムに検索、分析、可視化。さらに、カスタムの頼れる通知をアナリストに届けます。

どのような通知方法がお好みですか？メール、PagerDuty、ServiceNow、Slack、Jira、IBM Resilientなど、豊富な選択肢から選べます。パワフルなWebフックもあり、既存の監視システムや、外部システムとの連携もスムーズです。

Elasticsearchは標準のRESTful APIとJSONを使用します。さらにElasticが開発・保守するクライアントライブラリがJava、Python、.Net、SQL、PHPといった多数の言語で用意されているほか、コミュニティによるクライアントもあります。無限の可能性を持つElasticsearch。あなたの自由なアイデアを妨げません。

ElasticsearchはJSONベースでクエリを定義する完全なクエリDSL（ドメイン固有言語、domain-specific language）を提供しています。クエリDSLはパワフルな検索オプションとして、用語/フレーズのマッチング、あいまい検索、ワイルドカード、正規表現、ネストクエリ、ジオクエリなどを含む全文検索に対応しています。

GET /_search
{
    "query": {
        "match" : {
            "message" : {
                "query" : "this is a test",
                "operator" : "and"
            }
        }
    }
}

Elasticsearch SQLは、ElasticsearchでリアルタイムにSQL風のクエリを実行できる機能です。クライアントはRESTインターフェース、コマンドライン、JDBCのいずれでもSQLを使用することができ、Elasticsearch内でデータ検索やアグリゲーションがネイティブに実行されます。

連続のイベントをクエリして、特定の条件に一致させる機能を備えるEvent Query Language（EQL）は、セキュリティ分析をはじめとするユースケースを目的として開発されています。

Elasticsearch SQL JDBCドライバーは、豊富で包括的な仕様を備えたElasticsearchのためのJDBCドライバーです。JDBCコールをElasticsearch SQLに転換するタイプ4ドライバー（プラットフォーム非依存でスタンドアローン、データベース直結の純粋なJavaドライバー）です。

Elasticsearch SQL ODBCドライバーは、Elasticsearchのための多機能な3.80 ODBCドライバーです。コアレベルドライバーとしてElasticsearch SQL ODBC APIを通じてアクセスできるすべての機能を提供し、ODBCコールをElasticsearch SQLに変換します。

Tableau DesktopやTableau Serverのユーザーは、Elasticsearch向けTableauコネクターを使うことでElasticsearchのデータにより簡単にアクセスできます。

コマンドラインでElasticsearchのセキュリティを設定したり、その他のタスクを実行したりするためのツールが数多くあります。

ドキュメントAPIを使って、個々のドキュメント上で、または複数のドキュメントを横断してCRUD操作（作成、読み取り、アップデート、削除）を実行することができます。

Elasticsearchの検索APIを活用して、単なる全文検索以上の機能を実装することができます。タームやフレーズ、自動入力などの推測/提案機能の実装に役立つだけでなく、表示順位の評価や、検索でドキュメントが返された、または返されなかった理由のフィードバックを実施することもできます。

アグリゲーションフレームワークが、検索クエリに基づいてアグリゲーション済みデータを提供します。たとえるなら、アグリゲーションと呼ばれるシンプルなブロックを用意しておき、それを組み合わせて複雑なデータのサマリーを構築する、そんな仕組みです。アグリゲーションを、一連のドキュメントから分析的な情報を取得する作業の単位としてとらえることができます。

各種の投入APIを使ってデータパイプラインでCRUD操作を実行したり、シミュレートパイプラインAPIを使って一連のドキュメントに対し特定のパイプラインを実行したりできます。

豊富な管理系APIを使用し、プログラムコードからElasticsearchクラスターを管理できます。インデックスとマッピングの管理や、クラスターとノードの管理、ライセンスとセキュリティの管理など、幅広い管理系APIが揃っています。結果を「ヒトがわかる言語」の形式にするcat APIもおすすめです。

Apache Hadoop向けElasticsearch（Elasticsearch-Hadoop、ES-Hadoop）は、オープンソースで独立型、自己充足型の小型ライブラリです。ES-Hadoopを使うと、HadoopジョブでElasticsearchを操作することができます。Hadoopデータに役立つダイナミックな検索アプリケーションを手軽に構築したり、全文検索や、地理空間情報検索、アグリゲーション機能を使った深く遅延の少ない分析を実行したりできます。

Elasticsearch for Apache Hadoopは、Apache Hiveを全面的にサポートしています。Apache Hiveは、手軽なデータ要約、アドホッククエリ、Hadoop互換ファイルシステムに格納された大規模データセットの分析を実施するHadoop向けウェアハウスシステムです。

Elasticsearch for Apache Hadoopは、Apache Pigを全面的にサポートしています。Apache Pigは、高水準言語で表現されたデータ分析プログラムと、各種プログラムを評価するインフラの組み合わせで構成される、大規模データセットの分析プラットフォームです。

Elasticsearch for Apache Hadoopは、高速な汎用クラスターコンピューティングシステムのApache Sparkを全面的にサポートしています。Java、Scala、Pythonの高レベルAPIと、一般的な実行グラフをサポートする最適化エンジンを提供します。

Elasticsearch for Apache Hadoopは、無償でオープンソースのリアルタイム分散コンピューティングシステム、Apache Stormを全面的にサポートしています。Hadoopのバッチ処理と同じ動作をリアルタイム処理で実行するStormは、膨大なデータストリームを確実かつ、手軽に処理します。

JDBC/ODBCインターフェースを使えば、さまざまなサードパーティ製BIアプリでElasticsearch SQLの機能を活用することができます。

オープンソースで言語不問。プラグインと統合を使って、Elasticsearchの機能性を手軽に拡張することができます。プラグインは、ユーザーがカスタマイズした方法でElasticsearchのコア機能を拡張します。統合は、Elasticsearchを使いやすくする外部ツールやモジュールのことです。

とにかく簡単にはじめることができます。ElasticsearchとKibanaをダウンロードして、アーカイブやパッケージマネージャーからインストールするだけ。データをインデックスして、分析と可視化をすぐに実行できます。機械学習やセキュリティ、Graph分析などの有償オプション（プラチナ）はデフォルトの配布に含まれており、30日間無料でお試しいただけます。

進化を続けるクラウドSaaSファミリーのElastic Cloudなら、Elasticプロダクトを手軽にデプロイ、運用、スケールできます。使いやすいマネージドのElasticsearchエクスペリエンスとして、またパワフルですぐに開始できる検索ソリューションとして、Elastic CloudはElasticプロダクトをシームレスに導入する出発点となります。Elastic Cloudのすべてのプロダクトを14日間無料でお試しください。クレジットカードの登録は必要ありません。

Elastic Cloud Enterprise（ECE）は規模や環境を問わず、ひとつのコンソールでElasticsearch、Kibana、オプションをプロビジョニング、管理、監視します。Elasticsearch、Kibana、各種オプションを、ベアメタルサーバー、仮想環境、プライベートクラウド、またはパブリッククラウド（Google、Azure、AWSなど）ほか、お好きな環境に展開できます。

Kubernetes Operatorに基づいて開発されたElastic Cloud on Kubernetes（ECK）は、Kubernetesの基本的なオーケストレーション機能を拡張することにより、KubernetesでのElasticsearchやKibanaの設定/管理をサポートします。Elastic Cloud on Kubernetesを使うと、KubernetesでElasticsearchを実行するためのデプロイ、アップグレード、バックアップ、スケール、高可用性、セキュリティなどのプロセスをシンプル化することができます。

わずか数分でオフィシャルのElasticsearchやKibanaでHelmチャートをデプロイできます。

Docker Hubのオフィシャルなコンテナーを使って、ElasticsearchやKibanaをDocker上で実行できます。