ElasticのMachine Learningが対象とする異常検知には「いつもと異なる」「他とは違う」の二種類があります。本ブログポストでは後者を検出する方法を実際のデータセットを用いて紹介します。

single-metric-viewer-kibana-dashboard.jpg

Machine Learningで「他とは違う」イベントを検知する

Articles By

Register to Attend

Sign In to Attend

参加するにはログインしてください

Register to Watch

You'll also receive an email with related content

最新のElastic Stackに関する情報をお送りします。

Watch now

Learn More

Contact Info

See All Posts

What to explore next...

Load more news

Load more press releases

Load More

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Hosted by

Highlights

Featured webinar

On-demand webinar

Upcoming webinar

View next

Register now

Translate Content

6.1.0リリース。
6.0 GAがリリースされたばかりですが、6.1をリリースしました。

blog-es-banner.jpg

blog-es-thumb.jpg

Elastic Stack 6.1.0 Released

Elastic Stack 6.1.0リリース

Elasticsearch有償オプション（旧X-Pack）の機械学習が異常をスコアリングし、0-100のスケールで自動的に重大度を順位付けする詳しいメカニズムをご説明します。

anomaly_scoring_full_bleed.jpg

anomaly_scoring_thumb.jpg

Machine Learning Anomaly Scoring and Elasticsearch - How it Works

機械学習の異常スコアリングとElasticsearchの仕組み

6_BlogHero Color.jpg

6_BlogThumbnail Color.jpg

Elastic Stack 6.0.0 GA is Released

Elastic Stack 6.0.0 GA リリース

米国のドラマ『Mr. Robot』のシーズン3、第5話の「eps3.4_runtime-error.r00」では、主役のエリオットが、Dark Armyによるデータ窃盗の動きを可視化するためにKibanaを使用しています。

米国のドラマ『Mr. Robot』のシーズン3、第5話の「eps3.4_runtime-error.r00」では、主役のエリオットが、Dark Armyによるデータ窃盗の動きを可視化するためにKibanaを使用しています。&nbsp;世界中のElasticユーザーは二度見したはずです。なるべく気持ちを落ち着けてプログを書くことにします。
Mr. Robotは私の会社中で話題となっているドラマであり、その理由は明らかです。このドラマは検出戦略やツール、反応など、リアルなサイバーセキュリティシナリオを描写していることで有名です。弊社に連絡してきたMr. Robotのチームから、今後のエピソードでKibanaを主題にしたストーリーを作りたいと聞いたときの興奮は忘れられません。私たちの答えはもちろん「イエス！」でした。 エリオットの世界でKibanaが稼働しているのを見るのが待ち遠しくてたまりませんでした。ちなみにお気づきかもしれませんが、ドラマの放映時期の関係で、Kibanaは最新バージョンではなく<a href="/jp/blog/kibana-4-literally" target="_blank">Kibana 4</a>でした。
<img src="https://api.contentstack.io/v2/uploads/5a05c452e5cca3277d6e93b4/download?uid=bltcca1f717f1bd3743" data-sys-asset-uid="bltcca1f717f1bd3743" alt="Elliot-Kibana-MrRobot.png">&nbsp;
実際、Mr. Robotの技術関係の責任者は、データが入力され、実際のツールで作成された本物のKibanaダッシュボードを使いたいと考えていました。私たちがなぜこのドラマのファンなのか、これで分かりますよね？
私たちは、Mr. Robotの技術コンサルタント、<a href="https://medium.com/@ryankazanciyan" target="_blank">Ryan Kazanciyan</a>氏の監修による、各エピソードのサイバーセキュリティの背景に心を掴まれているのです。彼の最近の投稿では、Dark Armyが実行した悪意のあるアクティビティを可視化しているKibanaダッシュボードを、どのように作成したのかについて詳細に説明しています。彼は最初、Elasticsearch、Logstash、およびKibanaで構成されるELK（現在はElastic Stackと呼ばれている）VMを作成しました。そして、WindowsおよびLinuxシステムからそこにデータを投入しました。ダッシュボードの各セクションの作成方法の舞台裏については、<a href="https://medium.com/@ryankazanciyan/mr-robot-disassembled-3-4-runtime-error-r00-9319c70c30f2" target="_blank">Ryan Kazanciyan氏のブログ投稿</a>をお読みください。
<img src="https://api.contentstack.io/v2/uploads/5a05c285b11e02074c49718b/download?uid=blt7ed0d8f1cabe5fdb" data-sys-asset-uid="blt7ed0d8f1cabe5fdb" alt="Kibana-MrRobot.png">
私たちは、ユーザーの皆さまが実際にElastic Stackをどのように使用しているかについて聞くことが大好きです。そのような私たちが、Dark Armyによる攻撃をエリオットがKibanaで可視化している、そんなシーンを見るなんてまるで夢のようでした。 
私たちのチームにいるファンたちのリアクションは次のようなものでした。
<blockquote>「Mr. Robotの脚本家とコンサルタントは、ワクワクさせてくれるうえに、技術的にも正しいドラマを作ってくれました。細かい部分へのこだわりを追求しながらも、誰もが楽しめる内容になっていました。私にとって思い当たるようなシーンもありました。Elastic Stackを使うことを選んでくれたなんて恐縮に感じます」 - Nick Waringa（ シニアセキュリティアナリスト）
</blockquote><blockquote>「Kibanaのエピソードに備えるために、私の家族は週末にこれまでのMr. Robotを一気に見ました。こんなに一気に見たのは初めてです」 - Beth McAnerney（ネットスイート管理者）
</blockquote><blockquote>「オタクになるほど熱中したのは、SF小説の『スノウ・クラッシュ』を読んだとき以来ですね」- Mark Walkom（ソリューションアーキテクト/開発者啓発担当）
</blockquote><blockquote>「Mr. Robotで取り上げられるようなカッコいい会社で働くようになったんだな、と実感しました」 - Grant Murphy（クラウドエンジニア）
</blockquote>

kibana-dashboard-fullbleed.jpg

Elliot-Kibana-MrRobot-image.jpg

Monitoring the Dark Army with Kibana on Mr. Robot

Mr. RobotでDark Armyの監視に使用されるKibana

azure-opendev-large.jpg

azure-opendev-small.jpg

Deploying Elasticsearch on Microsoft Azure

Microsoft AzureにElasticsearchをデプロイする

Elastic Cloudが、GCPの四つのリージョンで利用可能になりました。

中国には「好事成双」という諺があります。「良いことはペアで訪れる」という意味です。インターネット検索エンジンの巨人Googleが、世界で最も普及しているオープンソースの分散型検索エンジンと組んだことはまさに「好事成双」だと言えるでしょう。今年の4月に、<a href="/blog/elastic-google-partner-to-deliver-elastic-cloud-on-gcp">ElasticはGoogleとの新しい提携を発表し、</a>Google Cloud Platform（GCP）上でElasticsearchのマネージドサービスを提供できるようになりました。この発表から半年も経たないうちに、今度は<a href="/cloud/as-a-service">Elastic Cloud on GCP</a>が、米国の西部（オレゴン州）と中部（アイオワ州）、そして欧州（ベルギーとフランクフルト）の四つのリージョンで正式にリリースされました。Googleのクラウドビジネスが急速な成長を続ける中、Elasticのサービスを検索、ログ、セキュリティ、メトリクス、分析などのミッションクリティカルな用途に採用する開発者が増えており、今度はGCP上でElasticsearchクラスタを数回クリックするだけで展開、管理、拡張ができるようになります。<a href="/blog/hosted-elasticsearch-services-roundup-elastic-cloud-and-amazon-elasticsearch-service">ユーザーからの声に常に耳を傾けてきた結果、</a>多くのユーザーがElasticが運用するElasticsearchのマネージドサービスを使用したいと思っているということがわかりました（AWS Elasticsearch Serviceとは異なるサービスです）。Elastic Cloudは、<a href="https://www.elastic.co/jp/products/x-pack">X-Pack</a>の機能やElasticのエンジニアによるサポートを始めとして、ワンクリックアップグレード、30分ごとのスナップショット、カスタムプラグインのサポート、Kibanaでの地理情報の可視化に対応したElasticのマップサービス、すぐに使える包括的なメトリック監視ツールを提供する唯一のサービスです。私達はGoogleという最強のパートナーを持つことで、Erastic Cloudを提供するための強力なクラウドプラットフォームを手に入れました。ユーザーの皆様ならびにお客様にとっては、ElasticsearchとKibanaのワークロードを実行する上での選択肢が増えることになります。Elastic Cloud on GCPのスタンダードサブスクリプションは月額45ドルからとなっており、<a href="/cloud/as-a-service/subscriptions">Elasticのプレミアムサブスクリプションプラン</a>へのアップグレードも可能です。将来的には、より多くのGCP地域でサービスを提供し、機能を追加し様々なユースケースに対応する予定です。<a href="/cloud/as-a-service/signup">Elastic Cloud on GCPの無料トライアルを</a>今すぐお試しください。

GCP-GA_Blog 1385x400 .jpg

GCP-GA_Blog Thumbnail 720x420.jpg

Announcing the GA of Elastic Cloud on Google Cloud Platform (GCP), More Options to Host Elasticsearch

Elastic Cloud on Google Cloud Platform（GCP）の正式リリースを発表、Elasticsearchのマネージドサービスがさらに充実

クラスターにいくつのインデックスおよびシャードを設定すれば良いかについて実用的なガイドラインをお探しなら、このブログ記事が、よくある落とし穴の回避に役立ちます。

elasticsearch-sharding-fullbleed.jpg

elasticsearch-sharding-thumbnail.jpg

How many shards should I have in my Elasticsearch cluster?

Elasticsearchクラスターのシャード数はいくつに設定すべきか？

5.6.0 is an important milestone and should be treated as the ‘Upgrade Release’. If you want to perform a rolling restart from 5.x to 6.x, you will need 5.6.

Elastic Stack 5.6.0 Released

Elastic Stack 5.6.0リリース

Learn how to create Elasticsearch clusters with Elastic Cloud, add users with X-Pack Security, create Kibana dashboards and ship system metrics with Metricbeat

Elastic Cloudは、Elasticsearch、Kibana、Beats、Logstashの開発者が提供する、ElasticsearchとKibanaのオフィシャルサービスです。詳しくは<a href="/blog/hosted-elasticsearch-services-roundup-elastic-cloud-and-amazon-elasticsearch-service">こちらの記事</a>をご覧ください。
Elastic Cloudは、14日間無料トライアルをご利用いただけます。登録に必要なのはEメールアドレスだけ。クレジットカードは必要ありません。
今回の記事では、以下の内容についてご説明します。
<ul>
	<li>Elastic CloudでElasticsearchクラスタを作成する方法</li>
	<li> X-Pack Securityで新規ユーザーを追加する方法</li>
	<li>Metricbeatでシステムのメトリクスを収集、Elastic Cloud内のElasticsearchクラスタにメトリクスを転送、Metricbeatより自動的に読み込まれるKibanaのダッシュボードで可視化する方法 </li>
</ul><h2>1. Elastic Cloudのアカウントを作る</h2>Elastic Cloudのウェブページを開き、<a href="/cloud/as-a-service/signup">Elastic Cloudの無料トライアル</a>を開始します。 
	注：既にElastic Cloudのアカウントをお持ちの場合は手順2に進んでください。
<img src="https://api.contentstack.io/v2/uploads/59e0cebf3ef8e08c0d90e8f7/download?uid=blt128d83d79abf632d" data-sys-asset-uid="blt128d83d79abf632d" alt="Try_Elastic_Cloud__Hosted_Elasticsearch__for_Free___Elastic.png">
Eメールアドレスを入力し、<code>トライアルを始める</code>をクリックします。確認メッセージが届きますので、<code>Verify Email and Accept TOS</code> (メールアドレスを確認して利用規約に同意する)をクリックして手続きを行います。
<img src="https://api.contentstack.io/v2/uploads/598db1c5b3ba08942fce2af8/download?uid=blt4c04a04b5859f0fe" data-sys-asset-uid="blt4c04a04b5859f0fe" alt="스크린샷 2017-08-11 21.07.57.png">&nbsp;
Elastic Cloudのアカウントのパスワードを設定します。
<img src="https://api.contentstack.io/v2/uploads/598db2358f6b4d840686a473/download?uid=blt04cb16dd162f6a19" data-sys-asset-uid="blt04cb16dd162f6a19" alt="스크린샷 2017-08-11 21.08.19.png">
 
<h2>2. ElasticsearchクラスタとKibanaインスタンスを開始する</h2>パスワードを作成すると、自動的にElastic CloudのUIが開きます。<a href="https://cloud.elastic.co/">https://cloud.elastic.co</a>からも開くことができます。
<code>Create Cluster</code> (クラスタを作成する)をクリックしてクラスタを新規作成します。
<img src="https://api.contentstack.io/v2/uploads/599b3e33cd425dbf181f5d02/download?uid=blt84a8b2b5bdc77d89" data-sys-asset-uid="blt84a8b2b5bdc77d89" alt="Monitor_your_system_with_Metricbeat_on_Elastic_Cloud_-_Google_Docs.png">
クラスタのサイズと地域を選択し、<code>Create</code> (作成)をクリックすると、Elasticsearchクラスタが作成、準備されます。
<img src="https://api.contentstack.io/v2/uploads/599b4376d9dcd8a66464d858/download?uid=bltd526aa6fcf9781be" data-sys-asset-uid="bltd526aa6fcf9781be" alt="Elastic_Cloud.png">
Elasticsearchクラスタの作成が終わったら、生成されたスーパーユーザー(<code>elastic</code>)のパスワードがポップアップで表示されます。一度閉じるとこのパスワードは再表示できませんので、安全な場所にコピーしておいてください。
<img src="https://api.contentstack.io/v2/uploads/598db3e4101718d222ac8ddf/download?uid=blt7ec579124c905376" data-sys-asset-uid="blt7ec579124c905376" alt="스크린샷 2017-08-11 21.10.25.png">&nbsp;&nbsp;
パスワードを紛失した場合は、Elastic CloudコンソールのSecurity (セキュリティ)メニューからリセットすることができます。
<img src="https://api.contentstack.io/v2/uploads/598db4c23e67ecd82fbed3b5/download?uid=bltaef407a50ebea531" data-sys-asset-uid="bltaef407a50ebea531" alt="스크린샷 2017-08-11 22.43.28.png">
<code>Overview</code> (概要)メニューを開きます。ElasticsearchとKibanaにアクセスするURLが表示されます。
<img src="https://api.contentstack.io/v2/uploads/598db5b26f0077f92223f88a/download?uid=blt88dcdba3be914b98" data-sys-asset-uid="blt88dcdba3be914b98" alt="스크린샷 2017-08-11 21.14.48.png">&nbsp;
 
<h2>3. スーパーユーザーを作成する</h2>KibanaのURLをクリックし、Kibanaのログイン画面を開きます。ユーザーには"elastic"と入力し、自動生成された(コピーしておいた)パスワードを入力してログインします。
<img src="https://api.contentstack.io/v2/uploads/598db6aed537f8dd07cf6059/download?uid=blt57538ef5661b152f" data-sys-asset-uid="blt57538ef5661b152f" alt="스크린샷 2017-08-11 21.17.16.png">&nbsp;
Elastic CloudにはSecurityやMonitoringといったX-Packの機能がいくつか含まれます。
覚えやすいユーザー名やパスワードを使いたい場合は、Role Based Access Control (役割別のアクセス権設定)の機能で新しいスーパーユーザーを作成してください。<code>Management</code> (管理)タブのSecurity (セキュリティ)から、<code>Users</code> (ユーザー)を選択します。
<img src="https://api.contentstack.io/v2/uploads/598db79919885a05091a7254/download?uid=blt3bf4acddee169cca" data-sys-asset-uid="blt3bf4acddee169cca" alt="스크린샷 2017-08-11 21.35.51.png">&nbsp;
<code>+ Create User</code> (ユーザーを作成する)をクリックします。
<img src="https://api.contentstack.io/v2/uploads/598db7dc8f6b4d840686a482/download?uid=blt526034270fba8392" data-sys-asset-uid="blt526034270fba8392" alt="스크린샷 2017-08-11 21.36.03.png">&nbsp;
ユーザー名、パスワード、フルネーム、Eメールアドレスを入力し、Role (役割)には<code>superuser</code>を選択して保存します。
<img src="https://api.contentstack.io/v2/uploads/5996768427ab71de2fb9039b/download?uid=blt4c0fbc3a6b8eaf4f" data-sys-asset-uid="blt4c0fbc3a6b8eaf4f" alt="new_user_reg.png"> 
これでお好きな名前の新しいスーパーユーザーのアカウントが作成されます。
<img src="https://api.contentstack.io/v2/uploads/599676b88f6b4d840686a697/download?uid=blt5c92f591326dce96" data-sys-asset-uid="blt5c92f591326dce96" alt="new_user_registered.png"> 
一度ログアウトして再度ログインし、新しいアカウントが問題なく使えるかを確認してください。
<img src="https://api.contentstack.io/v2/uploads/59967720b3ba08942fce2cba/download?uid=blt8ae76430e0e3afc9" data-sys-asset-uid="blt8ae76430e0e3afc9" alt="new_login.png"> 
<h2>4. Metricbeatの設定と実行</h2>ElasticsearchとKibanaの設定が終わったので、データを転送してみます。このチュートリアルでは<a href="/kr/products/beats/metricbeat">Metricbeat</a>を使います。
Metricbeatはシステムからあらゆるメトリクスを収集し、ElasticsearchやLogstashのインスタンスに転送してくれます。バイナリファイルとして実行されますので、お使いのオペレーションシステムに合ったファイルをダウンロードしていただく必要があります。<a href="/downloads/beats/metricbeat">Metricbeatのダウンロードページ</a>から、お使いのOSに合うファイルをダウンロードして展開してください。
<img src="https://api.contentstack.io/v2/uploads/598dba00a18cb15724cad625/download?uid=blt3c5b3fe938245ce7" data-sys-asset-uid="blt3c5b3fe938245ce7" alt="스크린샷 2017-08-11 21.43.16.png">&nbsp;
展開するとmetricbeatのディレクトリにいくつかのファイルが見つかるはずです。
<img src="https://api.contentstack.io/v2/uploads/598dba65fa53cbd82236f42d/download?uid=blt832815b26f9eda83" data-sys-asset-uid="blt832815b26f9eda83" alt="스크린샷 2017-08-11 23.08.18.png">&nbsp;
<code>metricbeat</code> (Windows OSの場合は<code>metricbeat.exe</code>)のファイルで、Metricbeatを実行します。デフォルトでは、<code>http://localhost:9200</code>で実行されているElasticsearchにデータが送信されるようになっていますので、Elastic Cloudクラスタに送信されるように設定を変更する必要があります。
<code>metricbeat.yml</code>をお好きなコードエディタで開きます。
<img src="https://api.contentstack.io/v2/uploads/599b3b875c3dbb4b7b322964/download?uid=blt60c5b918b5b3c29e" data-sys-asset-uid="blt60c5b918b5b3c29e" alt="Monitor_your_system_with_Metricbeat_on_Elastic_Cloud_-_Google_Docs.png">
<code>"localhost:9200"</code>を新しいElasticsearchクラスタのURLに変更します。
<pre style="font-size: 12.600000381469727px;">output.elasticsearch:
 #Array of hosts to connect to.
 hosts: ["localhost:9200"]
</pre>新しいユーザー名とパスワード(ユーザーを別途作成しなかった場合は、elasticと自動生成パスワード)を入力します。
<pre style="font-size: 12.600000381469727px;"> username: "&lt;user id&gt;" 
 password: "&lt;password&gt;"
</pre>yamlの文法に注意し、各行にはスペースを正しく入れてください。username: と password: は2スペース下げますが、その他はスペースは入れません。作成した<code>ユーザー名</code>と<code>パスワード</code>を入力します。ユーザーを作成しなかった場合は、elasticと自動生成のパスワードを使用します。
<code>metricbeat.yml</code>ファイルを保存します。その後デフォルトのメトリクスダッシュボードをKibanaに読み込むよう指示する<code>-setup</code>オプションを指定してmetricbeatを実行します。
<img src="https://api.contentstack.io/v2/uploads/599b3cc35c3dbb4b7b32296a/download?uid=blt42fb4eacf4bd58ae" data-sys-asset-uid="blt42fb4eacf4bd58ae" alt="metricbeat-5_5_2-darwin-x86_64_—_metricbeat_-c_metricbeat_yml_-setup_-e_—_109×20.png">
ヒント: Metricbeatの起動時に-eオプションを追加すると、実行中にログを確認することができます。
<h2>5. Metricbeatのダッシュボードを確認</h2>Metricbeatを実行するときに<code>-setup</code>オプションを追加したので、自動的にMetricbeatのDashboardとVisualizationがKibanaに読み込まれます。
<img src="https://api.contentstack.io/v2/uploads/598dbe948f6b4d840686a498/download?uid=bltd2f9f5fdec20c420" data-sys-asset-uid="bltd2f9f5fdec20c420" alt="스크린샷 2017-08-11 21.53.03.png">&nbsp;
Kibanaダッシュボードのメニューをクリックすると、新しいMetricbeatのダッシュボードが表示されます。システムのメトリクスがElasticsearchに転送されていることを確認してください。
<img src="https://api.contentstack.io/v2/uploads/598dbf0b27ab71de2fb901d7/download?uid=bltaedf02b5587aeefb" data-sys-asset-uid="bltaedf02b5587aeefb" alt="스크린샷 2017-08-11 21.53.20.png">&nbsp;&nbsp;
この方法で皆さんもMetricbeatをシステムにデプロイできるはずです。お試しください！

blog-metricbeat-fb.png

blog-metricbeat-thumb.jpg

Monitor Your System with Metricbeat and Elastic Cloud

MetricbeatとElastic Cloudでシステムをモニタリング

6.0.0-beta2 is available today! Before you get too excited, keep in mind that this is still a beta so don’t put it into production.

Elastic Stack 6.0.0-beta2 released

Elastic Stack 6.0.0-beta2リリース

400万人の利用者と、多数の法人顧客に確かな送金ソリューションを提供するスウェーデンのコレクター銀行は、基幹システムにElasticsearchを採用しています。

<a href="https://www.collector.se/en/">コレクター銀行</a>は北欧でデジタルバンキングサービスの牽引役となっています。そして直近3年間、この銀行の高いサービス品質に最も貢献してきた技術がElasticsearchです。このブログ記事では、私たちがElastic Stackを取り入れた経緯と、Microsoft Azure Cloudのアーキテクチャーに関するインサイト、そしてElastic Cloud Enterprise（ECE）へ移行した理由をご紹介したいと思います。 
<h3>背景</h3>コレクター銀行は設立から18年を迎え、現在5か国、400万人の利用者と多数の法人顧客に送金ソリューションを提供しています。個人の利用者に低金利の貸し出し、高金利の預金サービスを行うほか、ファクタリング（売掛債権買取）などのBtoBサービスも手掛けます。今年秋には多数のサードパーティーソリューションを統合した革新的な銀行アプリもリリースする予定です。
テクノロジーという観点で、コレクター銀行はフィンテック企業がパブリッククラウドを使用する試みの最前線にいます。この3年、私たちはあらゆるタイプの新製品とサービスをMicrosoft Azure Cloudに構築してきました。たとえば、ローンや貯蓄口座向けの新たなバンキングシステムや、提携パートナー向けの<a href="https://www.collector.se/foretag/betallosningar/collector-checkout/">決済</a>ソリューションの構築などです。したがって、Elasticsearchを活用するインフラもすべてAzure仕様になっています。
<img src="https://api.contentstack.io/v2/uploads/599b319c80bdd5b164acd393/download?uid=bltc4357b9461af9ccb" data-sys-asset-uid="bltc4357b9461af9ccb" alt="image4.png">
<figcaption>画像1：コレクター銀行ホームページより</figcaption><h3>導入への道のり</h3>3年前、コレクター銀行のシステムは決済ソリューション、ファクタリング、個人ローンを網羅する巨大なものになっていました。自社構築部分はオンライン決済システムだけで、他のシステムはすべて購入したものです。当時、システムの大部分でアプリケーションログはファイルに書き出されており、そこにアクセスして検索できるエンジニアの数はごくわずかでした。結果として、非常に効率の悪い開発プロセスとなっていたのです。
Splunkもインストールしましたが、1つのシステムでしか使用されませんでした。私とチームは他のソリューションを検討し、Elasticsearchならあらゆるファイルとリレーショナルデータベースのログソリューションとして使用でき、大きなメリットを得られると判断しました。そして実際に、Elasticsearchの導入に踏み切りました。まず多数のマイクロサービスを構築し、システム間でログを検索、関連付けできるようにしました。コレクター銀行のアーキテクチャーとワークフローにおいて、これが大きな転換点となりました。その後社内のチームが次々にElastic Stackを使ったロギングや、Kibanaによる可視化を行うようになり、短期間に高水準のサービス提供を実現したのです。
<h3>ソリューション導入後</h3><img src="https://api.contentstack.io/v2/uploads/599b31bb19989f45785d693f/download?uid=blt60d4df402b82b423" data-sys-asset-uid="blt60d4df402b82b423" alt="image2.png">
<figcaption>画像2：Eコマースプラットフォームのダッシュボード。重要なインサイトを提供してくれている</figcaption>現在コレクター銀行にはソフトウェア開発を手掛けるチームが18あります。オフィスを見渡すと、各チームに1つ以上の大型ディスプレイがあり、Kibanaのダッシュボードがシステムの稼働状況を表示しています。アラートと監視も導入していますが、リアルタイムの状況が見えるとモチベーションが高まります。たとえば決済やシステムに問題が生じれば、監視や通知で即座に問題を把握できます。社内ではPagerDutyやSlackのようなDevOpsツールがよく使われており、何か問題がある時やパートナーとの統合作業を行う時も、連絡はまずSlackです。それでも、ディスプレイで状況を可視化しておくことでチームの士気が上がり、完了した作業のバリューを実感することができます。先週は、これまでにサービスを使用した顧客の数を表示してみました。
<h3><img src="https://api.contentstack.io/v2/uploads/599b31d580bdd5b164acd399/download?uid=bltbd16df73fadde2f5" data-sys-asset-uid="bltbd16df73fadde2f5" alt="image3.png"></h3><figcaption>画像3：応答時間を監視するダッシュボード</figcaption><h3>Azureアーキテクチャー</h3>コレクター銀行では大部分のサービスをC#で構築し、Azure Web Appsにデプロイしています。メインのログフレームワークにはSerilogを使用しています（<a href="https://github.com/collector-bank">Github</a>で一部を公開中）。
すべてのサービスログはAzure Event Hubに出力されますが、これは、Azure Event Hubが何百万ものイベント処理に耐えられる設計だからです。多くの企業ではRedisやKafkaを使っています。これらの3つのサービスはすべてキャッシュとして振る舞いますが、Azure Event HubはIaaSであることがメリットです。ホスティングの心配が要りません。イベントハブから読み込むというのは、VPNで接続されたAzureの仮想ネットワークのAzure Webジョブとしてはやや難しいのですが、私たちはそこにElasticsearchクラスターを稼働させています。
<h3><img src="https://api.contentstack.io/v2/uploads/599b31ea069c1cb97932333b/download?uid=blt3907204a001eb90a" data-sys-asset-uid="blt3907204a001eb90a" alt="image5.png"></h3><figcaption>画像4：Elasticsearchにデータが投入されるまでのアーキテクチャー図</figcaption><h3>導入時の課題</h3>多数のチームが膨大な量のログを出力する一方、ロギングに定まったフォーマットはありませんでした。そして発覚したのは、一部のログがインデックスされていないという問題です。原因は、1つのフィールドを異なる種類のデータで使用していたことでした。Aというチームがjson { \"field\" : 1 }をインデックスしようとしても、Bというチームが{\"field\" : \"one\" }と送信した場合、ドキュメントはインデックスされません。しかも、どちらのチームも変更する気はありません。双方のチームの中ではその形式で扱うことが最も適切だからです。さらにもう1つ、私たちは、他のチームに対して「Elasticsearchでスキーマを減らせる」という売り文句は使えないという事実にも直面しました。そう単純ではなかったのです。
<h3>ソリューション</h3>そこで私たちはデータパイプライン（この場合はserilog sink）で、すべてのフィールドにサフィックスを加えることにしました。先ほどの例で説明すると、Aチームは以前と同じようにログを取得していますが、Elasticsearchには{\"field_i\" : 1}として届き、Bチームからは{\"field_s\" : \"one\"}が届けられます。詳しい方法はGitHubの<a href="https://github.com/collector-bank/serilog-sinks-azureeventhub">repo</a>に掲載しています。
<h3>Elastic Stackのメリットと今後</h3>現在、私たちはElastic Cloud Enterprise（ECE）GAのインストールを微調整しています。これはベータ1となり、並列で実行する設定です。ECEの良い点は、ホスティングの状況をあまり心配する必要がなく、ひたすらElasticsearchをいじって楽しめることです。また、各チームがテストや開発用にクラスターを持つこともできます。プラチナレベルのサブスクリプション機能がすべて含まれることも大きなポイントです。RESTでの暗号化、フィールドとドキュメントレベルのセキュリティ、カスタムrealm、監査ログなどもサポートされます。2018年から施行されるGDPRのセキュリティ要件への対応では、これらの機能が重要になります。将来的には、不正検知のためのElasticsearch 機械学習も導入予定です。オンライン購入の膨大なログがあり、機械学習が異常の特定に役立つはずです。
先日、紙の書式を使用しているすべての書類のデジタルアーカイブを実装しました。数百万枚の書類を夏中かけてスキャンし、今はElasticsearchで簡単に検索、アクセスできるようになりました。
<hr><img src="https://api.contentstack.io/v2/uploads/599b31f5069c1cb979323341/download?uid=blte7e0314d6659e56e" data-sys-asset-uid="blte7e0314d6659e56e" alt="執筆者：" width="150" style="float:left; padding-right:15px;">マット・イリマルク |&nbsp;コレクター銀行ソリューション責任者
2年半前にコレクター銀行に入社。新しいテクノロジーをこよなく愛し、Elastic Stack使用歴は5年。開発者、アーキテクトとしてキャリアを積む以前に基礎工学修士を取得しているほか、プロのポーカープレイヤーとして6年活動していた。

collector bank.jpg

collector-bank-thumbnail.jpg

How the Elastic Stack Helped Collector Bank Drive Innovation

Elasticでコレクター銀行のイノベーションを推進

6.0.0-beta1 is available today! Before you get too excited, keep in mind that this is still a beta so don’t put it into production.

Elastic Stack 6.0.0-beta1 released

Elastic Stack 6.0.0-beta1リリース

Step-by-step instructions walks you through setting up an Elastic Cloud account, creating and securing your hosted Elasticsearch 5.x cluster, and more

<table style="background: #FFFFD2;">
<tbody>
<tr>
	<td>
本稿では、Elastic Stackバージョン5.xを操作するための最新の説明が記載されています。 <a href="/blog/building-cloud-sandbox-with-sample-data-v2">古いバージョン</a>では、Elasticsearch 2.xおよびKibana 4.x用のサンプルデータセットが用意されていました。

	</td>
</tr>
</tbody>
</table>ホスティングされた<a href="/cloud/as-a-service">Elasticsearch</a>の環境を起ち上げて稼働させるのは極めて簡単です。Elastic Cloudを使用すれば、文字通り数分でクラスタを起動してデータの取り込みを開始することができます。その方法は<a href="https://www.youtube.com/watch?v=XR2PqCQvGE0">この3分間の動画で確認できます。</a>本記事では1つ1つの手順を段階的に説明しているので、Elastic Cloudアカウントのセットアップ、Elasticsearchクラスタの作成/セキュリティ設定、データのインポート、Kibana上のデータの可視化を習得できます。それでは始めましょう。<h2>Elastic Cloudにログインする </h2><ol>
 <li>
 <a href="/cloud/as-a-service"> https://www.elastic.co/cloud/as-a-serviceにアクセスして</a>無料トライアルに登録してください
 </li>
 <li>
 確認用Eメールが届きます。Eメールを開き、記載されている手順に従ってトライアルを開始してください
 </li>
 <li>
 Elastic Cloudアカウントにログインしてください
 </li>
</ol><h2>最初のホスティングされたElasticsearch
</h2><ol>
 <li>
 登録が完了したら、[クラスタ]タブに移動してクラスタを作成してください
 </li>
 <li>
 クラスタのサイズを選択してください。本例では、メモリが4GB、ストレージが96GBのクラスタを選択します。
 </li>
 <li>
 お客様のロケーションに近い地域を選択してください。本例では米国東部を選択します。
 </li>
 <li>
 レプリケーションを選択します。本例では1データセンター選択します。
 </li>
 <li>
 [作成]をクリックして、クラスタをプロビジョニングしてください。プロビジョニングが開始し、完了すると通知が届きます。
 </li>
 <li>
 ポップアップ表示されるelasticユーザー用のパスワードを保管してください。後で必要になります。
 </li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f8444b1b32f635892e1d9/download?uid=bltbc7b3d24c0936198" data-sys-asset-uid="bltbc7b3d24c0936198" alt="GIF-ClusterCreate.gif">
<ul>
</ul><h2>Kibanaを有効にする</h2>次に、クラスタへのアクセスやセキュリティを設定できるように、Kibanaを有効にしましょう。
<ol>
 <li>
 Kibanaを有効にするには、[設定]リンクをクリックして「Kibana」セクションが表示されるまでスクロールしてください。
 </li>
 <li>
 クラスタのプロビジョニングが完了するまで待つと、「Kibana」セクションに有効ボタンが表示されます。
 </li>
 <li>
 有効ボタンをクリックしてください
 </li>
 <li>
 リンクをクリックして、新規タブでKibanaを開いてください。Kibanaを有効にする手順では、「利用できません」という応答が表示されることがあり、この応答が表示されるまで少し時間がかかります。この場合、数秒待ってから再読み込みをお試しください。
 </li>
 <li>
 ユーザー名「elastic」と最初のプロビジョニング手順でコピーしたパスワードを使用してKibanaにログインしてください。
 </li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f84edea8224716048c811/download?uid=blt13d845be1dd9b389" data-sys-asset-uid="blt13d845be1dd9b389" alt="GIF-EnableKibana.gif">
<h2>クラスタをセキュアにする</h2>
	次に、Elastic Cloudアカウントに用意されているX-Packセキュリティモジュールを使用してクラスタのアクセスとセキュリティを設定しましょう。

<ol>
 <li>
 ユーザー名「elastic」と最初のプロビジョニング手順でコピーしたパスワードを使用してKibanaインターフェースにログインしてください。
 </li>
 <li>
	 追加ユーザーの作成および/または既存のユーザー名とパスワードの設定を行ってください。本例では新規ユーザー「<code>sa_admin</code>」を作成します。
 </li>
 <li>
	 新規ユーザーを追加した場合は各ユーザーにロールを設定してください。本例では<code>sa_admin</code>ユーザーに<code>スーパーユーザー</code>のロールを設定します。
 </li>
 <li>
 ユーザーのパスワードを指定してください。本例では、セキュリティの高いパスワードを使用しています。
 </li>
 <li>
 追加したユーザー名とパスワードを覚えておき、この認証情報を安全な場所に保管してください。あるいは付箋にメモしてください。 
 </li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f91acfd7fd32260cbd725/download?uid=bltcd356117ca7a7229" data-sys-asset-uid="bltcd356117ca7a7229" alt="Kibana.png">


同じ手順を使用すれば、パスワードを更新したりユーザーを追加したりできます。<a href="/guide/en/elasticsearch/reference/5.5/security-api.html">当社のドキュメントの手順を元に</a>、5.5に実装されている新しいセキュリティAPIを使用することもできます。 <h2>Elasticsearchエンドポイント</h2>Kibanaにログインすると、[ディスカバリー]タブが最初に表示されます。とはいえ、可視化できるデータはありません。次に、Elasticsearchにデータを取り込む操作を行います。うまくできるようにデータをいくつか準備しましょう！ 
<ol>
 <li>
 Elastic Cloudコンソールで[概要]リンクをクリックしてください。一覧表示されたエンドポイントは、クラスターへのAPIアクセスに使用します。
 </li>
 <li>
 httpsのリンクをクリックするとクラスターが表示されます。httpsのURLをコピーしてください。以下の手順で使用します。
 </li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f8a995f101d53580dbcff/download?uid=blt58f2d15e54da4488" data-sys-asset-uid="blt58f2d15e54da4488" alt="Elastic_Cloud.png">
<h2>データをインポートする
</h2>ここでは、Elasticsearchクラスタにデータを取り込んでElastic Stackの動作を確認しましょう。サンプルデータセットをお持ちでない場合は、<a href="https://github.com/elastic/examples">GitHub Examples Repo</a>にある各種データサンプルの1つを使用してください。本例では<a href="https://github.com/elastic/examples/tree/master/Common%20Data%20Formats/apache_logs">Apacheログのサンプル</a>と<a href="/downloads/logstash">Logstash</a>を使用します（お客様のシステムバージョンに合うものをダウンロードしてください。ホスティングされたElasticsearchクラスターにログを取り込むには、<a href="https://github.com/elastic/examples/blob/master/Common%20Data%20Formats/apache_logs/logstash/apache_logstash.conf">本例に記載されているLogstash config</a>のElasticsearch出力セクションを修正する必要があります。

	1. リポジトリをダウンロードして、<code>apache_logstash.conf</code>ファイルがあるディレクトリに移動してください。config内のホスト用エンドポイントを（前の手順でコピーした）ご自身のクラスタ用のエンドポイントに変更してください。

	2. 「Elasticsearchのセキュリティ設定」セクションに書き込み権限が設定されたユーザーアカウントのユーザー名とパスワードを修正してください。本例では、はじめに追加した<code>sa_admin</code>ユーザーを使用します。
<pre class="prettyprint">elasticsearch {
 hosts =&gt; "https://e66e6e11692c749cc8e09f25e1af4efa.us-west-1.aws.found.io:9243/"
 user =&gt; "sa_admin"
 password =&gt; "s00p3rS3cr3t"
 index =&gt; "apache_elastic_example"
 template =&gt; "./apache_template.json"
 template_name =&gt; "apache_elastic_example"
 template_overwrite =&gt; true 
}
</pre>3. 次のコマンドを実行して、Logstash経由でデータをElasticsearchでインデックス化します。
<pre class="prettyprint">cat ../apache_logs | &lt;Logstash_Install_Dir&gt;/bin/logstash -f apache_logstash.conf
</pre>4. ES_ENDPOINTの値を環境変数に保存すると便利です。以下は、私がいくつかのテストで行っているやり方です。
<pre class="prettyprint">export ES_ENDPOINT=https://somelongid.us-east-1.aws.found.io:9243
</pre>5. <code>ES_ENDPOINT/apache_elastic_example/_count</code>（<code>ES_ENDPOINT</code>はElasticsearchエンドポイントURL）で、データの有無を確認できます。この数は10000になっているはずです。上記の環境変数が設定されている場合は、次のcurlコマンドを使用して実行できます（httpsエンドポイントの基本認証用にユーザーパラメータを指定してください）。

<pre class="prettyprint">%&gt; curl --user sa_admin:s00p3rS3cr3t ${ES_ENDPOINT}/apache_elastic_example/_count
{"count":10000,"_shards":{"total":5,"successful":5,"failed":0}}
</pre>6. <code>ES_ENDPOINT/_cat/indices</code>にアクセスすれば、クラスタの健全性を確認できます。統計情報に基づいて一覧表示される<code>apache_elastic_example</code>インデックスを確認してください。
<pre class="prettyprint">%&gt; curl --user sa_admin:s00p3rS3cr3t ${ES_ENDPOINT}/_cat/indices
health status index pri rep docs.count docs.deleted store.size pri.store.size
yellow open .kibana 1 1 2 0 19.1kb 19.1kb
yellow open apache_elastic_example 1 1 10000 0 7.3mb 7.3mb
</pre><h2>データを可視化する</h2>ここでは、Kibanaインスタンスにアクセスして、引き続きデータの可視化に関する事例説明を行います。
<ol>
	<li>[管理]タブの「インデックスのパターン」オプションに移動し、<code>apache_elastic_example</code>インデックスをKibanaに追加して[作成]をクリックしてください。
</li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f930a285ae81b4789305b/download?uid=blt9500775124ee6afe" data-sys-asset-uid="blt9500775124ee6afe" alt="Kibana.png">
<ol>
	<li> [ディスカバリー]タブで<code>apache_elastic_example</code>インデックスを選択すると、データを確認できます。</li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f8d956b90dafb42826883/download?uid=blt3daf550e5200d493" data-sys-asset-uid="blt3daf550e5200d493" alt="Kibana.png">
<ol>
	<li><code>管理</code> &gt; <code>保存済みオブジェクト</code> &gt; <code>インポート</code>をクリックし、<a href="https://github.com/elastic/examples/blob/master/Common%20Data%20Formats/apache_logs/logstash/apache_kibana.json">apache_kibana.json</a>ファイルを選択して、サンプルのダッシュボードをインポートしてください。</li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f8e17bbf6891a58b1c33c/download?uid=blt0c1dd37c91caa5d5" data-sys-asset-uid="blt0c1dd37c91caa5d5" alt="Kibana.png">
<ol>
	<li>インポートした新しいダッシュボードを確認してください。 - 左側に[ダッシュボード]タブに移動して、<code>Apacheログ用ダッシュボードのサンプルを選択してください。</code>
</li>
</ol><img src="https://api.contentstack.io/v2/uploads/597f8f0e44e3d90f58bec901/download?uid=blt57da3cb08775f0af" data-sys-asset-uid="blt57da3cb08775f0af" alt="Sample_Dashboard_for_Apache_Logs_-_Kibana_and_Edit_Entry___Elastic_co_V5___Built_io_Contentstack_and_Elastic_Cloud.png">
<h2>まとめ</h2>
これで、クラスタのセットアップ、サンプルデータのインポート、最初に保存したダッシュボードの確認が完了しました！　サンプルのApacheログデータはElasticsearchに取り込まれており、お客様のログからインサイトや重要な価値を入手できるようになりました。引き続き、<a href="https://github.com/elastic/examples">Examples repo</a>や<a href="/guide/en/kibana/4.5/getting-started.html#tutorial-load-dataset">Kibana開始ガイド</a>からその他のサンプルデータセットを確認することができます。LogstashやBeatsを使用してデータ送信を開始することもできます。
その他の便利なリンクを以下に掲載します。クラウド上のElastic Stackを使用する手順で役立ちます。
<ul>
	<li>Cloud&nbsp;<a href="/guide/en/cloud/current/index.html" target="_blank">https://www.elastic.co/guide/en/cloud/current/index.html</a></li>
	<li>Kibana&nbsp;<a href="/guide/en/kibana/5.5/index.html" target="_blank">https://www.elastic.co/guide/en/kibana/5.5/index.html</a></li>
	<li>Elasticsearch&nbsp;<a href="/guide/en/elasticsearch/reference/5.5/index.html" target="_blank">https://www.elastic.co/guide/en/elasticsearch/reference/5.5/index.html</a></li>
	<li>Beats&nbsp;<a href="/guide/en/beats/libbeat/5.5/index.html" target="_blank">https://www.elastic.co/guide/en/beats/libbeat/5.5/index.html</a></li>
	<li>Logstash&nbsp;<a href="/guide/en/logstash/5.5/index.html" target="_blank">https://www.elastic.co/guide/en/logstash/5.5/index.html</a></li>
	<li>X-Pack&nbsp;<a href="/guide/en/x-pack/5.5/index.html" target="_blank">https://www.elastic.co/guide/en/x-pack/5.5/index.html</a></li>
	<li>The Definitive Guide <a href="/guide/en/elasticsearch/guide/current/index.html" target="_blank">https://www.elastic.co/guide/en/elasticsearch/guide/current/index.html</a></li>
</ul>その他、世界レベルの教育エンジニアによる、公式トレーニングを受講することもできます：&nbsp;<a href="/training" target="_blank">https://www.elastic.co/training</a>

elastic-cloud-tutorial-full-bleed.jpg

elastic-cloud-tutorial.jpg

Tutorial: Getting Started on Elastic Cloud with a Sample Dataset for hosted Elasticsearch and the Elastic Stack

チュートリアル：ホスティングされたElasticsearchとElastic Stack 5.x用のサンプルデータを使ってのElastic Cloudをはじめる

27564217-1ccee1be-5a8b-11e7-9ac8-098611eafbf4.jpg

27564218-1cd02a7e-5a8b-11e7-9d35-a9d31f551cf8.jpg

Elastic Stack 5.5.0 Released

Elastic Stack 5.5.0リリース

ソラコムとのパートナーシップ、[SORACOM Junction](https://blog.soracom.jp/blog/2017/07/05/release-junction/)のインスペクション機能を通じたVPGのメトリックの可視化について紹介します。

スクリーンショット 2017-07-03 18.12.53.png

ソラコムとのパートナーシップとVPGメトリックの可視化

お好きな方法で、環境で、Elasticsearch、Kibana、X-Packを展開・管理。

space-shuttle-enterprise-elastic-cloud-elasticsearch-fullbleed.jpg

A New Elasticsearch Frontier: Elastic Cloud Enterprise 1.0 GA

Elasticsearchの新境地: Elastic Cloud Enterprise 1.0 リリース

Machine Learningの異常検知を利用して、Elasticsearchに蓄えられているログから、サイバー攻撃の兆候を発見する方法をお教えします。

<h2>イントロダクション</h2>これまで複数回にわたるリーズで、ElasticsearchをArcSight SIEMと共に使う方法を紹介しました。<a href="https://www.elastic.co/blog/integrating-elasticsearch-with-arcsight-siem-part-4">前回</a>はX-PackのAlertingを使用してブルートフォースログイン攻撃を検出しましたが、Machine Learingについてはリリース前だったということもあり、もったいぶった部分があります。

そしてついにその時が来ました。<a href="https://www.elastic.co/jp/blog/introducing-machine-learning-for-the-elastic-stack">X-PackのMachine Learning</a>の登場です。今回はElasticsearch内のログデータにおいて、サイバー攻撃による異常を検知するのにMachine Learningを使用するというのがどういうことなのか、詳しく説明していきたいと思います。
<h2>数学です。魔法ではありません。</h2>内容に入る前に、まず簡単な説明を加えておく方がいいかもしれません。サイバーセキュリティに関するよくある誤解は、機械学習が何かしら魔法のアルゴリズムが入った箱のようなもので、データを放り込めば自動的に素晴らしい情報の塊を出してくれる、と考えることです。
そうではなく、サイバーセキュリティにおける機械学習は「補助アルゴリズム」の兵器庫のようなもので、脅威となりうる異常やパターンを探すことでセキュリティ関連のログデータの解析を自動化してくれる(ただしセキュリティのベテランである人間の指揮の元で)、補助的な機能であると考える方が賢明です。
<h2>脅威のモニタリングかハンティングか - Machine Learningの役割</h2>X-PackのMachine Learingは、脅威に係る異常をインタラクティブに調査するのに使用できます。Kibanaの「Anomaly Swimlane」のVisualizationはよく、脅威ハンティングのスタート地点として使用されますが、検出された異常の詳細には「なぜ」その挙動が異常として検知されたのか、どのくらい異常なのか、検出しようとした基本的な攻撃挙動にどう関連するのか、そしてデータのどのエンティティが攻撃挙動に影響しているのかが、セキュリティアナリストに示されます。
X-PackのMachine LearningはElastic Stackにしっかりと組み込まれているので、「Integrating Elasticsearch with ArcSight SIEM」(ElasticsearchとArcSight SIEMの統合)の<a href="https://www.elastic.co/blog/integrating-elasticsearch-with-arcsight-siem-part-2">パート2</a> と <a href="https://www.elastic.co/blog/integrating-elasticsearch-with-arcsight-siem-part-4">パート4</a> のブログで紹介したAlertingテクニックを新たにMachine Learningの実行結果のインデックスに適用することができるようになりました。このインデックスパターンはml-anomalies-*と呼ばれます。この方法により、これら補助的なアルゴリズムから導き出された結果を、脅威モニタリングのアラートトリガーとして使用することができるのです。
<img src="https://api.contentstack.io/v2/uploads/591bdd4cedbaf9c63a5b1242/download?uid=bltec40d9f2c7977114" data-sys-asset-uid="bltec40d9f2c7977114" alt="image1.png">図1 Elastic Stackに組み込まれたX-PackのMachine Learning<h2>脅威検出のためのMachine Learning「レシピ」</h2>閾値ベースのイベント通知はパワフルですが、複数回のログインを失敗したの後に成功した、などというイベントに基づいて通知するような場合を考えると、これまでセキュリティアナリストの知見なしでは達成できなかったことが、簡単に行えるようになるかもしれません。
とは言え、既に記述した通りこれは数学的な話であって魔法の話ではありませんので、Machine Learningエンジンにはジョブ設定という名の命令を出す必要があります。エンジンは数値やカテゴリに関わらずどんなタイプの時系列データでも理解できますので、設定できるMachine Learningジョブの種類は無限です。柔軟性に富んではいますが、単に脅威だけを見つけたいセキュリティアナリストにとっては複雑すぎるかもしれませんね。
ここではセキュリティで使用する場合のMachine Learning「レシピ」のコンセプトをご紹介します。レシピにはMachine Learningジョブの設定方法が記載されています。これは他の方法では検出が難しい基本的な攻撃挙動を、自動化された異常検知で摘発できるようにするためのものです。基本的な攻撃挙動には、DNSトンネリング、ウェブデータ抜き出し、疑わしいエンドポイントプロセス実行などのアクティビティが含まれます。
<img src="https://api.contentstack.io/v2/uploads/591c5aefd7764366397ea97d/download?uid=bltb250291321c7d463" data-sys-asset-uid="bltb250291321c7d463" alt="recipes.png">
図2 セキュリティユースケースでのMachine Learningレシピの例 
各レシピは、処理理論、説明、および結果のモデル化と観察を行うための具体的なレシピステップなどの各セクションに分けられた短いドキュメントに含まれています。レシピステップには特徴選択、モデル化手法、検出ターゲット、比較セット、インフルエンサー候補、解析期間、および結果の解釈が含まれます。
バージョン5.4のリリースの際には、セキュリティのユースケースの例を紹介しましたが、 <a href="https://github.com/elastic/examples/tree/master/Machine%20Learning/Security%20Analytics%20Recipes">こちらのGitHubのリポジトリ</a>, で、複数のレシピ、設定、データ、スクプトなど、すぐに試せるものを提供しています。
<h2>DNSトンネリングを検出するレシピ</h2>例として、Machine Learningを利用してDNSトンネリングを発見する方法を見てみましょう。
まず前提として、DNSトンネリングとは、ドメイン・ネーム・サービス(DNS)のインターネットプロトコルを使って本来DNSに含まれないデータを組織のネットワークに入れる、または抜き出そうとする行為のことを言います。インターネットに接続されているITインフラ全体の要求から、DNSネットワークトラフィックは基本的にファイアウォールでブロックされておらず、このため組織のセキュリティを掻い潜った不正な、悪意のある通信に使用されやすいチャネルになってしまっています。たとえば <a href="https://blog.gdatasoftware.com/2014/10/23942-new-frameworkpos-variant-exfiltrates-data-via-dns-requests">FrameworkPOSマルウェア</a> はこのテクニックを使って、小売店のPOS端末から盗んだカードの所有者情報を抜き出しています。
それでは、ElasticのセキュリティサークルではDNS-EAB02として知られる、セキュリティ・ユースケースでの機械学習レシピについてご説明しましょう。"DNS"は、このレシピで解析するログの種類が"DNS"であることを表しています。"EAB"はこのレシピで基本的な攻撃挙動(Elementary Attack Behaviors)を検出することを表しています。"02"は他のDNSレシピと区別するための識別番号です。レシピには以下の通り複数のセクションが含まれています。
理論: DNS Query Requestのサブドメインフィールドに異常な数のエントロピー(情報量)がある場合、DNSプロトコルによるデータ抜き出しである可能性があります。

DNSデータ抜き出しを検出する方法は他にもあり、今回のジョブではその中の1つだけ使用しています。ちなみにこの手法は実際の企業環境で効果があると証明されたものです。他の手法を使ったり、手法を追加したりしたい場合はこのジョブをコピーしてお好みで書き換えていただけます。あるいは両方実行して結果を比べたり組み合わせたりしてもいいかもしれません。
説明: このユースケースレシピは、どのDNSクエリーリクエストが、異常に多くの情報が送られたか、どのIPアドレスで生成されたか明らかにします。

最初のうちは、フィールドのサブドメイン部分に異常な量のエントロピーが含まれるリクエストが送信されたドメインを特定するのが正しいやり方であるとは実感しにくいかもしれません。しかしデータのモデル化という観点から考えると、解析の過程で異常性を持つ確率が高いデータの特徴を特定する必要があります。今回の解析で私たちがモデル化したいのはDNSクエリログのドメインフィールドで、その特徴はサブドメインフィールドに含まれる情報量にあたります。
効果: このレシピはどのように自動的にDNSトンネリングを検出することができるか、例として提供されています。このほかにもより良い、もっと複雑な方法のレシピの方が、効果的な発見をもたらす可能性があります。
繰り返しになりますが、このレシピは単なる例です。ご自分のチームのノウハウを適用することで、より有効性を向上させることができるかもしれません。
ユースケースのタイプ： 基本的な攻撃挙動(EAB) - このユースケースでは基本的な攻撃挙動と関係する異常を検知します。検出された異常にはそれぞれ標準化されたAnomaly Score (異常度点数)が割り当てられ、異常に対して統計的な影響を与えるデータ内の別フィールドの値で注釈付けされます。共通のインフルエンサーを持つ基本的な攻撃挙動は往々にして共通の攻撃と関連しています。

このレシピはリスク因子のメタ解析を行っているわけではなく、サイバー攻撃を検出するため、X-Packのアラート機能を使って他の攻撃挙動に関連付けられる基本的な攻撃挙動を検出するものです。
ユースケースデータソース： DNSクエリログ(クライアントからDNSサーバー)

A reminder of what kind of data we'll need for this recipe
ユースケースレシピ：
For (対象)： DNSクエリーリクエスト (filtered for question types: A, AAAA, TXT)
Model (モデル)：サブドメイン文字列内の情報量
Detect (検出)：異常に多い情報量
Compared to (比較対象)：:登録されたドメインに対するクエリ結果の集団
Partition by (分割)： None
Exclude (除外)：解析で頻発するドメイン
Duration (期間)：DNSクエリに対して、2週間以上の分析を実行する
Reated recipes (関連レシピ)：このEABユースケースのみで実行、またはDNS-EAB01 DNS DGA Activityと一緒に実行
Results (結果)：インフルエンサー・ホストはDNSトンネリングの活動元である可能性が高い
レシピを分かりやすい言葉で言い換えましょう。このセクションでは、データを引っ張ってくる元となるログメッセージ、モデル化するデータの特性、検出しようとしている異常な挙動、それが何と比較して異常なのか、この解析を区分化したいのか、結果を占有する可能性がある頻出値は除外するのか、適切な結果を生成するのに必要なデータ量はどれくらいか、このジョブと組み合わせたほうがいいジョブはあるのか、そして解析結果のどの部分を見てどのように解釈するのか、を指定しています。
Additional configuration parameters:
これらのセクション(Example Elasticsearch Index Patterns, Example Elasticsearch Query, and Machine Learning Analysis / Detector Config)は、Machine Learningジョブが意図した動きをするよう設定する、詳細技術設定になります。これらの詳細項目は、ジョブ設定ビューの設定に直結しています。
Machine Learninのジョブ設定が終われば、随時インデックスされるクライアントから行われるDNSリクエストログに対して分析を行なって通常の性質から正常なベースラインを作成し、異なった特徴を見つけることができます。

先に言及したように、発見した以上はElasticsearchのインデックスに記録されています。初期値では、ml-anomalies-*という名前で、KIbanaのDashboardで検索したり、Machine Learninのプラグインで探索したり、Alertingによって通知を行うことができます。 
X-PackのMachine Learningが実際に動く様子をお見せする短い動画をいくつかご用意していますが、ここにも、V5.4 (ベータ版)のX-PackのMachine LearningのAnomaly ExplorerでDNSトンネリングジョブの結果を表示している画面イメージを載せておきます。
<img src="https://api.contentstack.io/v2/uploads/591bddbc0529160141e36573/download?uid=blt21347fb80005d873" data-sys-asset-uid="blt21347fb80005d873" alt="image3.png">
<h2>まとめ</h2>X-PackのMachine Learningにより、Elasticsearch内にセキュリティ関連のログデータを持っているセキュリティアナリストやエンジニアも機械学習技術にアクセスできるようになります。X-PackのMachine Learningの基本要素は、異常検知ジョブです。セキュリティ解析のユースケースのレシピは、攻撃挙動を検知するジョブの設定方法を表してくれます。プログラミング無しでも、補助的なアルゴリズムの軍隊を率いるリーダーとなって脅威を検出し、セキュリティを強化することができるのです。<h2>Where to Learn More</h2><ul>
<li>公開データセットを持ちいてMachine Learningを<a href="https://www.elastic.co/jp/blog/experiencing-machine-learning-with-nyc-taxi-dataset">試してみる。</a></li><li>時系列データの異常検知実践入門<a href="https://www.elastic.co/jp/videos/intro-to-machine-learning-workshop">ビデオを見る</a>。</li>
	<li> Machine Learning Lab動画を観る： <a href="https://www.elastic.co/videos/machine-learning-tutorial-creating-a-single-metric-job">ビデオ1</a>, <a href="https://www.elastic.co/videos/machine-learning-tutorial-creating-a-multi-metric-job">ビデオ2</a>, <a href="https://www.elastic.co/videos/machine-learning-lab-3-detect-outliers-in-a-population">ビデオ3</a>（英語）.</li>
	<li> 攻撃挙動を検出するその他のMachine Learning<a href="https://github.com/elastic/examples/tree/master/Machine%20Learning">レシピを見る</a>。（英語）</li>
	<li>X-Packの無料トライアルを<a href="https://www.elastic.co/downloads/x-pack">ダウンロード</a>する。
</li>
	<li><a href="https://www.elastic.co/downloads/x-pack"></a>フル製品ツアーを <a href="https://www.elastic.co/webinars/automated-anomaly-detection-with-machine-learning">ウェビナー</a>で受講する。（英語）</li>
</ul>

blog-machine-learning-5-4-release.png

Using Machine Learning and Elasticsearch for Security Analytics: A Deep Dive

実例: Machine LearningとElasticsearchをセキュリティ分析に利用する

Machine Learningを体験いただくには、みなさん自身のデータを使用されることが一番ですが、公開されているデータセットを用いても十分に実感できます。ニューヨーク市のタクシーの乗降データを用いて異常検知を行って見ましょう。

multi-results.png

4447776978_7d77e078fb_o.jpg

ニューヨーク市のタクシー乗降データでMachine Learningを体験する

メジャーリリースのあとに休むことはありません、6.0最初の公式アルファ版がリリースされました。

Elastic Stack 6.0.0-alpha1 Released

Elastic Stack 6.0.0-alpha1リリース

elastic-stack-5-4-0-release-elasticsearch-kibana-fullbleed.jpg

elastic-stack-5-4-0-release-blog-elasticsearch-announcement-machine-learning-thumbnail.jpg

Elastic Stack 5.4.0 Released

Elastic Stack 5.4.0リリース

<html><head></head><body>&#x672C;&#x65E5;&#x3001;Elastic Stack&#x306B;Machine Learning&#x304C;&#x5C0E;&#x5165;&#x3055;&#x308C;&#x307E;&#x3057;&#x305F;&#x306E;&#x3067;&#x304A;&#x77E5;&#x3089;&#x305B;&#x3057;&#x307E;&#x3059;&#x3002;&#x3053;&#x306E;&#x6A5F;&#x80FD;&#x306F;X-Pack&#x3092;&#x901A;&#x3058;&#x3066;&#x63D0;&#x4F9B;&#x3055;&#x308C;&#x307E;&#x3059;&#x3002;Elastic&#x306B;&#x52A0;&#x308F;&#x3063;&#x3066;&#x4EE5;&#x6765;&#x3001;&#x3081;&#x307E;&#x3050;&#x308B;&#x3057;&#x3044;&#x65E5;&#x3005;&#x3092;&#x9001;&#x3063;&#x3066;&#x304D;&#x307E;&#x3057;&#x305F;&#x304C;&#x3001;&#x731B;&#x70C8;&#x306A;7&#x304B;&#x6708;&#x3092;&#x7D4C;&#x3066;&#x3001;Elastic Stack&#x3078;&#x306E;<a href="/jp/blog/welcome-prelert-to-the-elastic-team">Prelert</a>&#x306E;&#x5B8C;&#x5168;&#x7D71;&#x5408;&#x304C;&#x9042;&#x306B;&#x5B9F;&#x73FE;&#x3057;&#x307E;&#x3057;&#x305F;&#x3002;&#x65E9;&#x304F;&#x307F;&#x306A;&#x3055;&#x3093;&#x306E;&#x611F;&#x60F3;&#x3092;&#x805E;&#x304D;&#x305F;&#x304F;&#x3066;&#x3046;&#x305A;&#x3046;&#x305A;&#x3057;&#x3066;&#x3044;&#x307E;&#x3059;&#x3002;
&#x6CE8;: &#x3053;&#x306E;&#x6A5F;&#x80FD;&#x306F;&#x30D0;&#x30FC;&#x30B8;&#x30E7;&#x30F3;5.4.0&#x3067;&#x306F;&#x30D9;&#x30FC;&#x30BF;&#x7248;&#x3068;&#x306A;&#x3063;&#x3066;&#x3044;&#x307E;&#x3059;&#x306E;&#x3067;&#x3054;&#x4E86;&#x627F;&#x304F;&#x3060;&#x3055;&#x3044;&#x3002;
<h3>&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;</h3>&#x79C1;&#x305F;&#x3061;&#x306E;&#x76EE;&#x6A19;&#x306F;&#x3001;Elasticsearch&#x30C7;&#x30FC;&#x30BF;&#x304B;&#x3089;&#x4FA1;&#x5024;&#x3068;&#x30A4;&#x30F3;&#x30B5;&#x30A4;&#x30C8;&#x3092;&#x5F97;&#x3089;&#x308C;&#x308B;&#x3088;&#x3046;&#x306A;&#x30C4;&#x30FC;&#x30EB;&#x3092;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x306E;&#x307F;&#x306A;&#x3055;&#x3093;&#x306B;&#x63D0;&#x4F9B;&#x3059;&#x308B;&#x3053;&#x3068;&#x3067;&#x3059;&#x3002;Machine Learning&#x306F;&#x3001;Elasticsearch&#x306E;&#x691C;&#x7D22;&#x30FB;&#x5206;&#x6790;&#x6A5F;&#x80FD;&#x306E;&#x5EF6;&#x9577;&#x3068;&#x3057;&#x3066;&#x3054;&#x304F;&#x81EA;&#x7136;&#x306A;&#x9078;&#x629E;&#x3067;&#x3057;&#x305F;&#x3002;&#x305F;&#x3068;&#x3048;&#x3070;&#x3001;Elasticsearch&#x3067;&#x306F;&#x3001;&#x5927;&#x91CF;&#x306E;&#x30C7;&#x30FC;&#x30BF;&#x304B;&#x3089;&#x30EA;&#x30A2;&#x30EB;&#x30BF;&#x30A4;&#x30E0;&#x3067;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x300C;steve&#x300D;&#x306E;&#x30C8;&#x30E9;&#x30F3;&#x30B6;&#x30AF;&#x30B7;&#x30E7;&#x30F3;&#x3092;&#x691C;&#x7D22;&#x3057;&#x305F;&#x308A;&#x3001;aggretation&#x3084;visualization&#x3092;&#x4F7F;&#x3063;&#x3066;&#x3001;&#x58F2;&#x4E0A;&#x3052;&#x30C8;&#x30C3;&#x30D7;10&#x4F4D;&#x306E;&#x88FD;&#x54C1;&#x3084;&#x6642;&#x9593;&#x7684;&#x306A;&#x5909;&#x5316;&#x3092;&#x4F34;&#x3046;&#x30C8;&#x30E9;&#x30F3;&#x30B6;&#x30AF;&#x30B7;&#x30E7;&#x30F3;&#x306E;&#x30C8;&#x30EC;&#x30F3;&#x30C9;&#x3092;&#x8868;&#x793A;&#x3057;&#x305F;&#x308A;&#x3059;&#x308B;&#x3053;&#x3068;&#x304C;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;&#x3053;&#x308C;&#x306B; Machine Learning&#x304C;&#x52A0;&#x308F;&#x308B;&#x3053;&#x3068;&#x3067;&#x3001;&#x300C;&#x6319;&#x52D5;&#x304C;&#x5909;&#x308F;&#x3063;&#x305F;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306F;&#x3042;&#x308B;&#x304B;?&#x300D;&#x3001;&#x300C;&#x30DB;&#x30B9;&#x30C8;&#x3067;&#x901A;&#x5E38;&#x3068;&#x306F;&#x7570;&#x306A;&#x308B;&#x30D7;&#x30ED;&#x30BB;&#x30B9;&#x304C;&#x5B9F;&#x884C;&#x3055;&#x308C;&#x3066;&#x3044;&#x306A;&#x3044;&#x304B;?&#x300D;&#x306E;&#x3088;&#x3046;&#x306A;&#x3001;&#x3088;&#x308A;&#x30C7;&#x30A3;&#x30FC;&#x30D7;&#x306A;&#x8CEA;&#x554F;&#x3092;&#x3059;&#x308B;&#x3053;&#x3068;&#x304C;&#x53EF;&#x80FD;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;&#x3053;&#x306E;&#x3088;&#x3046;&#x306A;&#x8CEA;&#x554F;&#x306B;&#x306F;&#x3001;&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;&#x6280;&#x6CD5;&#x3092;&#x7528;&#x3044;&#x3066;&#x81EA;&#x52D5;&#x7684;&#x306B;&#x69CB;&#x7BC9;&#x3067;&#x304D;&#x308B;&#x30DB;&#x30B9;&#x30C8;&#x307E;&#x305F;&#x306F;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306E;&#x6319;&#x52D5;&#x30E2;&#x30C7;&#x30EB;&#x304C;&#x5FC5;&#x8981;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;
&#x305F;&#x3060;&#x3057;&#x3001;&#x300C;&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;&#x300D;&#x306F;&#x57FA;&#x672C;&#x7684;&#x306B;&#x3001;&#x30C7;&#x30FC;&#x30BF;&#x99C6;&#x52D5;&#x578B;&#x306E;&#x4E88;&#x6E2C;&#x3001;&#x610F;&#x601D;&#x6C7A;&#x5B9A;&#x3001;&#x30E2;&#x30C7;&#x30EA;&#x30F3;&#x30B0;&#x306E;&#x305F;&#x3081;&#x306E;&#x591A;&#x69D8;&#x306A;&#x30E1;&#x30AB;&#x30CB;&#x30BA;&#x30E0;&#x3084;&#x65B9;&#x6CD5;&#x3092;&#x6307;&#x3059;&#x3082;&#x306E;&#x3067;&#x3001;&#x30BD;&#x30D5;&#x30C8;&#x30A6;&#x30A7;&#x30A2;&#x696D;&#x754C;&#x3067;&#x8AA4;&#x89E3;&#x3092;&#x62DB;&#x304F;&#x3088;&#x3046;&#x306A;&#x4F7F;&#x308F;&#x308C;&#x65B9;&#x304C;&#x975E;&#x5E38;&#x306B;&#x591A;&#x304F;&#x898B;&#x3089;&#x308C;&#x308B;&#x8A00;&#x8449;&#x3067;&#x3059;&#x3002;&#x3057;&#x305F;&#x304C;&#x3063;&#x3066;&#x3001;&#x4F59;&#x5206;&#x306A;&#x60C5;&#x5831;&#x3092;&#x53D6;&#x308A;&#x9664;&#x3044;&#x3066;&#x3001;Elasticsearch&#x304C;&#x5177;&#x4F53;&#x7684;&#x306B;&#x4F55;&#x3092;&#x3057;&#x3088;&#x3046;&#x3068;&#x3057;&#x3066;&#x3044;&#x308B;&#x306E;&#x304B;&#x3092;&#x8AAC;&#x660E;&#x3057;&#x3066;&#x304A;&#x304D;&#x305F;&#x3044;&#x3068;&#x601D;&#x3044;&#x307E;&#x3059;&#x3002;
<h3>&#x6642;&#x7CFB;&#x5217;&#x7570;&#x5E38;&#x691C;&#x77E5;</h3>X-Pack&#x306E;Machine Learning&#x3067;&#x306F;&#x3001;&#x304B;&#x3064;&#x3066;&#x306A;&#x3044;&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;&#x3092;&#x5229;&#x7528;&#x3057;&#x305F;&#x300C;&#x6642;&#x7CFB;&#x5217;&#x7570;&#x5E38;&#x691C;&#x77E5;&#x300D;&#x6A5F;&#x80FD;&#x3092;&#x63D0;&#x4F9B;&#x3059;&#x308B;&#x3053;&#x3068;&#x306B;&#x6CE8;&#x529B;&#x3057;&#x3066;&#x3044;&#x307E;&#x3059;&#x3002;
&#x4ECA;&#x5F8C;&#x306F;&#x6BB5;&#x968E;&#x7684;&#x306B;&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;&#x6A5F;&#x80FD;&#x3092;&#x8FFD;&#x52A0;&#x3057;&#x3066;&#x3044;&#x304F;&#x4E88;&#x5B9A;&#x3067;&#x3059;&#x304C;&#x3001;&#x4ECA;&#x306E;&#x3068;&#x3053;&#x308D;&#x306F;&#x3001;&#x30ED;&#x30B0;&#x30D5;&#x30A1;&#x30A4;&#x30EB;&#x3084;&#x30A2;&#x30D7;&#x30EA;&#x30B1;&#x30FC;&#x30B7;&#x30E7;&#x30F3;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3001;&#x30D1;&#x30D5;&#x30A9;&#x30FC;&#x30DE;&#x30F3;&#x30B9;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3001;&#x30CD;&#x30C3;&#x30C8;&#x30EF;&#x30FC;&#x30AF;&#x30D5;&#x30ED;&#x30FC;&#x3001;&#x8CA1;&#x52D9;/&#x53D6;&#x5F15;&#x30C7;&#x30FC;&#x30BF;&#x306A;&#x3069;&#x306E;&#x6642;&#x7CFB;&#x5217;&#x30C7;&#x30FC;&#x30BF;&#x3092;Elasticsearch&#x306B;&#x683C;&#x7D0D;&#x3057;&#x3066;&#x3044;&#x308B;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x306B;&#x4ED8;&#x52A0;&#x4FA1;&#x5024;&#x3092;&#x63D0;&#x4F9B;&#x3059;&#x308B;&#x3053;&#x3068;&#x306B;&#x5C02;&#x5FF5;&#x3059;&#x308B;&#x65B9;&#x91DD;&#x3067;&#x3059;&#x3002;
<h3>&#x4F8B;1 - KPI&#x306B;&#x901A;&#x5E38;&#x3068;&#x306F;&#x7570;&#x306A;&#x308B;&#x5909;&#x5316;&#x304C;&#x751F;&#x3058;&#x305F;&#x5834;&#x5408;&#x306B;&#x81EA;&#x52D5;&#x7684;&#x306B;&#x30A2;&#x30E9;&#x30FC;&#x30C8;</h3>&#x3053;&#x306E;&#x6280;&#x8853;&#x306E;&#x6700;&#x3082;&#x30B7;&#x30F3;&#x30D7;&#x30EB;&#x306A;&#x4F7F;&#x3044;&#x65B9;&#x306F;&#x3001;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3084;&#x30A4;&#x30D9;&#x30F3;&#x30C8;&#x30EC;&#x30FC;&#x30C8;&#x304C;&#x901A;&#x5E38;&#x3068;&#x306F;&#x7570;&#x306A;&#x308B;&#x6319;&#x52D5;&#x3092;&#x793A;&#x3057;&#x305F;&#x5834;&#x5408;&#x3092;&#x7279;&#x5B9A;&#x3059;&#x308B;&#x3053;&#x3068;&#x3067;&#x3059;&#x3002;&#x305F;&#x3068;&#x3048;&#x3070;&#x3001;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306E;&#x30EC;&#x30B9;&#x30DD;&#x30F3;&#x30B9;&#x6642;&#x9593;&#x304C;&#x7570;&#x69D8;&#x306B;&#x9577;&#x304F;&#x306A;&#x3063;&#x305F;&#x3001;&#x30A6;&#x30A7;&#x30D6;&#x30B5;&#x30A4;&#x30C8;&#x306E;&#x4E88;&#x60F3;&#x8A2A;&#x554F;&#x8005;&#x6570;&#x304C;&#x901A;&#x5E38;&#x306E;&#x3053;&#x306E;&#x6642;&#x523B;&#x3068;&#x306F;&#x5927;&#x304D;&#x304F;&#x7570;&#x306A;&#x308B;&#x3001;&#x3068;&#x3044;&#x3063;&#x305F;&#x5834;&#x5408;&#x3067;&#x3059;&#x3002;&#x5F93;&#x6765;&#x3001;&#x3053;&#x306E;&#x7A2E;&#x306E;&#x5206;&#x6790;&#x306B;&#x306F;&#x3001;&#x30EB;&#x30FC;&#x30EB;&#x3084;&#x3057;&#x304D;&#x3044;&#x5024;&#x3001;&#x5358;&#x7D14;&#x306A;&#x7D71;&#x8A08;&#x6CD5;&#x304C;&#x4F7F;&#x7528;&#x3055;&#x308C;&#x3066;&#x304D;&#x307E;&#x3057;&#x305F;&#x3002;&#x6B8B;&#x5FF5;&#x306A;&#x304C;&#x3089;&#x3001;&#x3053;&#x306E;&#x3088;&#x3046;&#x306A;&#x5358;&#x7D14;&#x306A;&#x65B9;&#x6CD5;&#x3067;&#x306F;&#x3001;&#x7D71;&#x8A08;&#x7684;&#x4EEE;&#x5B9A;&#xFF08;&#x30AC;&#x30A6;&#x30B9;&#x5206;&#x5E03;&#x306A;&#x3069;&#xFF09;&#x304C;&#x4F7F;&#x7528;&#x3055;&#x308C;&#x3066;&#x3044;&#x308B;&#x305F;&#x3081;&#xFF08;&#x9577;&#x671F;&#x3084;&#x5B9A;&#x671F;&#x306E;&#xFF09;&#x30C8;&#x30EC;&#x30F3;&#x30C9;&#x306B;&#x306F;&#x5BFE;&#x5FDC;&#x3067;&#x304D;&#x305A;&#x3001;&#x5146;&#x5019;&#x306E;&#x5909;&#x5316;&#x306B;&#x5BFE;&#x3057;&#x3066;&#x306F;&#x7121;&#x529B;&#x3067;&#x3042;&#x308B;&#x305F;&#x3081;&#x3001;&#x73FE;&#x5B9F;&#x306E;&#x30C7;&#x30FC;&#x30BF;&#x3092;&#x5206;&#x6790;&#x3059;&#x308B;&#x3053;&#x3068;&#x306F;&#x307B;&#x307C;&#x4E0D;&#x53EF;&#x80FD;&#x3067;&#x3059;&#x3002;
&#x3057;&#x305F;&#x304C;&#x3063;&#x3066;&#x3001;Machine Learning&#x3078;&#x306E;&#x7B2C;&#x4E00;&#x6B69;&#x306F;&#x3001;&#x3069;&#x306E;&#x3088;&#x3046;&#x306B;&#x88FD;&#x54C1;&#x304C;&#x4F55;&#x304C;&#x6B63;&#x5E38;&#x3067;&#x3042;&#x308B;&#x304B;&#x3092;&#x5B66;&#x7FD2;&#x3057;&#x3001;&#x5358;&#x5909;&#x91CF;&#x306E;&#x6642;&#x7CFB;&#x5217;&#x30C7;&#x30FC;&#x30BF;&#x3067;&#x7570;&#x5E38;&#x3092;&#x7279;&#x5B9A;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308B;&#x304B;&#x3092;Single Metric&#x30B8;&#x30E7;&#x30D6;&#x3092;&#x4F7F;&#x3063;&#x3066;&#x8ABF;&#x3079;&#x308B;&#x3053;&#x3068;&#x3067;&#x3059;&#x3002;&#x767A;&#x898B;&#x3057;&#x305F;&#x7570;&#x5E38;&#x304C;&#x6709;&#x610F;&#x306A;&#x3089;&#x3001;&#x3053;&#x306E;&#x5206;&#x6790;&#x3092;&#x30EA;&#x30A2;&#x30EB;&#x30BF;&#x30A4;&#x30E0;&#x306B;&#x7D99;&#x7D9A;&#x3057;&#x3066;&#x3001;&#x7570;&#x5E38;&#x304C;&#x767A;&#x751F;&#x3057;&#x305F;&#x3068;&#x304D;&#x306B;&#x30A2;&#x30E9;&#x30FC;&#x30C8;&#x3092;&#x884C;&#x3044;&#x307E;&#x3059;&#x3002;
&#x3053;&#x308C;&#x306F;&#x4E00;&#x898B;&#x3001;&#x3054;&#x304F;&#x5358;&#x7D14;&#x306A;&#x30E6;&#x30FC;&#x30B9;&#x30B1;&#x30FC;&#x30B9;&#x306E;&#x3088;&#x3046;&#x306B;&#x601D;&#x308F;&#x308C;&#x307E;&#x3059;&#x304C;&#x3001;&#x88FD;&#x54C1;&#x306E;&#x30D0;&#x30C3;&#x30AF;&#x30A8;&#x30F3;&#x30C9;&#x306B;&#x306F;&#x3001;&#x4EFB;&#x610F;&#x306E;&#x5165;&#x529B;&#x5024;&#x306B;&#x5BFE;&#x3057;&#x3066;&#x3082;&#x5805;&#x7262;&#x6027;&#x3068;&#x6B63;&#x78BA;&#x6027;&#x3092;&#x4FDD;&#x3066;&#x308B;&#x3088;&#x3046;&#x306B;&#x3001;&#x81A8;&#x5927;&#x3067;&#x8907;&#x96D1;&#x306A;&#x6559;&#x5E2B;&#x7121;&#x3057;&#x6A5F;&#x68B0;&#x5B66;&#x7FD2;&#x30A2;&#x30EB;&#x30B4;&#x30EA;&#x30BA;&#x30E0;&#x3068;&#x7D71;&#x8A08;&#x7684;&#x30E2;&#x30C7;&#x30EA;&#x30F3;&#x30B0;&#x304C;&#x5B58;&#x5728;&#x3057;&#x307E;&#x3059;&#x3002;
Elasticsearch cluster&#x3067;&#x30CD;&#x30A4;&#x30C6;&#x30A3;&#x30D6;&#x306B;&#x5B9F;&#x884C;&#x3059;&#x308B;&#x3088;&#x3046;&#x306B;&#x5B9F;&#x88C5;&#x306F;&#x6700;&#x9069;&#x5316;&#x3055;&#x308C;&#x3066;&#x3044;&#x307E;&#x3059;&#x3002;&#x3053;&#x308C;&#x3067;&#x4F55;&#x767E;&#x4E07;&#x3082;&#x306E;&#x30A4;&#x30D9;&#x30F3;&#x30C8;&#x3092;&#x6570;&#x79D2;&#x3067;&#x5206;&#x6790;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;
<img src="https://api.contentstack.io/v2/uploads/590762d86b56e5ef073e21b2/download?uid=blt25fdcae83a5af58f" data-sys-asset-uid="blt25fdcae83a5af58f" alt="machine-learning-1.gif">
<h3>&#x4F8B;2 - &#x591A;&#x6570;&#x306E;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3092;&#x81EA;&#x52D5;&#x7684;&#x306B;&#x8FFD;&#x8DE1;</h3>Machine Learning&#x306F;&#x3001;&#x4F55;&#x5341;&#x4E07;&#x3082;&#x306E;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3084;&#x30ED;&#x30B0;&#x30D5;&#x30A1;&#x30A4;&#x30EB;&#x306B;&#x5BFE;&#x5FDC;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;&#x6B21;&#x306E;&#x30B1;&#x30FC;&#x30B9;&#x3068;&#x3057;&#x3066;&#x3001;&#x8907;&#x6570;&#x306E;&#x6307;&#x6A19;&#x3092;&#x4E00;&#x7DD2;&#x306B;&#x5206;&#x6790;&#x3057;&#x307E;&#x3059;&#x3002;1&#x3064;&#x306E;&#x30DB;&#x30B9;&#x30C8;&#x306B;&#x95A2;&#x3059;&#x308B;&#x8907;&#x6570;&#x306E;&#x95A2;&#x9023;&#x3059;&#x308B;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3084;&#x3001;&#x30C7;&#x30FC;&#x30BF;&#x30D9;&#x30FC;&#x30B9;&#x307E;&#x305F;&#x306F;&#x30A2;&#x30D7;&#x30EA;&#x30B1;&#x30FC;&#x30B7;&#x30E7;&#x30F3;&#x306E;&#x30D1;&#x30D5;&#x30A9;&#x30FC;&#x30DE;&#x30F3;&#x30B9;&#x30E1;&#x30C8;&#x30EA;&#x30C3;&#x30AF;&#x3001;&#x3042;&#x308B;&#x3044;&#x306F;&#x8907;&#x6570;&#x306E;&#x30DB;&#x30B9;&#x30C8;&#x306E;&#x8907;&#x6570;&#x306E;&#x30ED;&#x30B0;&#x30D5;&#x30A1;&#x30A4;&#x30EB;&#x3092;&#x5206;&#x6790;&#x3059;&#x308B;&#x3053;&#x3068;&#x304C;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;&#x3053;&#x306E;&#x5834;&#x5408;&#x3001;&#x5206;&#x6790;&#x306F;&#x5206;&#x5272;&#x3057;&#x3066;&#x884C;&#x3044;&#x3001;&#x305D;&#x306E;&#x7D50;&#x679C;&#x3092;1&#x3064;&#x306E;&#x753B;&#x9762;&#x306B;&#x96C6;&#x7D04;&#xFF08;aggregate&#xFF09;&#x3057;&#x3066;&#x30B7;&#x30B9;&#x30C6;&#x30E0;&#x5168;&#x4F53;&#x306E;&#x5909;&#x5247;&#x6027;&#x3092;&#x793A;&#x3059;&#x3053;&#x3068;&#x304C;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;
&#x305F;&#x3068;&#x3048;&#x3070;&#x3001;&#x5927;&#x304D;&#x306A;&#x30A2;&#x30D7;&#x30EA;&#x30B1;&#x30FC;&#x30B7;&#x30E7;&#x30F3;&#x306E;&#x5FDC;&#x7B54;&#x6642;&#x9593;&#x3092;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x3054;&#x3068;&#x306B;&#x5206;&#x6790;&#x3059;&#x308C;&#x3070;&#x3001;&#x500B;&#x3005;&#x306E;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306E;&#x7570;&#x5E38;&#x306A;&#x6319;&#x52D5;&#x3092;&#x7279;&#x5B9A;&#x3059;&#x308B;&#x3068;&#x540C;&#x6642;&#x306B;&#x3001;&#x30B7;&#x30B9;&#x30C6;&#x30E0;&#x5168;&#x4F53;&#x306E;&#x7570;&#x5E38;&#x3082;&#x628A;&#x63E1;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;
<img src="https://api.contentstack.io/v2/uploads/590762f4d414e109083bcba9/download?uid=bltb1fd397ba74e704a" data-sys-asset-uid="bltb1fd397ba74e704a" alt="machine-learning-2.gif">
<h3>&#x4F8B;3 - Advanced Jobs (&#x9AD8;&#x5EA6;&#x306A;&#x30B8;&#x30E7;&#x30D6;&#x8A2D;&#x5B9A;)</h3>&#x3082;&#x3063;&#x3068;&#x9AD8;&#x5EA6;&#x306A;Machine Learning&#x306E;&#x5229;&#x7528;&#x6CD5;&#x306F;&#x305F;&#x304F;&#x3055;&#x3093;&#x3042;&#x308A;&#x307E;&#x3059;&#x3002;&#x305F;&#x3068;&#x3048;&#x3070;&#x3001;&#x6BCD;&#x96C6;&#x56E3;&#x3068;&#x6BD4;&#x8F03;&#x3057;&#x3066;&#x901A;&#x5E38;&#x3068;&#x306F;&#x7570;&#x306A;&#x308B;&#x6319;&#x52D5;&#x3092;&#x3057;&#x3066;&#x3044;&#x308B;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x3084;&#x3001;&#x7570;&#x5E38;&#x306A;DNS&#x30C8;&#x30E9;&#x30D5;&#x30A3;&#x30C3;&#x30AF;&#x3001;&#x30ED;&#x30F3;&#x30C9;&#x30F3;&#x5E02;&#x8857;&#x5730;&#x3067;&#x306E;&#x7570;&#x5E38;&#x306A;&#x6E0B;&#x6EDE;&#x3092;&#x898B;&#x3064;&#x3051;&#x305F;&#x304B;&#x3063;&#x305F;&#x3089;&#x3001;&#x9AD8;&#x5EA6;&#x306A;&#x30B8;&#x30E7;&#x30D6;&#x8A2D;&#x5B9A;&#x3092;&#x4F7F;&#x7528;&#x3057;&#x3066;&#x3001;Elasticsearch&#x306B;&#x683C;&#x7D0D;&#x3055;&#x308C;&#x305F;&#x4EFB;&#x610F;&#x306E;&#x6642;&#x7CFB;&#x5217;&#x30C7;&#x30FC;&#x30BF;&#x3092;&#x67D4;&#x8EDF;&#x306B;&#x5206;&#x6790;&#x3059;&#x308B;&#x3053;&#x3068;&#x304C;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;
<h3>Elastic Stack&#x3078;&#x306E;&#x7D71;&#x5408;</h3>Machine Learning&#x306F;X-Pack&#x306E;&#x6A5F;&#x80FD;&#x3068;&#x3057;&#x3066;&#x5229;&#x7528;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;&#x3064;&#x307E;&#x308A;&#x3001;X-Pack&#x3092;&#x30A4;&#x30F3;&#x30B9;&#x30C8;&#x30FC;&#x30EB;&#x3059;&#x308C;&#x3070;&#x3001;Machine Learning&#x3092;&#x4F7F;&#x3063;&#x3066;Elasticsearch&#x306B;&#x683C;&#x7D0D;&#x3055;&#x308C;&#x305F;&#x6642;&#x7CFB;&#x5217;&#x30C7;&#x30FC;&#x30BF;&#x3092;&#x30EA;&#x30A2;&#x30EB;&#x30BF;&#x30A4;&#x30E0;&#x3067;&#x5206;&#x6790;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;Machine Learning &#x30B8;&#x30E7;&#x30D6;&#x306F;&#x3001;index&#x3084;shard&#x3068;&#x307B;&#x307C;&#x540C;&#x3058;&#x65B9;&#x6CD5;&#x3067;&#x3001;&#x81EA;&#x52D5;&#x7684;&#x306B;&#x5206;&#x6563;&#x3055;&#x308C;&#x3001;Elasticsearch cluster&#x5168;&#x4F53;&#x3067;&#x7BA1;&#x7406;&#x30FB;&#x5B9F;&#x884C;&#x3055;&#x308C;&#x307E;&#x3059;&#x3002;&#x3064;&#x307E;&#x308A;&#x3001;Machine Learning&#x306F;&#x30CE;&#x30FC;&#x30C9;&#x969C;&#x5BB3;&#x306B;&#x3082;&#x5F37;&#x3044;&#x3068;&#x3044;&#x3046;&#x3053;&#x3068;&#x3067;&#x3059;&#x3002;&#x30D1;&#x30D5;&#x30A9;&#x30FC;&#x30DE;&#x30F3;&#x30B9;&#x306E;&#x89B3;&#x70B9;&#x304B;&#x3089;&#x898B;&#x308B;&#x3068;&#x3001;&#x7DFB;&#x5BC6;&#x306A;&#x7D71;&#x5408;&#x306B;&#x3088;&#x308A;&#x3001;&#x30C7;&#x30FC;&#x30BF;&#x3092;cluster&#x304B;&#x3089;&#x53D6;&#x308A;&#x51FA;&#x3059;&#x5FC5;&#x8981;&#x304C;&#x3042;&#x308A;&#x307E;&#x305B;&#x3093;&#x3002;&#x3053;&#x308C;&#x306B;&#x3088;&#x308A;&#x3001;&#x4E00;&#x90E8;&#x306E;&#x30B8;&#x30E7;&#x30D6;&#x3067;&#x306F;Elasticsearch&#x306E;aggregation&#x3092;&#x901A;&#x3058;&#x3066;&#x30D1;&#x30D5;&#x30A9;&#x30FC;&#x30DE;&#x30F3;&#x30B9;&#x304C;&#x5287;&#x7684;&#x306B;&#x5411;&#x4E0A;&#x3057;&#x307E;&#x3059;&#x3002;&#x307E;&#x305F;&#x3001;&#x7570;&#x5E38;&#x691C;&#x77E5;&#x30B8;&#x30E7;&#x30D6;&#x3092;&#x4F5C;&#x6210;&#x3057;&#x3066;&#x3001;&#x305D;&#x306E;&#x7D50;&#x679C;&#x3092;Kibana&#x3067;&#x8868;&#x793A;&#x3067;&#x304D;&#x308B;&#x3068;&#x3044;&#x3046;&#x306E;&#x3082;&#x3001;&#x3082;&#x3046;1&#x3064;&#x306E;&#x4ECA;&#x56DE;&#x306E;&#x5BC6;&#x63A5;&#x306A;&#x7D71;&#x5408;&#x306E;&#x30E1;&#x30EA;&#x30C3;&#x30C8;&#x3067;&#x3059;&#x3002;
&#x3053;&#x306E;&#x30A2;&#x30D7;&#x30ED;&#x30FC;&#x30C1;&#x3067;&#x306F;&#x3001;Elasticsearch&#x30C7;&#x30FC;&#x30BF;&#x3092;&#x5916;&#x90E8;&#x306E;&#x30C7;&#x30FC;&#x30BF;&#x30B5;&#x30A4;&#x30A8;&#x30F3;&#x30B9;&#x30C4;&#x30FC;&#x30EB;&#x3068;&#x7D71;&#x5408;&#x3059;&#x308B;&#x3088;&#x308A;&#x3082;&#x3001;&#x5927;&#x5E45;&#x306A;&#x30D1;&#x30D5;&#x30A9;&#x30FC;&#x30DE;&#x30F3;&#x30B9;&#x5411;&#x4E0A;&#x3068;&#x904B;&#x7528;&#x4E0A;&#x306E;&#x30E1;&#x30EA;&#x30C3;&#x30C8;&#x3092;&#x3082;&#x305F;&#x3089;&#x3057;&#x307E;&#x3059;&#x3002;&#x4ECA;&#x5F8C;&#x3053;&#x306E;&#x5206;&#x91CE;&#x306E;&#x6280;&#x8853;&#x958B;&#x767A;&#x3092;&#x9032;&#x3081;&#x3066;&#x3044;&#x3051;&#x3070;&#x3001;&#x3053;&#x306E;&#x30A2;&#x30FC;&#x30AD;&#x30C6;&#x30AF;&#x30C1;&#x30E3;&#x304C;&#x3082;&#x305F;&#x3089;&#x3059;&#x30E1;&#x30EA;&#x30C3;&#x30C8;&#x306F;&#x3055;&#x3089;&#x306B;&#x62E1;&#x5927;&#x3059;&#x308B;&#x3068;&#x4E88;&#x60F3;&#x3055;&#x308C;&#x307E;&#x3059;&#x3002;
<img src="https://api.contentstack.io/v2/uploads/5908eae46b56e5ef073e25c3/download?uid=blt41f989af6d21b471" data-sys-asset-uid="blt41f989af6d21b471" alt="Machine Learning Diagram">
<h3>&#x4ECA;&#x3059;&#x3050;&#x304A;&#x8A66;&#x3057;&#x304F;&#x3060;&#x3055;&#x3044;&#x3002;&#x305C;&#x3072;&#x3054;&#x610F;&#x898B;&#x3092;&#x304A;&#x805E;&#x304B;&#x305B;&#x304F;&#x3060;&#x3055;&#x3044;&#x3002;</h3>&#x3053;&#x308C;&#x3089;&#x306E;Machine Learning&#x6A5F;&#x80FD;&#x306F;&#x3001;X-Pack 5.4&#x3067;&#x306F;&#x30D9;&#x30FC;&#x30BF;&#x7248;&#x3068;&#x3057;&#x3066;&#x63D0;&#x4F9B;&#x3055;&#x308C;&#x307E;&#x3059;&#x3002;X-Pack 5.4&#x306F;&#x3059;&#x3067;&#x306B;&#x30EA;&#x30EA;&#x30FC;&#x30B9;&#x3055;&#x308C;&#x3066;&#x3044;&#x307E;&#x3059;&#x306E;&#x3067;&#x3001;5.4&#x30EA;&#x30EA;&#x30FC;&#x30B9;&#x3092;<a href="/jp/downloads">&#x30C0;&#x30A6;&#x30F3;&#x30ED;&#x30FC;&#x30C9;</a>&#x3057;&#x3066;&#x3001;X-Pack&#x3092;&#x30A4;&#x30F3;&#x30B9;&#x30C8;&#x30FC;&#x30EB;&#x3057;&#x3001;<a href="/jp/contact">&#x3054;&#x610F;&#x898B;&#x3092;&#x304A;&#x77E5;&#x3089;&#x305B;</a>&#x3044;&#x305F;&#x3060;&#x304F;&#x304B;&#x3001;<a href="https://discuss.elastic.co/c/in-your-native-tongue/18-category">Discuss&#x30D5;&#x30A9;&#x30FC;&#x30E9;&#x30E0;</a>&#x3092;&#x901A;&#x3058;&#x3066;&#x3054;&#x610F;&#x898B;&#x3092;&#x304A;&#x5BC4;&#x305B;&#x304F;&#x3060;&#x3055;&#x3044;&#x3002;
</body></html>

ml-blog-fb.jpg

ml-blog-thumb.jpg

Introducing Machine Learning for the Elastic Stack

Elastic StackにMachine Learningが登場

このブログでは、検索および分析エンジンとして広く認知され、使用されているElasticsearchが、テキスト分類にも使用できることを紹介します。

<a href="/de/products/elasticsearch">Elasticsearch</a>は、検索および分析エンジンとして広く使用されており、そのテキストマイニングAPIとしての機能はあまり知られていません。
このブログでは、Elasticsearchでテキスト分類を実行する方法について紹介します。私には、計算言語学に関する知識と、テキストマイニングの分野におけるフリーランサーとしての数年間のビジネス経験があり、さまざまなシナリオにおいて下記のようなテクニックを実装およびテストする機会がありました。
Elasticsearchに初めて出会ったとき、私はその使いやすさとスピード、構成オプションに魅了されました。Elasticsearchを使うたびに、それまで使用していた自然言語処理（NLP）ツールやテクニックよりもさらにシンプルな処理方法が見つかるのです。
私はゼロから実装するように訓練されていましたが、ある時、Elasticsearchのそのままの設定で<a href="http://dataconomy.com/2016/12/use-elasticsearch-text-mining%E2%80%8A-%E2%80%8Apart-1/">多くのこと</a>を解決できることが分かりました。
ほとんどのNLPタスクは、次のような標準の事前処理パイプラインから開始されます。
<ol>
	<li>
	データの収集
	</li>
	<li>
	生テキストの抽出
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Sentence_boundary_disambiguation">文章の分割</a>
	</li>
	<li>
	トークン化
	</li>
	<li>
	正規化（ステミング、<a href="https://github.com/jprante/elasticsearch-analysis-baseform">レンマ化</a>）
	</li>
	<li>
	ストップワードの除外
	</li>
	<li>
	<a href="https://en.wikipedia.org/wiki/Part-of-speech_tagging">品詞のタグ付け</a>
	</li>
</ol>構文解析などの一部のNLPタスクには、詳細な言語分析が必要です。
このような種類のタスクに関して、Elasticsearchは、そのままでは最適なアーキテクチャーとデータフォーマットを提供しません。つまり、トークンレベルより後のタスクの場合、全文にアクセスするカスタムのプラグインを記述または使用する必要があります。
しかし、分類、クラスター化、キーワード抽出、類似度の測定などのタスクは、正規化された、または可能であれば重み付けされた、任意のドキュメントのBag of Words表現が必要になります。
ステップ1と2は、Elasticsearchの<a href="/guide/en/elasticsearch/plugins/current/ingest-attachment.html">Ingest Attachment Processor Plugin</a>（5.0より前では<a href="/guide/en/elasticsearch/plugins/5.0/mapper-attachments.html">Mapper Attachments Plugin</a>）で解決できます。
これらのプラグイン用の生テキストの抽出には、最も一般的なデータフォーマット（HTML/PDF/Wordなど）で使用可能な<a href="https://tika.apache.org/">Apache Tika</a>が使用されます。
ステップ4から6は、そのまますぐに使える<a href="/guide/en/elasticsearch/reference/current/analysis-lang-analyzer.html">言語アナライザー</a>で解決できます。
サンプルマッピング：
<pre class="prettyprint"> {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"german"
 }
 }
 }
</pre>特定のフィールドのマッピングタイプが"text"（5.0より前では"analyzed string"）であり、Elasticsearchがネイティブでサポートする言語のうちの1つにアナライザーが設定されている場合、トークン化、ステミング、およびストップワードの除外はインデックス時に自動的に実行されます。
これにより、Apache Tikaがサポートする任意の種類のドキュメントからBag of Words表現に到達するためにカスタムコードやその他のツールは必要ありません。
Elasticsearchが実行されている場合、言語アナライザーはREST APIで呼び出すことも可能です。
<pre class="prettyprint">curl -XGET "http://localhost:9200/_analyze?analyzer=english" -d'
 {
 "text" :"This is a test."
 }'
 {
 "tokens":[
 {
 "token":"test",
 "start_offset":10,
 "end_offset":14,
 "type":"&lt;ALPHANUM&gt;",
 "position":3
 }
 ]
 }
</pre>Elasticsearchを使用しない場合のアプローチは次のようになります。
カスタムコードでのテキスト収集、手動またはTikaライブラリを使用したドキュメント解析、従来のNLPライブラリまたは<a href="http://www.nltk.org/">NLTK</a>、<a href="https://opennlp.apache.org/">OpenNLP</a>、<a href="http://nlp.stanford.edu/">Stanford NLP</a>、<a href="https://spacy.io/">Spacy</a>などのAPIの使用、またはリサーチ部門が開発したその他のツールなどの使用です。ただし、リサーチ部門が開発したツールは通常、エンタープライズのコンテキストではあまり役に立つものではありません。往々にして、データフォーマットはプロプライエタリであり、ツールはコンパイルしてコマンドラインで実行することが必要で、結果は単純に標準出力にパイプするものがほとんどです。REST APIは例外です。
一方、Elasticsearchの言語アナライザーを使用すれば、必要になるのはマッピングの構成とデータのインデックスだけです。インデックス時に事前処理が実行されます。
<h3>テキスト分類に対する従来のアプローチ</h3>テキスト分類は従来、教師付き機械学習で解決されてきたタスクです。モデルをトレーニングするための入力は、ラベル付けされたドキュメントのセットです。この最も簡単な表現は、次の 2 個のフィールドを持つ JSON ドキュメントです:
「content」と「category」
従来、テキスト分類は<a href="https://scikit-learn.org/0.19/datasets/twenty_newsgroups.html">SciKit Learn</a>、<a href="http://weka.wikispaces.com/Text+categorization+with+WEKA">Weka</a>、<a href="http://www.nltk.org/book/ch06.html">NLTK</a>、<a href="https://mahout.apache.org/users/classification/twenty-newsgroups.html">Apache Mahout</a>などのツールで解決しています。
<h3>モデルの作成</h3>ほとんどの機械学習アルゴリズムには、データの<a href="https://en.wikipedia.org/wiki/Vector_space_model">ベクトル空間モデル</a>表現が必要です。この機能空間は通常、特定のデータセットの最も重要な1万語などです。単語の重要性はどのようにして計測するのでしょうか。
通常、<a href="https://en.wikipedia.org/wiki/Tf%E2%80%93idf">TF-IDF</a>を使用します。これは1970年代に発明された式です。TF-IDFは、特定のドキュメント内の用語を、データセットのその他の部分と比較してスコア付けする指標です。つまり、ドキュメント内の用語のTF-IDFスコアが高い場合、その用語は非常に特徴的なキーワードであることになり、この用語によってそのドキュメントは他のすべてのドキュメントから区別されることになります。
ドキュメントのサブセット内で最も高いTF-IDFスコアのキーワードは、トピックを表していると捉えることが可能です。テキスト分類できわめて一般的なのは、機能空間にTF-IDF総合スコアが最も高いn個の単語があることです。
各ドキュメントは機能ベクトルに変換され、その後、各クラス/カテゴリーのすべてのトレーニングインスタンスとともに使用され、モデルが作成されます。これにより、そのモデルに従って新しいドキュメントを分類することが可能になります。そのため、ドキュメントは機能ベクトルに変換される必要があり、それによってすべての類似度が計算されます。ドキュメントは、最も高いスコアのカテゴリーでラベル付けされます。
<h3>Elasticsearchでのテキスト分類</h3>Elasticsearch（または<a href="https://lingpipe-blog.com/2014/04/10/lucene4-document-classification/">Lucene</a>）では、上記のすべてをもっとシンプルな方法で解決できます。
次の4つのステップを実行するだけです。
<ol>
	<li>
	マッピングを構成する（"content" : "<a href="/guide/en/elasticsearch/reference/current/text.html">text</a>", "category" : "<a href="/guide/en/elasticsearch/reference/current/keyword.html">keyword</a>"）
	</li>
	<li>
	ドキュメントをインデックスする
	</li>
	<li>
	<a href="/guide/en/elasticsearch/reference/current/query-dsl-mlt-query.html">More Like This Query</a>（MLTクエリ）を実行する
	</li>
	<li>
	そのクエリのヒット数をスコアで集計する小規模なスクリプトを記述する
	</li>
</ol><pre class="prettyprint">PUT sample
 POST sample/document/_mapping
 {
 "properties":{
 "content":{
 "type":"text",
 "analyzer":"english"
 },
 "category":{
 "type":"text",
 "analyzer":"english",
 "fields":{
 "raw":{
 "type":"keyword"
 }
 }
 }
 }
 }
 POST sample/document/1
 {
 "category":"Apple (Fruit)",
 "content":"Granny Smith, Royal Gala, Golden Delicious and Pink Lady are just a few of the thousands of different kinds of apple that are grown around the world!You can make dried apple rings at home - ask an adult to help you take out the core, thinly slice the apple and bake the rings in the oven at a low heat."
 }
 POST sample/document/2
 {
 "category":"Apple (Company)",
 "content":"Apple is an American multinational technology company headquartered in Cupertino, California, that designs, develops, and sells consumer electronics, computer software, and online services.Its hardware products include the iPhone smartphone, the iPad tablet computer, the Mac personal computer, the iPod portable media player, the Apple Watch smartwatch, and the Apple TV digital media player.Apple's consumer software includes the macOS and iOS operating systems, the iTunes media player, the Safari web browser, and the iLife and iWork creativity and productivity suites.Its online services include the iTunes Store, the iOS App Store and Mac App Store, Apple Music, and iCloud."
 }
</pre>MLTクエリは、テキストマイニングにおいてきわめて重要なクエリです。
これは次のように機能します。任意のテキストを処理し、実際の「モデル」と比較して上位n個のキーワードを抽出し、それらのキーワードでブール一致クエリを実行します。このクエリは類似したドキュメントの収集によく使用されます。
すべてのドキュメントにクラス/カテゴリーラベルがあり、クラス単位で類似した数のトレーニングインスタンスがある場合、これは分類と同等になります。入力ドキュメントをlikeフィールドとして使用してMLTクエリを実行し、ヒット数上位n個のスコアおよびカテゴリーを集計する小規模なスクリプトを記述します。
<pre class="prettyprint">GET sample/document/_search
 {
 "query":{
 "more_like_this":{
 "fields":[
 "content",
 "category"
 ],
 "like":"The apple tree (Malus pumila, commonly and erroneously called Malus domestica) is a deciduous tree in the rose family best known for its sweet, pomaceous fruit, the apple.It is cultivated worldwide as a fruit tree, and is the most widely grown species in the genus Malus.The tree originated in Central Asia, where its wild ancestor, Malus sieversii, is still found today.Apples have been grown for thousands of years in Asia and Europe, and were brought to North America by European colonists.Apples have religious and mythological significance in many cultures, including Norse, Greek and European Christian traditions.",
 "min_term_freq":1,
 "max_query_terms":20
 }
 }
 }
</pre>このサンプルは、ワークフローを示すことのみを意図しています。実際の分類については、もう少し多くのデータが必要になります。そのため、この例で実際に結果を得られなくても心配は不要です。さらにデータを追加するだけで正しく機能します。
以下は、小規模なPythonスクリプトです。応答を処理し、入力ドキュメントに関して最も可能性の高いカテゴリーを返します。
<pre class="prettyprint">from operator import itemgetter
 def get_best_category(response):
 categories = {}
 for hit in response['hits']['hits']:
 score = hit['_score']
 for category in hit['_source']['category']:
 if category not in categories:
 categories[category] = score
 else:
 categories[category] += score
 if len(categories) &gt; 0:
 sortedCategories = sorted(categories.items(), key=itemgetter(1), reverse=True)
 category = sortedCategories[0][0]
 return category
</pre>以上が、Elasticsearchでテキスト分類を実行する方法です。
<h3>ユースケース</h3>テキストの分類は、実際にNLPのユースケースとして非常に一般的です。Eコマースデータ（製品）について考えてみてください。多くの人が、アフィリエイトリンクのあるEコマースショップを運営しています。データはいくつかのショップから提供され、通常はカテゴリータグが付けられています。ただし、カテゴリータグは各ショップで異なります。そのためカテゴリーシステムを統一する必要があり、新しいカテゴリーツリーに従ってすべてのデータを再分類する必要があります。または、ビジネスインテリジェンスアプリケーションの場合は、企業のセクター（美容院、パン屋など）に従って企業のウェブサイトを分類する必要があります。
<h3>評価 </h3>私は<a href="http://ana.cachopo.org/datasets-for-single-label-text-categorization">標準のテキスト分類データセット</a>である<a href="http://qwone.com/~jason/20Newsgroups/">20 Newsgroupsデータセット</a>を使用して、このアプローチを評価しました。ドキュメントの12%のみを含めた場合に、高品質スコアのしきい値で最高の適合率（92%の正確なラベル）を達成しました。すべてのドキュメントにラベルを付けると（100%の再現率）、予測の72%が適合していました。
20 Newsgroupsデータセットのテキスト分類に関する最良のアルゴリズムは、通常、SVNおよびnaive Bayesです。これらは、データセット全体に関して、より高い平均適合率を達成します。
このように、より優れたアルゴリズムがあるのに、Elasticsearchの使用を検討するべき理由は何でしょうか。
それにはいくつかの実用的な理由がありますが、そのうちの1つは、SVMモデルのトレーニングには時間がかかることです。特に、スタートアップ企業の場合や、さまざまな顧客またはユースケースに迅速に適応する必要がある場合は、大きな問題になる可能性があります。データが変更されるたびにモデルを再トレーニングできない場合があります。私自身、ドイツの大手銀行でのプロジェクトで経験しています。このため、古いモデルを使用することになり、想定されるような良好なスコアを達成することはありません。
Elasticsearchのアプローチでは、インデックス時にトレーニングが実行され、モデルはアプリケーションのダウンタイムを発生させずにいつでも動的に更新できます。データをElasticsearchに保存した場合、追加のインフラストラクチャーは不要です。通常、10％を超える非常に正確な結果で、最初のページを埋めることができます。これは多くのアプリケーションで良好な第一印象として十分です。
ではなぜ、他のツールがあるのにElasticsearchを使うのでしょうか。
なぜなら、そこにすでにデータがあり、Elasticsearchは基盤となる統計を事前に計算するからです。無料でNLPを手に入れるようなものです。
<hr><img src="https://api.contentstack.io/v2/uploads/58c91685a65c8d5d34e7a9c4/download?uid=blt17cf02e7ec334bcf" data-sys-asset-uid="blt17cf02e7ec334bcf" alt="Saskia Vola" width="148" height="160" style="float:left; width: 148px; height: 160px; margin:0 10px 10px 0;">
	
Saskia Volaは、ハイデルベルク大学で計算言語学を修め、2009年よりテキストマイニングの分野でのキャリアを開始しました。ベルリンでスタートアップ企業に数年間勤務した後、フリーランサーとしてのキャリアを歩み始め、デジタルノマドの生活を楽しんでいます。関連プロジェクトの依頼が増え続けているため、NLP/AIフリーランサー用のプラットフォームである<a href="http://textminers.io/">textminers.io</a>を立ち上げました。

magnet-letters-pile.jpg

thumb-magnet-letters-pile.jpg

Text Classification made easy with Elasticsearch

Elasticsearchで簡単にテキスト分類を実行

Elastic CloudとAmazon's Elasticsearch Service、さらにAWSでvanilla Elasticsearchを実行することの違いをご説明します。

Elasticは<a href="/jp/cloud/as-a-service">Elastic Cloud</a>でElasticsearchやKibanaをサービスとして利用することができる<a href="/jp/cloud/elasticsearch-service">Elasticsearch Service</a>を提供しており、ユーザー数もますます増えています。ただし、類似のサービスと混同しやすいので注意が必要です。Elasticが展開するElasticsearch ServiceとAmazon Elasticsearch Serviceは別個のサービスで、そのいずれも<a href="/jp/blog/running-elasticsearch-on-aws">AWSでvanilla Elasticsearchを実行する</a>こととは異なります。

平たく言うと、Amazon Elasticsearch Serviceは、Elasticとは関係がありません。ElasticはAmazon Elasticsearch Serviceについて、提携や参加、サポートなどは行っていません。

一方、Elasticが展開するElastic CloudはマネージドのElasticsearchやKibana、有償オプション（旧X-Pack）サービスを提供しており、AWSと<a href="/jp/blog/announcing-the-ga-of-elastic-cloud-hosted-elasticsearch-on-google-cloud-platform-gcp">Google Cloud Platform（GCP）</a>で実行できます。この他に、ElasticはAWSにセルフマネージドのクラスターをデプロイするお客様もサポートしています。

なお、繰り返しになってしまいますがElasticsearch ServiceとAmazon Elasticsearch Serviceとは別のサービスです。Elastic Cloudはミッションクリティカルなアプリケーションに固有の価値を提供するプラットフォームとして、サービスの重要性を確立しています。

この後、詳しくご説明しましょう。

<h2>プロジェクトを楽しくする各種機能を、マネージドで </h2>
Elastic CloudのElasticsearch Serviceについて語る時、もっとも一般的な説明は、Elastic Stackを構成するオープンソースプロダクト — つまり<a href="/jp/elasticsearch">Elasticsearch</a>、<a href="/jp/kibana">Kibana</a>、<a href="/jp/beats">Beats</a>、<a href="/jp/logstash">Logstash</a>の説明からはじまります。いずれも素晴らしいプロダクトですが、今回は別の角度から説明しましょう：<a href="/jp/elastic-stack">有償オプション（旧X-Pack）</a>、です。

X-PackはSecurity、Alerting、Monitoring、Reporting、Graphをはじめ、Elastic Stackの機能を拡張するためのパッケージとしてリリースされました。Elasticsearch Service限定で提供される機能は、有償オプション（旧X-Pack）だけではありません。<a href="/jp/blog/a-profile-a-day-keeps-the-doctor-away-the-elasticsearch-search-profiler">Search Profiler</a>や<a href="/jp/elastic-maps-service">Elastic Maps Service</a>（18段階のズームを含む）などの無償機能も、Elasticsearch Serviceだけで提供されます。

このような機能へのアクセスは新しい世界への扉を開くと同時に、ElasticsearchとKibanaの可能性も大きく広げます。さらに有償オプション（旧X-Pack）とその他のすべてのオープンソースプロダクトは、リリースのたびに改良されています。

Elasticsearch Serviceではリリース日からElasticsearchとKibana、さらに有償オプションの最新バージョンが提供されており、Elasticがこのサービスを誇る理由もここにあります。Elasticsearchのバージョンが5.4から6.0、そして10.3になったとしても、Elasticsearch Serviceならリリースと同時に、確実にアップグレードオプションが提供されます。セキュリティ脆弱性についても同様です。Elasticは、修正パッチのリリースと同時にユーザーのクラスターにパッチを適用しています。&nbsp;

Elasticは、最新で最高の機能をリリースと同時に入手できる環境が、お客様の成功のために不可欠と考えています。その他にもさまざまなメリットがあります。elasticsearch.yml（Elastic Cloudでホワイトリストとして扱われる特定の設定）に変更を加える機能や、クラスターをクリック1つで最新のバージョンにアップグレードする機能、30分おきの自動スナップショットから復元すると機能、スライダーを操作してクラスターをスケールさせる機能、さらにサポートポータルでのチケット作成機能まで、すべてElastic Cloudだけで提供されています。

このような各種の機能が提供されるのは「理にかなっているから」でもありますが、「ユーザーの声があったから」でもあります。Elasticはいつでもユーザーに敬意を払います。そして、ユーザーの声を聞くための努力を惜しみません。

<h2>ユーザーエクスペリエンスの圧縮アルゴリズムは作れない </h2>
Elasticsearch Serviceのユーザーはある意味で、"ご先祖"の恩恵も受けています。Elastic Cloudは2012年頃に（当時はFoundという名称で）サービスを開始しました。AmazonがElasticsearch Serviceを導入したのは2015年です。

"オペレーショナルエクセレンス"はそれほど軽いものでも、過小評価できるものでもありません。サービスを確実に保ちつつ高水準のサービスを届けてきた舞台裏には、大きな努力がありました。ユーザーエクスペリエンスには圧縮アルゴリズムが存在しないためです。（AmazonはAWSを通じた各種サービスを2006年から展開しています。しかしマネージドのElasticsearchの管理とサポートについて、Elasticチームが数年ほど先行しています。）

こうした努力を経て、Elastic Cloudは成熟したプラットフォームとなりました。現在、IBM、Fandango、Activision Blizzard、Unilever、Shopifyをはじめとする多数のお客様をサポートしています。このようなお客様は、市場の最前線でミッションクリティカルなシステムを稼働させ続けるためにElastic Cloudを信頼してくださっています。

Elastic Cloudを利用されるお客様に確実な可用性をお約束するため、ElasticはこのたびElastic Cloud向けのSLAを導入しました。またこのSLAは、インフラレベルの可用性ではなく、クラスターレベルの可用性を測定するものとなっています。

<h2>寝ても覚めてもElastic Stack、なチーム </h2>
Elastic Cloudの開発・運用チームはElastic Stackの開発チームと協力体制を築いています。何か問題が起きた時、その本質を最も理解できるチームは他にありません。Elasticのチームはバグフリー＆エラーフリーのエクスペリエンスを目指し、日々奮闘しています。一方ソフトウェアでもあらゆる事象でも、実際のところ、バグやエラーが起きないということはあり得ません。問題を解決して気持ち良い一日を過ごすか、それとも残念な一日を過ごすかの分かれ目が、開発元のサポートの有無であることも少なからずあります。

<h2>手軽なコスト、驚きのパフォーマンス </h2>
現在Elastic CloudのユーザーはAWSでI-シリーズ（I2）のインスタンスのみ使用しています。したがってElastic Cloudなら、どれほど小規模なクラスターもAWSで最上級のインスタンスで実行することができます。運用でI/Oやネットワーク、CPUの保証が必要な場合、T-シリーズのインスタンスで最適というわけにはいきません。また、近くI3インスタンスが登場する予定です。

価格だけで単純に比較しても、"底辺への競争"にしかなりません。部分的に比較すれば、Amazon Elasticsearch Serviceの方が安価です。しかしまったく同じ条件（I2インスタンス、類似の対ディスクメモリー比、同一期間、同一のAZへデプロイ、サポートと有償製品を除外）で比較すると、Amazon Elasticsearch Serviceは20％以上高くなります。ご希望の条件でデプロイした場合にElasticsearch Serviceで生じる費用については、<a href="https://cloud.elastic.co/pricing">料金計算</a>をご活用ください。 

つまりElasticが展開するElasticsearch Serviceは価格競争性にすぐれ、さらに最新のバージョンやセキュリティパッチ、各種オプションを利用できるといったメリットもあります。

それでも、ためらう方もいるかもしれません。「もうAmazonにクレジットカードを登録してしまったし...」 とか「支払いにAmazon認証を使う必要があるから...」と考える人もいます。

しかしご心配には及びません。&nbsp;<a href="https://aws.amazon.com/marketplace/pp/B01N6YCISK?ref=_ptnr_elastic_fb_blog_esawsmp">AWS MarketplaceでマネージドのElasticsearch Serviceを利用</a>した際の請求書の送付元を、ElasticとAWSのどちらにも設定していただけるようになりました。

<h2>AWSでElasticsearchを実行する </h2>
セルフマネージドでインスタンスを実行することをお考えの場合、「<a href="/jp/blog/running-elasticsearch-on-aws">Elasticsearch on AWS</a>」という記事がお勧めです。ぜひご覧ください。

<h2>サービスの詳細</h2>
そろそろこう感じていらっしゃるかもしれません。「開発元だから誰よりもプロダクトを理解してる、というのはわかった。それで、サービスに何が含まれるの？」 サービスの詳しい内容を下の表にまとめました。サービス内容の変更がある場合、この表も更新される予定です。

この他に、デプロイや使用量のモデルが非常にフレキシブルである点も特徴です。クラウドへのデプロイを検討される場合、サービスの提供元を十分にご確認いただくことをおすすめします。Elasticsearch、Kibana、Beats、Logstashの開発元として、Elastic Stackを可能な限り快適なエクスペリエンスでお楽しみいただければ幸いです。Elasticがマネージドのサービス、Elastic CloudのElasticsearch Serviceを作った理由もそこにあります。

最終更新日：2018年11月14日

<table style="width:100%">
<colgroup>
<col style="width:33%">
<col style="width:33%">
<col style="width:34%">
</colgroup>
<tbody>
<tr>
	<td>
	</td>
	<td>Amazon Elasticsearch Service 
	</td>
	<td>Elastic&nbsp;Elasticsearch Service
	</td>
</tr>
<tr>
	<td> Elastic Stack -&nbsp;オープンソース機能
	</td>
	<td> 一部
	</td>
	<td> すべて
	</td>
</tr>
<tr>
	<td> 現在のバージョン
	</td>
	<td>6.3.0
	</td>
	<td>6.5.0
	</td>
</tr>
<tr>
	<td>Elastic Stackのリリース同日アップグレード
	</td>
	<td>いいえ
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td> X-Pack 
		（有償オプション）
	</td>
	<td> いいえ
	</td>
	<td> はい <a href="/jp/what-is/elastic-stack-security">Security</a>、<a href="/jp/what-is/kibana-alerting">Alerting</a>、<a href="/jp/what-is/elasticsearch-monitoring">Monitoring</a>、<a href="/jp/what-is/elasticsearch-graph">Graph</a>、<a href="/jp/what-is/kibana-reporting">Reporting</a>、<a href="/jp/what-is/elasticsearch-machine-learning">Machine Learning</a>
	</td>
</tr>
<tr>
	<td>Canvas
	</td>
	<td>いいえ 
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td>Kibana Space 
	</td>
	<td>いいえ
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td>Elasticsearch SQLのサポート 
	</td>
	<td>いいえ
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td>データのロールアップ（APIおよびUI） 
	</td>
	<td>いいえ
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td>BeatsとLogstashの一元的な管理 
	</td>
	<td>いいえ 
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td> Elasticテクニカルサポート
	</td>
	<td> いいえ
	</td>
	<td> はい <a href="/jp/cloud/elasticsearch-service/subscriptions">Elastic Cloudサブスクリプション</a>
	</td>
</tr>
<tr>
	<td> ワンクリックアップグレード
	</td>
	<td>はい
	</td>
	<td> はい
	</td>
</tr>
<tr>
	<td>Hot-Warmデプロイテンプレートとインデックスキュレーション&nbsp; 
	</td>
	<td> いいえ 
	</td>
	<td> はい 
	</td>
</tr>
<tr>
	<td>クラスター基盤ハードウェア
	</td>
	<td>全ロール向けシングルインスタンスタイプ
	</td>
	<td>複数インスタンスタイプ（デプロイテンプレート）
	</td>
</tr>
<tr>
	<td>デフォルトのバックアップ
	</td>
	<td>1日1回
	</td>
	<td>1日48回 
		30分ごと 
		48時間保存 
		_source限定バックアップ対応
	</td>
</tr>
<tr>
	<td>ElasticsearchとKibanaのセキュリティパッチをインスタントロールアウト
	</td>
	<td>いいえ
	</td>
	<td>はい
	</td>
</tr>
<tr>
	<td> カスタムプラグインサポート
	</td>
	<td> サポート対象外
	</td>
	<td> サポートあり
	</td>
</tr>
<tr>
	<td> Javaトランスポートクライアント
	</td>
	<td> サポート対象外
	</td>
	<td> サポートあり
	</td>
</tr>
<tr>
	<td> クロスゾーンレプリケーション
	</td>
	<td> 最大2つのアベイラビリティゾーンをサポート
	</td>
	<td> 最大3つのアベイラビリティゾーンをサポート
	</td>
</tr>
<tr>
	<td> SLAベースのサポート
	</td>
	<td> AWS ES専用ではない一般的サポート
	</td>
	<td> はい
	</td>
</tr>
<tr>
	<td> アップタイムSLA
	</td>
	<td> いいえ
	</td>
	<td> はい クラスターが2つ以上のゾーンにデプロイされている場合、月間99.95%のアップタイム
	</td>
</tr>
<tr>
	<td> Elastic Maps Service（地理情報可視化）
	</td>
	<td> すぐに使える
	</td>
	<td> はい
	</td>
</tr>
<tr>
	<td><a href="/jp/what-is/elastic-stack-security">Security</a>
	</td>
	<td> 境界レベルのセキュリティと標準的IAMポリシー
	</td>
	<td>
		<ul>
			<li>トランスポート暗号化</li>
			<li>認証</li>
			<li>ロールベースのアクセス制御</li>
			<li>フィールドとドキュメントレベルのセキュリティ</li>
			<li>保存データの暗号化</li>
		</ul>
	</td>
</tr>
<tr>
	<td><a href="/jp/what-is/kibana-alerting">Alerting</a>
	</td>
	<td> アラート機能を作成し、システムを構築・管理する必要があり、事前定義とシンプルなメトリックを持つAmazon Cloudwatchに依存。高度な作業を実施したい場合や、データに関連付けるには、カスタムメトリックとアラートの作成が必要。
	</td>
	<td>
		<ul>
			<li>Elasticsearch内のデータに対し、クエリ、条件、アクションのスケジュールを作成可能</li>
			<li>UIからAlertを作成、管理、操作可能</li>
		</ul>
	</td>
</tr>
<tr>
	<td><a href="/jp/what-is/elasticsearch-monitoring">Monitoring</a>
	</td>
	<td> クラスター状態、ノード情報など<a href="http://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/es-metricscollected.html" target="_blank">わずかなメトリック</a>をサポートするAmazon Cloudwatchに依存。
	</td>
	<td> MonitoringはElasticsearchとKibanaのために設計され、豊富な機能を備えた包括的なプロダクト。
		<ul>
			<li>幅広いメトリックを捉えてクラスターのヘルスを保つ。メトリックの例：検索/インデックスレート、レイテンシー、ガベージコレクションカウントと期間、スレッドプール、バルクリジェクト/キュー、Luceneメモリーの詳細、10秒刻みのきめ細かなデータなど</li>
			<li>堅牢な各種ツールによる診断と自動化Alertを含むトラブルシューティングで、クラスターのヘルスを保つ。</li>
		</ul>
	</td>
</tr>
<tr>
	<td><a href="/jp/what-is/elasticsearch-graph">Graph</a>
	</td>
	<td> いいえ
	</td>
	<td> はい
	</td>
</tr>
<tr>
	<td><a href="/jp/what-is/kibana-reporting">Reporting</a>
	</td>
	<td> いいえ
	</td>
	<td> はい
	</td>
</tr>
</tbody>
</table>
Elasticsearch Serviceをまだ使ったことがないという方は、ぜひ<a href="/jp/cloud/elasticsearch-service/signup">14日間の無料トライアル</a>でお試しください。Elasticsearch Serviceをどうぞお楽しみください。

elastic-cloud-hosted-elasticsearch-amazon-elasticsearch-service-full-blee.jpg

elastic-cloud-hosted-elasticsearch-amazon-elasticsearch-service-thumbnail.jpeg

Hosted Elasticsearch Services Roundup: Elastic Cloud and Amazon Elasticsearch Service

マネージドのElasticsearch Servicesとは：Elastic CloudとAmazon Elasticsearch Serviceの違い

<html><head></head><body>&#x3053;&#x3093;&#x306B;&#x3061;&#x306F;
&#x672C;&#x65E5;&#x306F;&#x3001;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x306B;&#x3068;&#x3063;&#x3066;&#x3082;&#x91CD;&#x8981;&#x306A;&#x4E00;&#x6B69;&#x3068;&#x306A;&#x308B;&#x51FA;&#x6765;&#x4E8B;&#x3092;&#x304A;&#x4F1D;&#x3048;&#x3057;&#x307E;&#x3059;&#x3002;&#x79C1;&#x305F;&#x3061;&#x306F;&#x3053;&#x3053;&#x6570;&#x5E74;&#x9593;&#x3001;Elastic Cloud&#x3068;&#x547C;&#x3076;&#x3001;&#x6700;&#x9AD8;&#x306E;Elasticsearch&#x306E;&#x30DE;&#x30CD;&#x30FC;&#x30B8;&#x30C9;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306B;&#x529B;&#x3092;&#x6CE8;&#x3044;&#x3067;&#x3044;&#x307E;&#x3057;&#x305F;&#x3002;Elastic Cloud&#x306F;&#x3001;&#x8907;&#x6570;&#x306E;&#x30AF;&#x30E9;&#x30A6;&#x30C9;&#x30D7;&#x30E9;&#x30C3;&#x30C8;&#x30D5;&#x30A9;&#x30FC;&#x30E0;&#x3084;&#x9867;&#x5BA2;&#x306E;&#x4F01;&#x696D;&#x5185;&#x3067;&#x7A3C;&#x50CD;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308B;&#x3068;&#x3044;&#x3046;<a href="/jp/blog/introducing-elastic-cloud-and-elastic-cloud-enterprise">&#x30D3;&#x30B8;&#x30E7;&#x30F3;</a>&#x3092;&#x3001;&#x5E38;&#x306B;&#x6301;&#x3063;&#x3066;&#x3044;&#x307E;&#x3057;&#x305F;&#x3002;Google&#x3068;&#x65B0;&#x305F;&#x306A;&#x63D0;&#x643A;&#x3092;&#x7D50;&#x3073;&#x3001;<a href="https://www.blog.google/topics/google-cloud/google-cloud-platform-partners-elastic-offer-managed-open-source-search-and-analytics-gcp/">Google Cloud Platform&#xFF08;GCP&#xFF09;</a>&#x306B;<a href="/jp/cloud/as-a-service">Elastic Cloud</a>&#x3092;&#x63D0;&#x4F9B;&#x3059;&#x308B;&#x3053;&#x3068;&#x3067;&#x3001;&#x958B;&#x767A;&#x8005;&#x306B;&#x3055;&#x3089;&#x306B;&#x591A;&#x304F;&#x306E;&#x9078;&#x629E;&#x80A2;&#x3092;&#x63D0;&#x4F9B;&#x3067;&#x304D;&#x307E;&#x3059;&#x3002;&#x3053;&#x306E;&#x767A;&#x8868;&#x3092;&#x975E;&#x5E38;&#x306B;&#x3046;&#x308C;&#x3057;&#x304F;&#x601D;&#x3063;&#x3066;&#x3044;&#x307E;&#x3059;&#x3002;
&#x79C1;&#x305F;&#x3061;&#x306F;&#x3001;Elastic Cloud&#x3092;GCP&#x306B;&#x62E1;&#x5F35;&#x3059;&#x308B;&#x3053;&#x3068;&#x306B;&#x3057;&#x307E;&#x3057;&#x305F;&#xFF08;Quizlet&#x306B;&#x3082;&#x559C;&#x3093;&#x3067;&#x3082;&#x3089;&#x3048;&#x308B;&#x3067;&#x3057;&#x3087;&#x3046;&#x304B;&#xFF1F;&#xFF09;&#x3002;&#x3068;&#x3044;&#x3046;&#x306E;&#x3082;&#x3001;Elastic Cloud&#x306F;&#x6700;&#x3082;&#x9769;&#x65B0;&#x7684;&#x3067;&#x30AA;&#x30FC;&#x30D7;&#x30F3;&#x30BD;&#x30FC;&#x30B9;&#x30D5;&#x30EC;&#x30F3;&#x30C9;&#x30EA;&#x30FC;&#x306A;&#x30D7;&#x30E9;&#x30C3;&#x30C8;&#x30D5;&#x30A9;&#x30FC;&#x30E0;&#x3067;&#x3042;&#x308A;&#x3001;&#x30B3;&#x30DF;&#x30E5;&#x30CB;&#x30C6;&#x30A3;&#x304B;&#x3089;&#x306E;&#x8981;&#x6C42;&#x304C;&#x5897;&#x3048;&#x3066;&#x3044;&#x304F;&#x306E;&#x3092;&#x76EE;&#x306E;&#x5F53;&#x305F;&#x308A;&#x306B;&#x3057;&#x3066;&#x3044;&#x305F;&#x304B;&#x3089;&#x3067;&#x3059;&#x3002;&#x73FE;&#x5728;&#x3067;&#x3082;&#x3001;&#x958B;&#x767A;&#x8005;&#x306F;GCP&#x4E0A;&#x3067;&#x81EA;&#x8EAB;&#x3067;<a href="/jp/products">Elastic Stack</a>&#x3084;<a href="/jp/products/x-pack">X-Pack</a>&#x3092;&#x30A4;&#x30F3;&#x30B9;&#x30C8;&#x30FC;&#x30EB;&#x3067;&#x304D;&#x307E;&#x3059;&#x304C;&#x3001;&#x3053;&#x306E;&#x63D0;&#x643A;&#x306B;&#x3088;&#x308A;&#x3001;&#x6570;&#x30AF;&#x30EA;&#x30C3;&#x30AF;&#x3060;&#x3051;&#x3067;GCP&#x4E0A;&#x3067;&#x30AB;&#x30B9;&#x30BF;&#x30DE;&#x30A4;&#x30BA;&#x3055;&#x308C;&#x305F;&#x30DE;&#x30CD;&#x30FC;&#x30B8;&#x30C9;&#x578B;&#x30AF;&#x30E9;&#x30B9;&#x30BF;&#x3092;&#x8D77;&#x52D5;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;&#x3053;&#x306E;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306F;2017&#x5E74;&#x4E0B;&#x534A;&#x671F;&#x306B;&#x5229;&#x7528;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;GCP&#x4E0A;&#x3067;Elastic Cloud&#x3092;&#x5229;&#x7528;&#x3059;&#x308B;&#x30E6;&#x30FC;&#x30B6;&#x30FC;&#x306F;&#x3001;&#x6700;&#x65B0;&#x30D0;&#x30FC;&#x30B8;&#x30E7;&#x30F3;&#x306E;&#x30AA;&#x30FC;&#x30D7;&#x30F3;&#x30BD;&#x30FC;&#x30B9;&#x3084;X-Pack&#x306E;&#x6A5F;&#x80FD;&#x3001;Elastic&#x306E;&#x30B5;&#x30DD;&#x30FC;&#x30C8;&#x30B5;&#x30FC;&#x30D3;&#x30B9;&#x306B;&#x30A2;&#x30AF;&#x30BB;&#x30B9;&#x3067;&#x304D;&#x308B;&#x3088;&#x3046;&#x306B;&#x306A;&#x308A;&#x307E;&#x3059;&#x3002;
&#x305D;&#x308C;&#x307E;&#x3067;&#x306F;&#x3001;&#x672C;&#x4EF6;&#x306B;&#x3064;&#x3044;&#x3066;&#x30A2;&#x30C3;&#x30D7;&#x30C7;&#x30FC;&#x30C8;&#x304C;&#x3042;&#x308A;&#x6B21;&#x7B2C;&#x304A;&#x77E5;&#x3089;&#x305B;&#x3057;&#x307E;&#x3059;&#x306E;&#x3067;&#x3001;&#x3054;&#x8208;&#x5473;&#x304C;&#x3042;&#x308B;&#x65B9;&#x306F;<a href="/jp/gcp">&#x3053;&#x3061;&#x3089;</a>&#x3088;&#x308A;&#x30E1;&#x30FC;&#x30EB;&#x30A2;&#x30C9;&#x30EC;&#x30B9;&#x3092;&#x3054;&#x767B;&#x9332;&#x304F;&#x3060;&#x3055;&#x3044;&#x3002;
</body></html>

banner-google-cloud-platform-gcp.png

thumb-google-cloud-platform-gcp.png

Elastic + Google Partner to Deliver Elastic Cloud on GCP

ElasticはGoogleと提携し、GCPにElastic Cloudを提供

The Hosted Elasticsearch AWS Marketplace listing for Elastic Cloud provides an integrated billing model where you can purchase the official hosted Elasticsearch

<a href="https://www.elastic.co/cloud">Elastic Cloud</a>&nbsp;(<a href="https://www.elastic.co/cloud/as-a-service/signup">14日間のトライアルが可能</a>)に取り組み始めた当初、簡単に実現できることに注力していました。
ユーザはハードウェアの準備を行わなくてもElastic Stackを用意することを望んでいました。
必要に応じてElasticsearchのクラスタを起動して、Kibanaを使ってデータを可視化したり、理解し、
動的にスケールしたりして、Elastic StackとX-Packの最新バージョンを利用し、チームがうまく機能しているのを確認していました。
望んでいる時にどこででもElastic Stackが利用できます。そして、現在はAmazonでホストされています。

Elastic Cloudをサポートしている間にいくつかのフィードバックをいただきました。
「すでにAmazonにクレジットカード番号を登録しているのですが。」もしくは「Amazonの支払いを使用する必要があります。」といったものです。
ということで、<a href="https://aws.amazon.com/marketplace/pp/B01N6YCISK">AWS Marketplaceでオフィシャルに提供するマネージドサービス</a>を紹介します！今後はElasticから、またはAWSから、どちらからでも請求を受け取ることが選べるようになります。
もしAWSをご利用中なら、AWS Marketplaceをご存知だと思います。さまざまなベンダーからの数千のAmazon Machine Image（AMI）が用意されており、AWSアカウントを使用してAWSコンソールから直接ベンダーソフトウェアに簡単にアクセスできます。
しかし、全てのソフトウエアがAMIとして利用されるわけではありません。特に、ソフトウェアではなく、サービスとして提供を行うものもあります。
そのため、AWSアカウントからAWSユーザが利用できないアプリケーションやソフトウェアがありました。Elastic Cloudもその1つです。
昨年11月、AWSは、SaaS subscriptionと呼ばれる新しいMarketplaceサービスを発表しました。
これにより、ユーザはAWSコンソールからAWSアカウントを利用してSaaSやAPIプロダクトを探し、購読することができます。
このMarketplaceでは、AWSユーザがAWS Marketplaceを購読し、販売業者のWebサイトやAPIを通じてサービスを直接利用できます。また、全てのAWSやMarketplaceのサービスの使用状況に応じた請求を1つの請求として受け取ることができます。
これにより、AWSからの請求が1つとなり、調達、支払いの業務が大幅に簡略化できます。
<a href="https://aws.amazon.com/marketplace/pp/B01N6YCISK">AWS Marketplaceに提供しているElastic Cloud</a>では、統合された課金モデルが用意されており、AWSアカウントの請求から支払いできます。
Monitoring、Alerting、Security、GraphといったX-Packの全機能や最新のリリースを利用しながら、経理部門などですでに承認されている支払い情報でお支払いいただけます。
Marketplaceの制約を踏まえ、デプロイ可能な幅広いオプションを用意していますが、サイズやリージョンを元に8種類に統合しました。
サインアップやプロビジョニングに関してのフィードバックをお待ちしております。<a href="https://aws.amazon.com/marketplace/pp/B01N6YCISK">AWS Marketplaceで今すぐ開始するか</a>、<a href="https://www.elastic.co/cloud/as-a-service/signup">Elastic Cloudのトライアルを試してみてください</a>。
<a href="https://aws.amazon.com/marketplace/pp/B01N6YCISK"><img src="https://api.contentstack.io/v2/uploads/58dd2656341b98b14cc7520e/download?uid=blt3e229b9e1cf26ffd" data-sys-asset-uid="blt3e229b9e1cf26ffd" alt="AWSMarketplace ElasticCloud"></a>

elastic-cloud-thumb.jpg

Get Hosted Elasticsearch on Your AWS bill with Elastic Cloud

AWSアカウントで支払い可能なElastic Cloudが登場

blog_530_fb2.jpg

blog-530-thumb.jpg

Elastic Stack 5.3.0 Released

Elastic Stack 5.3.0リリース

Prelertのダウンロードから、サンプルデータの異常検知、モデルの表示方法までをご紹介します。

Prelertのベータ版でMachine Learningを体験する

スケーラブルなCSSを書くことは難しい！シンプルで読みやすく、誰にも予測可能にするアプローチを取ってきました。

css_code_on_screen_macro.jpg

css_code_on_screen_macro_thumbnail.jpg

Componentizing the Kibana UI, Part 1: CSS that Scales

Kibana UIのコンポーネント化、パート1: スケーラブルなCSS

Elastic Stackにさまざまな機能追加が行われた5.2.0がリリースされました。

Elastic Stack 5.2.0 Released

Elastic Stack 5.2.0リリース

データを搾取して身代金を要求するインターネット上のランサム攻撃が流行しています。あなたのElasticsearchクラスタが犠牲者にならないようにしてください。

<table style="background: #FFFFD2;">
<tbody>
<tr>
<td>Elastic Stack 6.8/7.1以降に関する大切なお知らせ デフォルト配布のElastic Stackで、主要なセキュリティ機能を永久に無料でお使いいただくことができるようになりました。TSL暗号化やユーザー認証、ロールベースのアクセス制御をはじめとする機能が含まれます。実装方法について詳しくは、「<a href="https://www.elastic.co/jp/blog/getting-started-with-elasticsearch-security">Elasticsearch Securityを使いはじめる</a>」でご紹介しています。</td>
</tr>
</tbody>
</table>先週後半に、<a href="http://arstechnica.co.uk/security/2017/01/more-than-10000-online-databases-taken-hostage-by-ransomware-attackers/">悪意のある攻撃</a>が開始されました。この攻撃で、何千ものオープンソースのデータベースからデータがコピーまたは削除されたり、「身代金」を支払うまでシステムが使用不能な状態に陥るという事態が生じました。この攻撃ではマルウェアやいわゆる「ランサムウェア」は使用されず、製品の脆弱性も関係なかったにも関わらず、データの消失から漏洩に至る重大なセキュリティインシデントに発展しました。唯一の慰めは、今後同様の攻撃を受けたとしても、適切な設定をしておけば、消失したデータを簡単に復元できるという点です。
このような事件は、すべてのElasticsearchインスタンス、特にインターネット経由でアクセス可能なインスタンスを保護することがいかに重要かということを再認識する良い機会です。 &nbsp;
 
<a href="https://www.elastic.co/cloud">Elastic Cloud</a> を使用していれば、個々のパスワードが無作為に割り当てられる<a href="https://www.elastic.co/products/x-pack/security">X-Pack security</a>でクラスタは保護されますので、安心です。クラスタは、お客様が選んだAWSリージョン内で、二重のファイヤウォールとプロキシの裏側にデプロイされます。インターネットからの通信はTLSで暗号化され、クラスタデータのバックアップはElasticによって2日間保管されます。
 
Elastic Cloudをご利用でない場合、保護されていないElasticsearchインスタンスはインターネットに晒さないことを強くお勧めします。<a href="https://www.elastic.co/blog/found-elasticsearch-security">2013年のブログ記事</a>を参照してください。Elasticでは、インストールしたての状態では、サービスをローカルホストのみにバインドすることで、セキュリティの強化を図ってきました。それでも、インターネットからアクセス可能な状態でありながら、保護されていないインスタンスが増えていることも認識しています。
 
保護されていないインスタンスがインターネットからアクセス可能な状態であるなら、ただちに次のような対応策を講じて、データを保護することを強くお勧めします。
<ul>
	<li dir="ltr">すべてのデータのバックアップを<a href="https://www.elastic.co/guide/en/elasticsearch/guide/2.x/backing-up-your-cluster.html">実行</a>して安全な場所に保管し、<a href="https://www.elastic.co/guide/en/elasticsearch/client/curator/current/snapshot.html">Curatorでスナップショットを実行する</a></li>
	<li dir="ltr">切り離された、インターネットから直接アクセスできないネットワークでElasticsearchを実行するように構成を変更する</li>
	<li dir="ltr">どうしてもインターネット経由でクラスタにアクセスする必要がある場合は、インターネットからクラスタへのアクセスを、ファイアウォール、VPN、リバースプロキシ、その他のテクノロジ経由に限定する</li>
</ul>さらに、ベストプラクティスの一環として、次のことを常に実行することをお勧めします。
<ul>
	<li dir="ltr"><a href="https://www.elastic.co/guide/en/elastic-stack/current/upgrading-elastic-stack.html">Elastic Stackの最新バージョンに</a>アップグレードする</li>
	<li dir="ltr">バージョン2.xを使用している場合は、<a href="https://www.elastic.co/blog/scripting-security">スクリプト</a>設定を確認するか、バージョン5.xの新しい<a href="https://www.elastic.co/blog/painless-a-new-scripting-language">Painless</a> スクリプトの使用を検討する</li>
	<li dir="ltr">X-PackのSecurityでTLS暗号化、認証、承認、IPフィルタを追加して <a href="https://www.elastic.co/webinars/x-pack-security-overview-roadmap-demo">secure your Elasticsearch instance</a><a href="https://www.elastic.co/products/x-pack/security">Elasticsearchインスタンスを保護する</a></li>
</ul>

Protecting Against Attacks that Hold Your Data for Ransom

ランサム攻撃からデータを守るには

NumericとDateのRangeをインデックスすることができるようになりました。Elasticsearch 5.2を使用してカレンダーを検索してみましょう。

ソリューション

Elastic (ELK) Stack

NEW

<

2017

<

10月

>

Machine Learningで「他とは違う」イベントを検知する