Elastic Machine Learningにユーザー注釈機能が登場しました。機械学習ジョブの結果に、データに関する情報を加えることができます。

Elasticsearchバージョン6.6以降のMachine Learningでは、ユーザーが注釈を付けることができます。注釈という手法で、ドメイン知識の記述をMachine Learningジョブに加えることが可能になります。ジョブの実行中、Machine Learningのアルゴリズムはデータの異常を捉えようとしますが、そのデータ自体に関する知識は何も持ち合わせていません。&nbsp;たとえばそのデータがCPUの使用状況に関するものか、ネットワークのスループットに関するものかも知らずに分析しているのです。ユーザーによる注釈は、データについてユーザーが持つ知識でジョブの結果を増補する手段となります。&nbsp;
このブログ記事では、ユーザーが注釈を付加する仕組みと、さまざまなユースケースでの活用法をご紹介します。今回の分析では、オーストリアのチロル州政府が運営する公開データポータル「<a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro Online</a>」が提供するデータを使用します。Hydro Onlineは累積降水量や河川の水位、合計積雪量をはじめ、気象センサーデータの調査に役立つインターフェースです。CSVデータを投入する際の確実な方法の1つとして、以前<a href="/jp/blog/importing-csv-and-log-data-into-elasticsearch-with-file-data-visualizer">こちらの記事</a>に登場したFile Data Visualizerが、今回も活躍します。
<h2>使い方</h2>はじめに、Kössen（ケッセン）という町を流れるGrossache（グローサッヘ）川の推移を分析する単体のメトリックジョブを実行してみましょう。ジョブを作成したら、Single Metric Viewerを使用して分析結果に注釈を付けることができます。注釈を作成するには、チャートの時間範囲の部分でドラッグします。右に表示される部分に、説明を追加することができます。下の例では、河川水位に異常が生じた範囲に注釈を付けています（この日、大規模な洪水が発生しました）。このように注釈を付けることで、ほかのユーザーもこの知識を活用することが可能になります。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb1c486237bfd181d/5cb5a5433aebf35f29365dab/download" data-sys-asset-uid="bltb1c486237bfd181d" alt="" "="">
作成した注釈はチャート上と、下の注釈一覧の画面の両方で表示されます。表の1列目のラベルを使用すると、チャート上の注釈を特定できます。ラベルは画面で表示されている注釈に対し動的に作成されます。注釈の表の上にしばらくカーソルを合わせ、対応する注釈をチャート上で強調表示させることもできます。
各ジョブで作成された注釈は[Job Management]ページからも見ることができます。[Job Management]ページでリスト化されたジョブの行で詳細を表示し、注釈のタブを選択すると確認できます。表中で注釈の右側にはリンクがあり、ここからSingle Metric Viewerにジャンプできます。リンクを開くと、注釈を付けた時間範囲にフォーカスして表示されます。このパーマリンクは、他の人に共有することができます。また特定の異常について注釈を作成し、リンクをブックマークして後でもう一度見る、といった使い方をすることも可能です。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltccdf9900f2d7720d/5cb5a564b790c01122391df1/download" data-sys-asset-uid="bltccdf9900f2d7720d" alt="" "="">
同じ時間範囲に複数の注釈を作成すると、画面上で重ならないよう、注釈は水平方向にずらして表示されます。注釈を編集・削除する場合は、チャート上でクリックして操作することができます。この場合も右側に表示される画面で、説明文の編集や注釈の削除を実行できます。バージョン6.7以降では、注釈一覧表の編集ボタンでも同じ操作を実行可能です。[Job Management]ページにも同じ機能が搭載されています。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltb137bc3438e7860b/5cb5a583791abe5a29a1d4f5/download" data-sys-asset-uid="bltb137bc3438e7860b" alt="" "="">
ここまで注釈の作成や動作に関する基本的な内容を紹介してきました。ここからは、さまざまなユースケースでの活用法を説明します。
<h2>注釈を使って予測される異常を検証する</h2>Machine Learningジョブで未来予測を行った場合、注釈を使って実測データと突き合わせ、検証することができます。引き続き<a href="https://apps.tirol.gv.at/hydro/#/Wasserstand/?station=201525" target="_BLANK">Hydro Online</a>の河川水位データを使用し、異常な結果に対して過去のイベントを注釈にする自動のオーバレイを表示してみましょう。データサイエンティストにとって、分析するソースデータと結果検証用のデータセットの両方を入手し、準備するという手順は珍しくありません。
今回の分析には、生のデータセットが必要です。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blte10b1840268283bc/5cb5a5a382d7ee1622f86b1a/download" data-sys-asset-uid="blte10b1840268283bc" alt="" "=""> 
今回のケースでは幸運なことに、Webインターフェースでデータを調査できるだけでなく、過去データをダウンロードしてさらに深い分析を実施することができます。これから使用するグローサッヘ川の<a href="https://ehyd.gv.at/eHYD/MessstellenExtraData/owf?id=202382&file=8">河川水位データ</a>は、“Huette”（ヒュッテ）という測定地で観測されたデータです。実測データに言及する注釈は、<a href="https://www.tirol.gv.at/fileadmin/themen/umwelt/wasserkreislauf/wasserstand/downloads/Tafeln_Koessen_Huette.pdf" target="_BLANK">危険河川水位と洪水について説明した文書</a>を参考に作成します。
<table style="width: 100%">
<tbody>
<tr>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/bltf6aa0ed4408c2c99/5cb5a6dc3e0de5c323b87308/download" data-sys-asset-uid="bltf6aa0ed4408c2c99" alt="" "="">
	</td>
	<td style="border: 0px; width: 50%">
		<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt7c57cde13dd3e014/5cb5a5d6791abe5a29a1d4fb/download" data-sys-asset-uid="blt7c57cde13dd3e014" alt="" "="">
	</td>
</tr>
</tbody>
</table>Machine Learningの注釈は前半で説明したUIだけでなく、標準的な個別のElasticsearchインデックスにドキュメントとして格納されています。&nbsp;注釈は標準的な各種のElasticsearch APIを使って手動で、あるいはプログラムを記述して作成することも可能です。注釈はバージョン固有のインデックスに格納され、<code>.ml-annotations-read</code>および<code>.ml-annotations-write</code>のエイリアスからアクセスする必要があります。この事例ではMachine Learningジョブを作成する前に、過去の河川イベントを反映した注釈をあらかじめ追加しておきます。
<pre class="prettyprint">{
 "_index":".ml-annotations-6",
 "_type":"_doc",
 "_id":"DGNcAmoBqX9tiPPqzJAQ",
 "_score":1.0,
 "_source":{
 "timestamp":1368870463669,
 "end_timestamp":1371015709121,
 "annotation":"2013 June; 770 m3/s; 500 houses flooded.",
 "job_id":"annotations-leukental-4d-1533",
 "type":"annotation",
 "create_time":1554817797135,
 "create_username":"elastic",
 "modified_time":1554817797135,
 "modified_username":"elastic"
 }
}
</pre>ここまで完了したら、上述の注釈の<code>job_id</code>フィールドに一致する名前を使用して手動作成した注釈を取り込めるようにし、河川水域の最大値における異常を検索します。河川の過去データをElasticsearchインデックスに投入した後でSingle Metricウィザードにジョブを表示すると、下の画面のようになります。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt1787a021b6855637/5cb5a71fb790c01122391e1f/download" data-sys-asset-uid="blt1787a021b6855637" alt="" "="">
重要なのは、選択したジョブ名と注釈に使用した名前を一致させることです。ジョブを実行してSingle Metric Viewerに移動すると、Machine Learningジョブが検知した河川水位の異常に相当する注釈が表示されるはずです。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt28e9133b42e9986b/5cb5a73830313775298d66b2/download" data-sys-asset-uid="blt28e9133b42e9986b" alt="image9.png">
これは現在実行している分析の妥当性を、注釈として格納した既存の検証データと比較し、検証する非常に優れた手法です。
<h2>システムイベントの注釈</h2>上の例はユーザーが生成する注釈でしたが、Machine Learningのバックエンドはシステムイベントが生じた場合に自動で注釈を作成します。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt26871e9e546a8b1c/5cb5a74c3e0de5c323b87310/download" data-sys-asset-uid="blt26871e9e546a8b1c" alt="" "="">
上のスクリーンショットは、自動で作成された注釈の例です。このケースではリアルタイムのMachine Learningジョブを実行していましたが、ジョブが必要とするペースに投入レートが追い付きませんでした。ドキュメントがインデックスに追加されたのは、ジョブがバケットで分析を実行した後のことでした。注釈が自動的作成されたことで、従来は検知やデバッグが難しかった問題が明るみに出ています。この注釈説明機能は、特定した問題の詳細を報告するだけでなく、解決策も提案します。すなわちこのケースでは、query_delay設定値の引き上げを提案しています。
<h2>アラートの統合</h2><a href="/guide/en/x-pack/current/watcher-getting-started.html">Watcher</a>は、Machine Learningにユーザー注釈機能が登場する以前からありました。機械学習機能で特定された異常に基づいてアラートを作成する機能です。単純な閾値に基づくアラートに比べると非常に高性能ですが、アラート受信者にとってはしばしば「細かすぎる」一面もあります。Machine Learningジョブを使用している場合、注釈を使用してWatcherがトリガーするアラートを整理し、他の関係者に共有すべきアラートを選別することができます。注釈は個別のElasticsearchインデックスに格納されているため、このインデックスでWatcherを使って新規に作成されたドキュメントに反応し、通知をトリガーするよう設定することができます。またWatcherは、<a href="/guide/en/watcher/current/configuring-slack.html">Slackチャンネルにアラートを送信</a>するように設定することも可能です。以下の例は、新規の注釈が作成された場合にSlackメッセージをトリガーするようWatcherを設定しています。
<pre class="prettyprint">{
 "trigger": {
 "schedule": {
 "interval":"5s"
 }
 },
 "input": {
 "search": {
 "request": {
 "search_type": "query_then_fetch",
 "indices": [
 ".ml-annotations-read"
 ],
 "rest_total_hits_as_int": true,
 "body": {
 "size":1,
 "query": {
 "range": {
 "create_time": {
 "gte": "now-9s"
 }
 }
 },
 "sort": [
 {
 "create_time": {
 "order": "desc"
 }
 }
 ]
 }
 }
 }
 },
 "condition": {
 "compare": {
 "ctx.payload.hits.total": {
 "gte":1
 }
 }
 },
 "actions": {
 "notify-slack": {
 "transform": {
 "script": {
 "source": "def payload = ctx.payload; DateFormat df = new SimpleDateFormat(\"yyyy-MM-dd'T'HH:mm:ss.SSS'Z'\"); payload.timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.timestamp))); payload.end_timestamp_formatted = df.format(Date.from(Instant.ofEpochMilli(payload.hits.hits.0._source.end_timestamp))); return payload",
 "lang": "painless"
 }
 },
 "throttle_period_in_millis":10000,
 "slack": {
 "message": {
 "to": [
 "#&lt;slack-channel&gt;"
 ],
 "text":"New Annotation for job *{{ctx.payload.hits.hits.0._source.job_id}}*: {{ctx.payload.hits.hits.0._source.annotation}}",
 "attachments": [
 {
 "fallback":"View in Single Metric Viewer http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))",
 "actions": [
 {
 "name": "action_name",
 "style": "primary",
 "type": "button",
 "text":"View in Single Metric Viewer",
 "url": "http://&lt;kibana-host&gt;:5601/app/ml#/timeseriesexplorer?_g=(ml:(jobIds:!({{ctx.payload.hits.hits.0._source.job_id}})),refreshInterval:(pause:!t,value:0),time:(from:'{{ctx.payload.timestamp_formatted}}',mode:absolute,to:'{{ctx.payload.end_timestamp_formatted}}'))&_a=(filters:!(),mlSelectInterval:(interval:(display:Auto,val:auto)),mlSelectSeverity:(threshold:(color:%23d2e9f7,display:warning,val:0)),mlTimeSeriesExplorer:(zoom:(from:'{{ctx.payload.timestamp_formatted}}',to:'{{ctx.payload.end_timestamp_formatted}}')),query:(query_string:(analyze_wildcard:!t,query:'*')))"
 }
 ]
 }
 ]
 }
 }
 }
 }
}
</pre>上の設定で<code>&lt;slack-channel&gt;</code>を<code>&lt;kibana-host&gt;</code>に置き換えると、<a href="/guide/en/kibana/current/watcher-create-advanced-watch.html">高度な監視</a>を作成することができます。設定が完了すると、新しい注釈を作成するたびにSlackの通知を受信できます。通知には注釈の説明文と、Single Metric Viewerへのリンクが含まれています。
<img src="https://images.contentstack.io/v3/assets/bltf7afce26b89a5b33/blt8fc884c15ecd2fcf/5cb5a765fe8386be234acb7e/download" data-sys-asset-uid="blt8fc884c15ecd2fcf" width="650">
<h2>まとめ</h2>Elasticsearch Machine Learningに新たに加わった注釈機能についてご紹介しました。UIから注釈を追加することも、システムの注釈をバックエンドタスクでトリガーさせることもできます。注釈は[Job Management]ページでブックマークしたり、リンクを他の人と共有できます。またプログラムを記述して外部データの注釈を作成し、実測データのオーバーレイとして検知した異常の検証に使用する活用法もあります。そしてWatcherやElasticsearchのSlack通知機能と組み合わせることにより、通知するアラートを絞り込む使い方もご紹介しました。注釈機能を楽しく使っていただければ幸いです。ご不明点などは<a href="https://discuss.elastic.co/">ディスカッションフォーラム</a>も併せてご覧ください。

ml-annotations-header-optimized.jpg

ml-annotation-edit-thumbnail.png

User annotations for Elastic machine learning

Elastic Machine Learningの注釈機能

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Walter Rafelsberger

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by Walter Rafelsberger

Elastic Machine Learningの注釈機能

Sign up for Elastic Cloud free trial