File Data Visualizerを使うと、CSVやNDJSON、準構造化テキスト（ログファイル等）をElasticsearchに取り込む手順が驚くほど簡単になります。

Elastic Stack 6.5より<a href="/guide/en/kibana/6.5/release-highlights-6.5.0.html#_visualize_data_from_a_log_file">File Data Visualizer</a>機能が登場しています。この機能を使用して"区切り"を含むファイル（例：CSV）やNDJSON、準構造化テキスト（例：ログファイル）をアップロードすると、Elastic Machine Learningの<code>find_file_structure</code>エンドポイントがファイルを分析し、データに関する情報をレポートバックします。レポートバックされる情報には、UIからElasticsearchにファイルをインポートする際に使用する投入パイプラインとマッピングの提案も含まれます。
この機能の狙いは、KibanaやMachine Learningでデータを探索しようと考えるユーザーが複雑な投入プロセスで手間取る状況を回避し、少量のデータも気軽にElasticsearchに入れられるようにすることです。
わかりやすい例として、開発系の出身ではないElasticのマーケティングスタッフが書いた<a href="/jp/blog/aftershock-therapy-with-elasticsearch-and-csv-data-import">こちらのブログ記事</a>があります。このスタッフはFile Data Visualizerを使って地震データを手軽にElasticsearchに取り込み、Kibanaのgeo_point可視化機能で地震の位置情報を探索・分析しています。
<h2>事例：CSVファイルをElasticsearchにインポートする</h2>この機能は具体的な事例のデモンストレーションで説明するとよりわかりやすくなります。以下で、架空の飛行機のフライト予約Webサイトのデータを含むCSVファイルを使用するという事例を見てみましょう。このファイルの冒頭5行は次のようになっています。実際にどのようなデータなのか、おおよそのところを把握できます。
<pre class="prettyprint">time,airline,responsetime
2014-06-23 00:00:00Z,AAL,132.2046
2014-06-23 00:00:00Z,JZA,990.4628
2014-06-23 00:00:00Z,JBU,877.5927
2014-06-23 00:00:00Z,KLM,1355.4812
</pre><h3>File Data VisualizerにCSVのインポートを設定する</h3>File Data Visualizer機能はKibanaメニューの[Machine Learning &gt; データビジュアライザー]からアクセスできます。ユーザーは表示画面上でファイルを選択するか、ドラッグ＆ドロップすることができます。バージョン6.5では、ファイルの最大サイズは100MBに制限されています。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd50fef49286218fc/5c57d5cfa669c2e50b763c39/fdv-1.png" data-sys-asset-uid="bltd50fef49286218fc" alt="" "="">
CSVファイルを選択すると、このページでファイルの最初の1,000行がfind_file_structureエンドポイントに送られ、エンドポイントは分析内容を返します。&nbsp;この画面のSummary（サマリー）セクションを見ると、データが区切りフォーマットに入っていること、さらに区切り記号がカンマであることを正確に検出していることがわかります。&nbsp;
またヘッダー（見出し）行があること、これらのフィールド名を各列のデータのラベルとして使用していることも検出しています。1列目が既知の日付フォーマットに一致していることから、Time fieldが存在することも特記しています。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2ed94e14e164d698/5c57d5c922d96be10bcca321/fdv-2.jpg" data-sys-asset-uid="blt2ed94e14e164d698" alt="" "="">
このサマリーセクションの下にはフィールドセクションがあります。以前のバージョンで<a href="/jp/blog/machine-learning-data-visualizer-and-modules">Data Visualizer</a>機能を使ったことがあるユーザーにはおなじみの画面かもしれません。&nbsp;
ここでは3つのフィールドのタイプが正確に特定されています。各フィールドに関する高次の統計もあり、&nbsp;上位10個の頻出値が各フィールドにリスト表示されています。<code>responsetime</code>については、数値のフィールドであることを判別し、min（最小値）、median（中央値）、max（最大値）を特定しています。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt791921c57e27c94a/5c57d5c3773ad9030c5c2bd8/fdv-3.jpg" data-sys-asset-uid="blt791921c57e27c94a" alt="" "="">
こうした挙動は、ヘッダー（見出し）行があるCSVに最適です。ところで、ヘッダー行がないデータの場合はどうなるのでしょうか。
そのような場合、<code>find_file_structure</code>エンドポイントは仮のフィールド名を使用します。この挙動を実演してお見せするために、先ほどのファイルから最初の行を削除し、もう一度アップロードします。今度は各フィールドが「column1」「column2」「column3」という一般的な名前で表示されました。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt424c33d1830378df/5c57d5bd713ebdec0ba06f3f/fdv-4.jpg" data-sys-asset-uid="blt424c33d1830378df" alt="" "="">
ファイルをアップロードしたユーザーはドメイン知識を持っていて、フィールド名をもっと適切なものに変えたいと考えるかもしれません。そんな時に使えるのが[Override settings（上書き設定）]ボタンです。 
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt418f0473759afb9d/5c57d5b716a7de000c2b328e/fdv-5.png" data-sys-asset-uid="blt418f0473759afb9d" alt="" "="">
フィールド名の変更だけでなく、データフォーマットや区切り記号、引用記号などの設定も変更できます。<code>find_file_structure</code>エンドポイントはデータについて経験に基づいた推測を実施しますが、このセクションはその内容を修正する手段として使うことができます。複数の日付フィールドがあり、最初の1つだけが選択されている可能性もあります。ファイルにヘッダー行があっても、フィールド名を変更したいと思うことがあるかもしれません。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcad02e0adb3f02e4/5c57d5b1c0eac4f70b57aceb/fdv-6.jpg" data-sys-asset-uid="bltcad02e0adb3f02e4" alt="" "="">
修正ですべての設定が満足できる内容になったら、ページ左下の[Import（インポート）]ボタンを押します。
<h3>CSVデータをElasticsearchにインポートする</h3>[インポート]ボタンを押すと[インポート]ページが開き、ここでデータをElasticsearchに取り込むことができます。この機能は反復的なプロダクションプロセスとして使用されることを想定していませんので、留意してください。単なるデータの初回探索を想定しています。このことは自動化オプションが提供されていない主な理由にもなっています。別の理由としては、この機能が現在試験段階にあることがあります。
インポートには2つのモードがあります。Simple（シンプル）モードでは、ユーザーが新しい一意のインデックス名を提供し、インデックスパターンを作成する場所を選択します。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf39bb1c623b62f7f/5c57d5aa4651cff70b650d5a/fdv-7.png" data-sys-asset-uid="bltf39bb1c623b62f7f" alt="" "="">
Advanced（アドバンスト）モードでは、インデックス作成に使用する設定をユーザーがより細かく制御できます。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdb726f5a6a6c7ad8/5c57d5a585820dce0bcc2bef/fdv-8.png" data-sys-asset-uid="bltdb726f5a6a6c7ad8" alt="" "="">
<ul>
	<li>Index settings（インデックス設定） - 基本的に、インデックスの作成とインポートに際して設定を追加する必要はありません。必要な場合は、ここでインデックス設定をカスタマイズすることができます。</li>
	<li>Mappings（マッピング） - <code>find_file_structure</code>は、検出したフィールドとタイプに基づいてマッピングオブジェクトを提供します。検出できるマッピングは、<a href="/guide/en/elasticsearch/reference/6.5/mapping.html">Elasticsearchのマッピングに関するドキュメント</a>に一覧で掲載されています。</li>
	<li>Ingest pipeline（投入パイプライン） - The <code>find_file_structure</code>は、デフォルトの投入パイプラインオブジェクトを提供します。データ投入時や、追加のデータをアップロードする際に使用します。</li>
</ul>6.5の時点では、新規インデックスの作成のみ対応しています。インデックスを損傷させるリスクを考慮し、既存のインデックスにデータを追加する機能は提供されていません。
[Import（インポート）]ボタンを押すとインポートプロセスがはじまります。このプロセスは、複数のステップで構成されます。
<ol>
	<li>ファイルの処理（Processing file） - バルクAPIを使用して投入できるよう、データをNDJSONドキュメントに変換します</li>
	<li>インデックスの作成（Creating index） - オブジェクトの設定とマッピングを使用してインデックスを作成します</li>
	<li>Ingestパイプラインの作成（Creating ingest pipeline） - 投入パイプラインオブジェクトを使用して投入パイプラインを作成します。</li>
	<li>データのアップロード（Uploading the data） - データを新規のElasticsearchインデックスに読み込みます</li>
	<li>インデックスパターンの作成（Creating index pattern） - （ユーザーが選択した場合）Kibanaインデックスパターンを作成します</li>
</ol><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56ea4e841563efc8/5c57d59e122247d10be8ea87/fdv-9.png" data-sys-asset-uid="blt56ea4e841563efc8" alt="" "="">
インポートプロセスが完了すると、画面にインデックス名、インデックスパターン名、投入パイプライン名、投入されたドキュメントの数、さらに
新規にインポートされたデータを探索できるKibanaのリンク数が表示されます。<a href="/jp/subscriptions">プラチナおよびトライアルサブスクリプション</a>では、このデータですばやくMachine Learningジョブを作成できるリンクも画面に表示されます。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt998a2b6a64471ce2/5c57d5998c741b010cbf6abb/fdv-10.png" data-sys-asset-uid="blt998a2b6a64471ce2" alt="" "="">
<h2>事例：ログファイルと、その他の準構造化テキストファイルをElasticsearchにインポートする
</h2>ここまではCSVデータと、インポートの処理のシンプル化に必要となるNDJSONの取り扱いについて説明してきました。次に、準構造化テキストファイルについても見てみましょう。CSVデータと典型的なログファイルデータ（準構造化テキスト）の分析がどう違うか考えます。
以下は、ルーターが生成したログファイルから3行抜粋したものです。
<pre class="prettyprint">&lt;190&gt;38377:GOW45-AR002:Apr 18 08:44:02.434 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.26.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38378:GOW45-AR002:Apr 18 08:44:07.538 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.72.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38379:GOW45-AR002:Apr 18 08:44:08.818 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.55.0/24, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
</pre><code>find_file_structure</code>エンドポイントで分析すると、ファイルのフォーマットが準構造化テキストであることを認識し、Grokパターンを作成して各行のフィールドとタイプを抽出しています。さらに複数のフィールドのうち、どれが時間フィールドか、どのようなフォーマットかも認識しました。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4cb4bbbb81e8c8d6/5c57d595bfa899f60ba15adf/fdv-11.png" data-sys-asset-uid="blt4cb4bbbb81e8c8d6" alt="" "="">
ヘッダーを含むCSVファイルやNDJSONファイルとは異なり、各フィールドの正しい名称は判別できません。そこで、このエンドポイントは各タイプに基づいて一般的な名前を付けています。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt78b6030f16ff1520/5c57d5950da9acd10bcc8e40/fdv-12.jpg" data-sys-asset-uid="blt78b6030f16ff1520" alt="" "="">
このGrokパターンは[Override settings（上書き設定）]ボタンで編集でき、必要に応じて正しいフィールド名やタイプに修正することが可能です。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1af21edb205ca35a/5c57d589dfaabbd40b9c290c/fdv-13.png" data-sys-asset-uid="blt1af21edb205ca35a" width="400">
フィールド名を修正すると、[File（ファイル）]統計セクションにも反映されます。このセクションはアルファベット順に表示されます。先ほどと少し順序が変わりました。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3d3afbfb7553f1b2/5c57d58c893c9ee20b66f4f8/fdv-14.jpg" data-sys-asset-uid="blt3d3afbfb7553f1b2">
インポートすると新規のフィールド名がマッピングに追加され、Grokパターンが投入パイプラインのプロセッサーリストに加わります。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d0a503b43623163/5c57d589f967c7fc0b4c66fb/fdv-15.png" data-sys-asset-uid="blt5d0a503b43623163" alt="" "="">
<h2>まとめ</h2>この記事を読んで「6.5のFile Data Visualizer機能を使ってみようかな」と思ってもらえたら、それほど嬉しいことはありません。File Data Visualizerは6.5で試験的な機能としてリリースされており、すべてのファイルフォーマットに適切に一致するとは限りません。気軽にお試しいただき、お気づきの点がありましたら<a href="https://discuss.elastic.co/">フィードバック</a>をお寄せください。多くのフィードバックが集まることで、早期にGA（一般公開）へ移行できます。

fdv-banner.png

fdv-thumb.png

Importing CSV and Log Data into Elasticsearch with File Data Visualizer

File Data VisualizerでCSVとログデータをElasticsearchに取り込む

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

James Gowdy

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、上記で提供された連絡先に<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">特定の通知</a>が送信されることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシーポリシー</a>をご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.

GDPR Text + Google Cloud

送信することにより、Elasticの<a href="/jp/legal/elastic-cloud-account-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。このフォームを送信することにより、Elasticが私の連絡先情報をGoogle Cloudに共有することに同意します。また、Elasticが私に食材パッケージを発送する目的で私の情報をベンダーに提供することにも同意します。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

送信することにより、Elasticの<a href="/jp/legal/serverless-preview-terms" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

送信することにより、<a href="/jp/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud利用規約</a>に同意したものとみなされます。個人情報は<a href="/jp/legal/privacy-statement">Elasticのプライバシーポリシー</a>に基づいて取り扱われます。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

送信することにより、Elasticの<a href="/jp/legal/terms-of-use" target="_self">利用規約</a>を読み、同意したものと見なされます。また、関連する製品やサービスについて、上記で提供された情報を使用してElasticから<a href="/jp/legal/privacy-statement#how-we-use-the-information" target="_self">連絡する</a>場合があることを認めたことになります。詳細については、<a href="/jp/legal/privacy-statement/" target="_self">Elasticのプライバシー</a>ポリシーをご覧ください。これらの同意についてはいつでもオプトアウトすることが可能です。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

このページのコンテンツは、選択された言語ではご利用いただけません。Elasticでは現在、コンテンツをさまざまな言語でご利用いただけるよう取り組んでいます。お使いの言語が準備されるまでお待ちくださるようお願いいたします。

Author

Articles by

Watch now (no PT)

Watch now

See all top stories

すべてのトップストーリーを見る

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Search Integrations

All Solutions

Video for

See when this webinar starts in my time zone

現在のタイムゾーンでこのウェビナー開始時間を見る

Register to Watch

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

他の予定と重なってしまった…という場合も、問題ありません。参加登録されると、録画配信をご利用いただけます。関連コンテンツのご案内もメールでお届けします。

Author

Articles by James Gowdy

File Data VisualizerでCSVとログデータをElasticsearchに取り込む

Sign up for Elastic Cloud free trial