通过 File Data Visualizer，将 CSV、NDJSON 和半结构化文本（例如日志文件）导入 Elasticsearch 是一件再轻松不过的事情。

我们在 Elastic Stack 6.5 中推出了一项新功能：<a href="/guide/en/kibana/6.5/release-highlights-6.5.0.html#_visualize_data_from_a_log_file">File Data Visualizer</a>。通过这项新功能，用户能够上传包含以分隔符隔开的文本（例如 CSV）、NDJSON 文本或者半结构化文本（例如日志文件）的文件，然后新的 Elastic Machine Learning <code>find_file_structure</code> 端点将会分析文件并返回包含数据相关结果的报告。这些结果包括建议使用的采集管道和映射，通过这些管道和映射便可从 UI 中将文件导入 Elasticsearch。
这一功能的目的是帮助那些希望使用 Kibana 或者 Machine Learning 探索自己数据的用户，让他们无需学习数据采集流程的复杂知识，便能轻松将少量数据导入 Elasticsearch。
这里有一个近期发生的很好的例子，那就是并没有开发背景的一位 Elastic 营销团队的成员撰写的<a href="/cn/blog/aftershock-therapy-with-elasticsearch-and-csv-data-import">这篇博文</a>。通过使用 File Data Visualizer，他能够轻松将地震数据导入 Elasticsearch，进而帮助他使用 Kibana 中的 geo_point 可视化来探索和分析地震地点。
<h2>示例：将 CSV 文件导入 Elasticsearch</h2>要想演示这一功能，最好的方法就是通过一个示例逐步呈现。在下面的示例中，我们将会使用来自 CSV 文件中的数据，这个 CSV 文件中包括某一航班预订网站的虚构数据。我们在下面仅列出了这个文件的前五行，让您大概知道数据的样子：
<pre class="prettyprint">time,airline,responsetime
2014-06-23 00:00:00Z,AAL,132.2046
2014-06-23 00:00:00Z,JZA,990.4628
2014-06-23 00:00:00Z,JBU,877.5927
2014-06-23 00:00:00Z,KLM,1355.4812
</pre><h3>在 File Data Visualizer 中配置“CSV 导入”</h3>File Data Visualizer 位于 Kibana 中的下列位置：Machine Learning &gt; Data Visualizer。用户会看到下面的界面，在此界面上，用户便可以选择或者拖放文件。对于 6.5 版本，我们将文件大小的上限设置为 100MB。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd50fef49286218fc/5c57d5cfa669c2e50b763c39/fdv-1.png" data-sys-asset-uid="bltd50fef49286218fc" alt="" "="">
选择 CSV 文件之后，此页面会将文件中的前 1000 行发送给 find_file_structure 端点，然后此端点便会进行分析并返回结果。&nbsp;通过查看 UI 中的 Summary（汇总）部分，我们可以看到该端点已正确检测到数据格式为包含分隔符，并且分隔符为英文逗号。&nbsp;
它还检测到有一个标题行，并且已将这些字段名称添加为每列数据的标签。第一列对应到一个已知的日期格式，并且已经高亮显示为 Time（时间）字段。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2ed94e14e164d698/5c57d5c922d96be10bcca321/fdv-2.jpg" data-sys-asset-uid="blt2ed94e14e164d698" alt="" "="">
Summary（汇总）部分下方便是字段部分，对于曾使用过最初 <a href="/cn/blog/machine-learning-data-visualizer-and-modules">Data Visualizer</a> 功能的用户而言，他们应该已经熟悉这一部分。&nbsp;
我们可以看到，已经正确识别出了这三个字段的类型，并且还针对每个字段列出了一些高层次统计数据。&nbsp;针对每个字段列出了出现次数最多的前 10 个值。对于已被正确识别为数字型字段的 <code>responsetime</code>，还列出了 min（最小值）、median（中位数）和 max（最大值）这三个值。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt791921c57e27c94a/5c57d5c3773ad9030c5c2bd8/fdv-3.jpg" data-sys-asset-uid="blt791921c57e27c94a" alt="" "="">
对于拥有标题行的的 CSV 文件，此功能的运行效果很好，但如果数据顶部没有标题行的话，又会如何呢？
在这种情况下，<code>find_file_structure</code> 端点将会使用临时字段名。我们也可以演示一下这种情况，从示例文件中删除第一行，然后再次上传即可。现在，这些字段被赋予了通用名称：column1、column2 和 column3。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt424c33d1830378df/5c57d5bd713ebdec0ba06f3f/fdv-4.jpg" data-sys-asset-uid="blt424c33d1830378df" alt="" "="">
用户很可能会拥有一些相关领域的知识，并希望将这些字段重新命名为涵义更加明晰的名称；点击 Override settings（覆盖设置）按钮便可进行重命名。 
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt418f0473759afb9d/5c57d5b716a7de000c2b328e/fdv-5.png" data-sys-asset-uid="blt418f0473759afb9d" alt="" "="">
在重命名这些字段的同时，用户还能够编辑其他设置，例如 Data format（数据格式）、Delimiter（分隔符）和 Quote character（引用字符）。可以将这一部分看做为用户提供了一种方法，让他们能够更正 <code>find_file_structure</code> 端点就数据做出的合理猜测。您可能会有多个日期字段，而此端点仅选择了第一个。或者，即使文件包括标题行，您仍然希望完全更改字段名称。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcad02e0adb3f02e4/5c57d5b1c0eac4f70b57aceb/fdv-6.jpg" data-sys-asset-uid="bltcad02e0adb3f02e4" alt="" "="">
对这些设置感到满意之后，我们便可以点击位于页面左下角的 Import（导入）按钮。
<h3>将 CSV 数据导入 Elasticsearch</h3>然后我们会来到 Import（导入）页面，在此页面上，我们便可以将数据导入 Elasticsearch。请注意：此功能不可用于重复性的生产流程，仅可用于最初的数据探索过程。主要原因固然是缺少自动化选项，但还有另外一个原因，即此功能目前尚处在实验阶段。
有两种导入模式可供选择。Simple（简单），使用此种模式的话，用户只需要提供新的唯一性索引名称，并选择是否需要同时创建索引模式。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf39bb1c623b62f7f/5c57d5aa4651cff70b650d5a/fdv-7.png" data-sys-asset-uid="bltf39bb1c623b62f7f" alt="" "="">
还有 Advanced（高级），使用这一模式，用户可在更细层面上管理创建索引时所用的设置。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltdb726f5a6a6c7ad8/5c57d5a585820dce0bcc2bef/fdv-8.png" data-sys-asset-uid="bltdb726f5a6a6c7ad8" alt="" "="">
<ul>
	<li>Index settings（索引设置）- 默认情况下，无需针对索引创建和导入过程进行额外设置，但是这里仍然提供了对索引设置进行自定义的选项。</li>
	<li>Mappings（映射）- <code>find_file_structure</code> 会根据识别出的字段和类型提供一个映射对象。如需了解可用映射列表，请查看我们的 <a href="/guide/en/elasticsearch/reference/6.5/mapping.html">Elasticsearch 映射文档</a>。</li>
	<li>Ingest pipeline（采集管道）- <code>find_file_structure</code> 会提供一个默认采集管道对象。采集数据时便会用到这个采集管道，而且此采集管道还可用于上传任何其他数据。</li>
</ul>在 6.5 中，为了降低损坏索引的几率，我们仅允许创建新索引，而不允许向既有索引中添加数据。
单击导入按钮即会开始导入过程。这一过程包括多个步骤，已在下面编号列出：
<ol>
	<li>处理文件 - 将数据转换为 NDJSON 文档，从而可以使用批量 API 进行采集</li>
	<li>创建索引 - 使用设置和映射对象创建索引</li>
	<li>创建采集管道 - 使用采集管道对象创建采集管道</li>
	<li>上传数据 - 将数据加载到新的 Elasticsearch 索引中</li>
	<li>创建索引模式 - 创建 Kibana 索引模式（如果用户选择的话）</li>
</ol><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56ea4e841563efc8/5c57d59e122247d10be8ea87/fdv-9.png" data-sys-asset-uid="blt56ea4e841563efc8" alt="" "="">
导入完成之后，用户便会看到一个汇总，其中列明了索引的名称、索引模式、所创将的采集管道、所采集的文档的数量，
以及用于探索新导入数据的大量 Kibana 链接。还会为<a href="/cn/subscriptions">白金级和试用期订阅</a>用户提供一个链接，让他们能够基于数据快速创建一个 Machine Learning 作业。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt998a2b6a64471ce2/5c57d5998c741b010cbf6abb/fdv-10.png" data-sys-asset-uid="blt998a2b6a64471ce2" alt="" "="">
<h2>示例：将日志文件和其他半结构化文本导入 Elasticsearch
</h2>现在我们已经讲完了 CSV 数据，NDJSON 数据就更简单了，导入时仅需要进行极少处理即可，但是半结构化文本又怎样呢？我们看一下 CSV 数据的分析过程与典型日志文件数据（亦称半结构化文本）的分析过程有哪些不同。
下面是路由器生成的某个日志文件的三行数据。
<pre class="prettyprint">&lt;190&gt;38377:GOW45-AR002:Apr 18 08:44:02.434 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.26.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38378:GOW45-AR002:Apr 18 08:44:07.538 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.72.0/23, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
&lt;190&gt;38379:GOW45-AR002:Apr 18 08:44:08.818 GMT: %JHG_MS-6-ROUTE_EVENT_INFO:Route changed Prefix 10.156.55.0/24, BR 10.123.11.255, i/f Ki0/0/0.849, Reason None, OOP Reason Timer Expired
</pre>使用 <code>find_file_structure</code> 端点分析时，其正确识别出了格式为半结构化文本，并且创建了一个 grok 模式来从每行数据中提取字段和字段类型。在这些字段中，它还识别出了哪个为时间字段以及此字段的格式。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4cb4bbbb81e8c8d6/5c57d595bfa899f60ba15adf/fdv-11.png" data-sys-asset-uid="blt4cb4bbbb81e8c8d6" alt="" "="">
与带有标题行的 CSV 文件或者 NDJSON 文件不同，此端点无法获知这些字段的正确名称，所以其会根据字段类型给它们赋予通用名称。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt78b6030f16ff1520/5c57d5950da9acd10bcc8e40/fdv-12.jpg" data-sys-asset-uid="blt78b6030f16ff1520" alt="" "="">
然而，通过 Override settings（覆盖设置）菜单可以对这一 grok 模型进行编辑，所以我们能够更正字段名称以及类型。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1af21edb205ca35a/5c57d589dfaabbd40b9c290c/fdv-13.png" data-sys-asset-uid="blt1af21edb205ca35a" width="400">
然后，这些更正后的字段名称便会显示在 File（文件）统计数据部分。请注意，它们是按照字母顺序排列的，所以我们稍微调整了一下顺序。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3d3afbfb7553f1b2/5c57d58c893c9ee20b66f4f8/fdv-14.jpg" data-sys-asset-uid="blt3d3afbfb7553f1b2">
导入时，会将这些新的字段名称添加至映射对象中，并且会将 grok 模式添加到采集管道中的处理器列表中。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5d0a503b43623163/5c57d589f967c7fc0b4c66fb/fdv-15.png" data-sys-asset-uid="blt5d0a503b43623163" alt="" "="">
<h2>总结</h2>希望这篇文章勾起了您尝试 6.5 中 File Data Visualizer 功能的浓厚兴趣。这在 6.5 中仍然是一项实验功能，所以可能并不能正确匹配每种文件格式，但是欢迎大家尝试并<a href="https://discuss.elastic.co/">向我们反馈您的使用情况</a>。您的反馈能够帮助我们尽快推出这一功能的正式版本。

fdv-banner.png

fdv-thumb.png

Importing CSV and Log Data into Elasticsearch with File Data Visualizer

使用 File Data Visualizer 将 CSV 和日志数据导入 Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

James Gowdy

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by James Gowdy

使用 File Data Visualizer 将 CSV 和日志数据导入 Elasticsearch

Sign up for Elastic Cloud free trial