深入了解最常见的将数据采集到 Elasticsearch 服务的方法，以及针对各种用例的设置帮助和建议。

<p>对于数据搜索和分析来说，Elasticsearch 无处不在。开发人员和社区可利用 Elasticsearch 寻找寻找各种各样的用例，从<a href="/cn/app-search">应用程序搜索</a>和<a href="/cn/site-search">网站搜索</a>，到日志、<a href="/cn/infrastructure-monitoring">基础架构监测</a>、<a href="/cn/apm">APM</a> 和 <a href="/cn/siem">安全分析</a>，不一而足。虽然现在有针对这些用例的免费解决方案，但是开发人员首先需要将其数据提供给 Elasticsearch。
</p><p>本文将描述几种最常见的将数据采集到 Elasticsearch 服务的方法。这可能是一个托管在 <a href="https://cloud.elastic.co">Elastic Cloud</a> 或其本地方案 <a href="/cn/ece">Elastic Cloud Enterprise</a> 上的集群。虽然我们主要关注于这些服务，但采集到自管型 Elasticsearch 集群的数据看起来几乎是相同的。唯一的变化是您处理集群的方式。
</p><p>在我们深入探讨技术细节之前，提醒一下：如果您在阅读本文时遇到任何问题，请随时访问 <a href="https://discuss.elastic.co">discuss.elastic.co</a>。我们的社区非常活跃，您有望会在那里找到问题的答案。
</p><p>接下来，我们开始使用以下方法来深入探讨数据采集：
</p><ul>
	<li>Elastic Beats</li>
	<li>Logstash</li>
	<li>语言客户端</li>
	<li>Kibana 开发工具</li>
</ul> <strong><h2><strong>采集到 Elasticsearch 服务</strong></h2></strong><p>Elasticsearch 提供了灵活的 RESTful API，用于与客户端应用程序通信。因此，REST 调用被用来采集数据、执行搜索和数据分析，以及管理集群及其索引。实际上，上述所有方法都依赖于这个 API 将数据采集到 Elasticsearch。
</p><p>在本文后续介绍中，我们假设您已经创建了 Elasticsearch 服务集群。如果您还没有创建，请<a href="/cn/cloud/elasticsearch-service/signup">注册 Elastic Cloud 免费试用</a>。在您创建集群后，系统将会为您提供 Elastic 超级用户帐户的云 ID 和密码。云 ID 的格式如下：<code>cluster_name:ZXVy...Q2Zg==</code>。它对您集群的 URL 进行了编码，并且我们将会看到，它可简化数据采集。
</p> <strong><h3><strong>Elastic Beats</strong></h3></strong><p>Elastic Beats 是一组轻量型的数据采集器，可以方便地将数据发送给 Elasticsearch 服务。由于是轻量型的，Beats 不会产生太多的运行时开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据。如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么 Beats 会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，让您能够快速检测到异常情况做出反应，例如系统范围内的问题和安全事件等。
</p><p>当然，Beats 并不局限于资源有限的系统，它们还可用于具有更多可用硬件资源的系统。
</p> <strong><h4><strong>Beats 系列：概述</strong></h4></strong><p>Beats 有多种风格，可以收集不同类型的数据：
</p><ul>
	<li><a href="/cn/beats/filebeat">Filebeat</a> 支持您从以文件形式提供的源中读取、预处理和传送数据。尽管大多数用户使用 Filebeat 来读取日志文件，但它也支持任何非二进制文件格式。Filebeat 还支持许多其他数据源，包括 TCP/UDP、容器、Redis 和 Syslog。借助丰富的<a href="/guide/en/beats/filebeat/current/filebeat-modules.html">模块</a>，可以轻松针对 Apache、MySQL 和 Kafka 等常见应用程序的日志格式收集和解析相应的数据。</li>
	<li><a href="/cn/beats/metricbeat">Metricbeat</a> 可收集并预处理系统和服务指标。系统指标包括关于运行中进程的相关信息，以及 CPU/内存/磁盘/网络利用率方面的数据。这些<a href="/guide/en/beats/filebeat/current/filebeat-module-system.html">模块</a>可用于收集来自许多不同服务的数据，包括 Kafka、Palo Alto Networks、Redis，等等。</li>
	<li><a href="/cn/beats/packetbeat">Packetbeat</a> 可收集并预处理实时网络数据，从而支持应用程序监测、安全和网络性能分析。此外，Packetbeat 还支持以下协议：DHCP、DNS、HTTP、MongoDB、NFS 和 TLS。</li>
	<li><a href="/cn/beats/winlogbeat">Winlogbeat</a> 可从 Windows 操作系统捕获事件日志，包括应用程序事件、硬件事件，以及安全和系统事件。对于许多用例来说，从 Windows 事件日志中获得的大量信息非常有用。</li>
	<li><a href="/cn/beats/auditbeat">Auditbeat</a> 可检测对关键文件的更改并从 Linux 审计框架收集事件。不同的<a href="/guide/en/beats/auditbeat/current/auditbeat-modules.html">模块</a>简化了它的部署，这主要在安全分析用例中使用。</li>
	<li><a href="/cn/beats/heartbeat">Heartbeat</a> 利用探测来监测系统和服务的可用性。因此，Heartbeat 在许多场景中都很有用，比如基础架构监测和安全分析。ICMP、TCP 和 HTTP 都是受支持的协议。</li>
	<li><a href="/cn/beats/functionbeat">Functionbeat</a> 可从无服务器环境（如 AWS Lambda）中收集日志和指标。</li>
</ul><p>一旦您决定了在特定场景中要使用哪个 Beats，入门就像下节所描述的那样，非常简单。
</p> <strong><h4><strong>Beats 入门</strong></h4></strong><p>在这部分中，我们将以 Metricbeat 为例，学习如何开始使用 Beats。对于其他 Beats，步骤大同小异。针对您具体的 Beat 和操作系统，请参考本文档并按照下列步骤进行操作。
</p><ol>
	<li><a href="/cn/downloads/beats">下载并安装所需的 Beat</a>。安装 Beats 有很多种方法，但大多数用户都会选择使用为操作系统的包管理器提供的 Elastic 存储库 (DEB/RPM)，或者简单下载并解压缩所提供的 tgz/zip 包。</li>
	<li><a href="/guide/en/beats/metricbeat/current/configuring-howto-metricbeat.html">配置 Beat</a> 并<a href="/guide/en/beats/metricbeat/current/configuration-metricbeat.html">启用任何所需的模块</a>。</li>
</ol><ul>
	<li>例如，要收集系统上运行的关于 Docker 容器的指标，则通过 <code>sudo metricbeat modules enable docker</code> 启用 <a href="/guide/en/beats/metricbeat/current/metricbeat-module-docker.html">Docker 模块</a>（如果您使用包管理器安装）。如果您通过解压缩 tgz/zip 包安装，则使用 <code>/metricbeat modules enable docker</code>。</li>
	<li>云 ID 是一种简便的方法，用以指定收集的数据要发送到的 Elasticsearch 服务。将云 ID 和身份验证信息添加到 Metricbeat 配置文件 (Metricbeat .yml)：
	</li>
	<pre class="prettyprint">cloud.id: cluster_name:ZXVy...Q2Zg==
cloud.auth: "elastic:YOUR_PASSWORD"
    </pre>
	<ul>
		<li>如前所述，<code>cloud.id</code> 是在创建集群时提供给您的。<code>cloud.auth</code> 是一个冒号分隔的用户名和密码的串联，且已在 Elasticsearch 集群中被授予足够的权限。
		</li>
		<li>若要快速启动，可以使用在创建集群时提供的 Elastic 超级用户和密码。如果您使用包管理器安装，则可以在 <code>/etc/metricbeat</code> 目录下找到配置文件；如果您使用 tgz/zip 包安装，则在解压缩的目录下。</li>
	</ul>
</ul><ol start="3">
	<li><a href="/guide/en/beats/metricbeat/current/load-kibana-dashboards.html">将预装仪表板加载到 Kibana</a>。大多数 Beats 和它们的模块都带有预先定义好的 Kibana 仪表板。如果您使用包管理器安装，则通过 <code>sudo metricbeat setup</code> 将它们加载到 Kibana；如果使用 tgz/zip 包安装，则在解压缩的目录下运行 <code>./metricbeat setup</code>。</li>
</ol><ol start="4">
	<li><a href="/guide/en/beats/metricbeat/current/setting-up-and-running.html">运行 Beat</a>。如果您在基于 systemd 的 Linux 系统上使用包管理器安装，则使用 <a href="/guide/en/beats/metricbeat/current/running-with-systemd.html"><code>sudo systemctl start metricbeat</code></a>；如果您使用 tgz/zip 包安装，则使用 <code>./metricbeat -e</code></li>
</ol><p>如果一切正常，数据就会开始流入 Elasticsearch 服务。
</p> <strong><h4><strong>探索预装仪表板</strong></h4></strong><p>前往 Elasticsearch 服务中的 Kibana 来查看数据：
</p><ul>
	<li>在 Kibana Discover 中，选择 <code>metricbeat-*</code> 索引模式，您将能够看到已采集的各个文档。</li>
	<li>“Kibana 基础架构”选项卡通过以各种图表形式显示有关系统资源（CPU、内存、网络）的使用情况，让您能够以更图形化的方式检查系统和 Docker 指标。</li>
	<li>在 Kibana 仪表板中，选择任意带有 [Metricbeat System] 前缀的仪表板，以交互方式查看数据。</li>
</ul> <strong><h3><strong>Logstash</strong></h3></strong><p>Logstash 是一个强大而灵活的工具，可以读取、处理和传送任何类型的数据。Logstash 提供了许多功能，这些功能目前还不可用，或者通过 Beats 执行成本太高，比如通过对外部数据源执行查找来丰富文档。不管采用哪种方式，Logstash 的这种功能和灵活性都是有代价的。此外，Logstash 的硬件要求也显著高于 Beats。严格来说，Logstash 通常不应部署在低资源设备上。因此，在 Beats 功能不足以满足特定用例要求的情况下，可将 Logstash 用作其替代选择。
</p><p>一种常见的架构模式是将 Beats 和 Logstash 组合起来：使用 Beats 来收集数据，并使用 Logstash 来执行 Beats 无法执行的任何数据处理。
</p> <strong><h4><strong>Logstash 概述</strong></h4></strong><p>Logstash 通过执行事件处理管道来工作，其中每个管道至少包含以下各项中的一个：
</p><ul>
	<li><a href="/guide/en/logstash/current/input-plugins.html">输入</a>从数据源读取数据。官方支持多种数据源，包括文件、http、imap、jdbc、kafka、syslog、tcp 和 udp。</li>
	<li><a href="/guide/en/logstash/current/filter-plugins.html">过滤器</a>以多种方式处理和丰富数据。在许多情况下，首先需要将非结构化的日志行解析为更加结构化的格式。因此，除其他功能外，Logstash 还在正则表达式的基础上提供了解析 CSV、JSON、键/值对、分隔的非结构化数据和复杂的非结构化数据的过滤器（<a href="/guide/en/logstash/current/plugins-filters-grok.html">grok 过滤器</a>）。Logstash 还提供了更多的过滤器，通过执行 <a href="/guide/en/logstash/current/plugins-filters-dns.html">DNS 查找</a>，添加<a href="/guide/en/logstash/current/plugins-filters-geoip.html">关于 IP 地址的地理信息</a>，或通过对<a href="/guide/en/logstash/current/plugins-filters-translate.html">自定义目录</a>或 <a href="/guide/en/logstash/current/plugins-filters-elasticsearch.html">Elasticsearch 索引</a>执行查找来丰富数据。通过这些附加的过滤器，能够对数据进行各种转换，例如重命名、删除、复制数据字段和值（<a href="/guide/en/logstash/current/plugins-filters-mutate.html">mutate 过滤器</a>）。</li>
	<li><a href="/guide/en/logstash/current/output-plugins.html">输出</a>将解析后并加以丰富的数据写入数据接收器，这是 Logstash 处理管道的最后阶段。虽然有许多输出插件可用，但这里我们主要讨论如何使用 <a href="/guide/en/logstash/current/plugins-outputs-elasticsearch.html">Elasticsearch 输出</a>将数据采集到 Elasticsearch 服务。</li>
</ul> <strong><h4><strong>Logstash 示例管道</strong></h4></strong><p>没有两个用例是相同的。因此，您可能必须开发符合自身特定数据输入和需求的 Logstash 管道。
</p><p>我们提供了一个示例 Logstash 管道，该管道能够
</p><ul>
	<li>读取 Elastic 博客 RSS 源</li>
	<li>通过复制/重命名字段和删除特殊字符及 HTML 标记来执行一些简单的数据预处理</li>
	<li>将文档采集到 Elaticsearch</li>
</ul><p>步骤如下：
</p><ol>
	<li>通过<a href="/guide/en/logstash/current/installing-logstash.html">包管理器</a>或下载并解压 <a href="/guide/en/elasticsearch/reference/6.0/zip-targz.html">tgz/zip 文件</a>来安装 Logstash。</li>
	<li>安装 Logstash <a href="/guide/en/logstash/current/plugins-inputs-rss.html">rss 输入插件</a>，这可支持读取 RSS 数据源：<code>./bin/logstash-plugin install logstash-input-rss</code></li>
	<li>将下列 Logstash 管道定义复制到一个新文件，例如 ~/elastic-rss.conf:</li>
</ol><pre class="prettyprint">input { 
  rss { 
    url =&gt; "/blog/feed" 
    interval =&gt; 120 
  } 
} 
filter { 
  mutate { 
    rename =&gt; [ "message", "blog_html" ] 
    copy =&gt; { "blog_html" =&gt; "blog_text" } 
    copy =&gt; { "published" =&gt; "@timestamp" } 
  } 
  mutate { 
    gsub =&gt; [  
      "blog_text", "&lt;.*?&gt;", "",
      "blog_text", "[\n\t]", " " 
    ] 
    remove_field =&gt; [ "published", "author" ] 
  } 
} 
output { 
  stdout { 
    codec =&gt; dots 
  } 
  elasticsearch { 
    hosts =&gt; [ "https://&lt;your-elsaticsearch-url&gt;" ] 
    index =&gt; "elastic_blog" 
    user =&gt; "elastic" 
    password =&gt; "&lt;your-elasticsearch-password&gt;" 
  } 
}
</pre><ol start="4">
	<li>在上面的文件中，修改参数主机和密码，以匹配您的 Elasticsearch 服务端点和 Elastic 用户密码。在 Elastic Cloud 中，您可以从部署页的详细信息中获取 Elasticsearch 端点 URL（复制端点 URL）。</li>
</ol><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt028c5e311d9933f2/5d72da8272e3f704311c0060/ingest-ess-deployment-blog.png" data-sys-asset-uid="blt028c5e311d9933f2" alt="部署页面详细信息" style="display: block; margin: auto;">
</p><p><span></span>
</p><ol start="5">
	<li>通过启动 Logstash 执行管道：./bin/logstash -f ~/elastic-rss.conf</li>
</ol><p>启动 Logstash 需要几秒钟的时间。您会在控制台上看到出现圆点 (.....)。每个点表示一个已采集到 Elasticsearch 的文档。
</p><ol start="6">
	<li>打开 Kibana。在 Kibana 开发工具控制台中，执行以下操作，以确认已经采集了 20 个文档：POST elastic_blog/_search</li>
</ol>有关更多详细信息，请参阅优秀的博客文章 <a href="/cn/blog/a-practical-introduction-to-logstash">Logstash 实用介绍</a>。全部详细信息，请参阅 <a href="/guide/en/logstash/current/index.html">Logstash 文档</a>。<strong></strong><h3><strong><strong>语言客户端</strong></strong></h3>在某些情况下，最好将数据采集与自定义应用程序代码集成。为此，我们建议使用一个<a href="/guide/en/elasticsearch/client/index.html">官方支持的 Elasticsearch 客户端</a>。这些客户端是抽象出数据采集低层细节的库，使您能够专注于特定应用程序的实际工作。Java、JavaScript、Go、.NET、PHP、Perl、Python 和 Ruby 都有官方客户端。有关您所选语言的所有详细信息和代码示例，请参阅相关文档即可。如果您的应用程序不是用上面所列语言编写的，则很可能会有<a href="/guide/en/elasticsearch/client/community/current/index.html">社区贡献的客户端</a>。<strong></strong><h3><strong><strong>Kibana 开发工具</strong></strong></h3>我们推荐的用于开发和调试 Elasticsearch 请求的工具是 <a href="/guide/en/kibana/current/console-kibana.html">Kibana 开发工具控制台</a>。开发工具公开了通用的 Elasticsearch REST API 的全部功能和灵活性，同时抽象出了底层 HTTP 请求的技术细节。不出所料，您可以使用开发工具控制台将原始 JSON 文档放到 Elasticsearch 中：<pre class="prettyprint">PUT my_first_index/_doc/1 
{ 
    "title" :"How to Ingest Into Elasticsearch Service",
    "date" :"2019-08-15T14:12:12",
    "description" :"This is an overview article about the various ways to ingest into Elasticsearch Service" 
}
</pre> <strong><h3><strong>其他 REST 客户端</strong></h3></strong>有了 Elasticsearch 提供的通用 REST 接口，您即可随心所欲地找到自己喜欢的 REST 客户端来与 Elasticsearch 通信并采集文档。虽然我们建议首先尝试上面提到的工具，但是有很多原因可能会让您考虑其他选择。例如，<a href="https://github.com/curl/curl">curl</a> 是一款经常作为最后手段使用的工具，用于开发、调试或与自定义脚本集成。<strong></strong><h2><strong><strong>结论</strong></strong></h2>将数据采集到 Elasticsearch 服务的方法不胜枚举。没有两种场景是相同的；选择具体的方法或工具来采集数据取决于您的特定用例、需求和环境。Beats 提供了一种方便、轻量级的开箱即用型解决方案，可以从许多不同的来源收集和采集数据。与 Beats 封装在一起的模块为许多常见数据库、操作系统、容器环境、Web 服务器、缓存等提供了数据获取、解析、索引和可视化的配置。这些模块可提供五分钟实现数据到仪表板的体验。因为 Beats 是轻量型的，所以非常适合资源受限的嵌入式设备，例如 IoT 设备或防火墙。另一方面，Logstash 是一种灵活的工具，可用于读取、转换和采集数据，提供了大量的过滤器、输入和输出插件。如果 Beats 的功能对于某些用例来说还不够，那么一种常见的架构模式是使用 Beats 来收集数据，并通过 Logstash 做进一步处理，然后再采集到 Elasticsearch 中。我们建议在直接从应用程序采集数据时使用官方支持的客户端库。Kibana 开发工具控制台非常适合开发和调试。最后，Elasticsearch REST API 为您提供了使用您喜欢的 REST 客户端的灵活性。准备好进一步深入了解了吗？推荐您阅读以下相关文章：<ul>
	<li><a href="/cn/blog/should-i-use-logstash-or-elasticsearch-ingest-nodes">我应该使用 Logstash 还是 Elasticsearch 采集节点呢？</a></li>
	<li><a href="/cn/blog/get-system-logs-and-metrics-into-elasticsearch-with-beats-system-modules">使用 Beats 系统模块将系统日志和指标获取到 Elasticsearch</a></li>
</ul>

ingest-ess-blog-banner.jpg

ingest-ess-blog-thumb.jpg

How to ingest data into Elasticsearch Service

如何将数据采集到 Elasticsearch 服务

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Consulting Engineer

Florian Kelbert

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Florian Kelbert

Consulting Engineer, Elastic

如何将数据采集到 Elasticsearch 服务