学习如何建立从 Google Operations 到 Elastic Stack 的数据流式传输管道，获得跨整个基础架构（从云端到本地部署）的统一资源性能视图。

Google Operations 套件（此前为 Stackdriver）是一个中央存储库，从 Google Cloud 资源接收日志、指标和应用程序跟踪数据。这些资源可以包括计算引擎、应用引擎、Dataflow、Dataproc 及其 SaaS 产品与服务，例如 BigQuery 等。&nbsp; 通过向 Elastic 传输该数据，就可以获得跨整个基础架构（从云端到本地部署）的统一资源性能视图。&nbsp;
本博文中，我们将建立一个从 Google Operations 到 <a href="/cn/elastic-stack">Elastic Stack</a> 的数据流式传输管道，便于您分析 Google Cloud 日志以及其他可观测性数据。本演示中，我们将使用 Filebeat <a href="/guide/en/beats/filebeat/7.9/filebeat-module-googlecloud.html">Google Cloud 模块</a>将 Google Cloud 数据传输到<a href="/cn/elasticsearch/service">免费试用版 Elastic Cloud</a> 中进行分析。大家要跟上哦！
<h2>高级别数据流</h2>本演示中，我们将从 Google Cloud 资源向 Google Cloud Operations 传输审计、防火墙和 VPC 流日志。接着我们将创建接收器、Pub/Sub 主题，由 Filebeat 订阅，并将数据传输到 Elastic Cloud，再使用 Elasticsearch 和 Kibana 做进一步的分析。此示意图提供了数据流概览，说明了数据进入我们集群的路径：
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte779b78963dac852/5f773e52bd99c90e9ce906ef/google-operations-blog-data-path.png" data-sys-asset-uid="blte779b78963dac852" alt="进入我们 Elasticsearch 集群的数据流" "="">
<h2>Google Cloud 日志设置和配置</h2>Google Cloud 为启用服务日志提供一个富 UI，而这些日志都会在独立的控制台中进行配置。在下面的步骤中，我们将启用多个日志，创建接收器和主题，然后设置服务账号和凭据。
 <h3>VPC 流日志</h3>进入 VPC 网络页面，选择一个 VPC，然后从流日志下拉列表中单击配置，即可启用 VPC 流日志。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt928dde8480514330/5f773e7fdac9270efe35f682/google-operations-blog-vpc-flow-logs.png" data-sys-asset-uid="blt928dde8480514330" alt="流日志下拉列表" style="display: block; margin: auto; width: 500px;">
虽然价格不是特别昂贵，但运维本身也会增加成本，所以请根据自己的要求选择聚合时间间隔和采样速率。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt84e3bfe9410e4467/5f773e9ced21e20f14409075/google-operations-blog-flow-logs-agg-interval.png" data-sys-asset-uid="blt84e3bfe9410e4467" alt="VPC 流日志可能会增加成本" style="display: block; margin: auto; width: 500px;">
<h3>审计日志</h3>审计日志可以在 IAM 和管理菜单中进行配置：
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1e4aef1279fdd55c/5f773eb6af58110efed268d7/google-operations-blog-audit-logs.png" data-sys-asset-uid="blt1e4aef1279fdd55c" alt="审计日志配置" style="display: block; margin: auto; width: 500px;">
<h3>防火墙日志</h3>最后，防火墙日志可在防火墙规则中进行控制：
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta75222c53c133cb1/5f773eccbe6df80f0910b47f/google-operations-blog-firewall-logs.png" data-sys-asset-uid="blta75222c53c133cb1" alt="防火墙日志配置" style="display: block; margin: auto; width: 500px;">
<h3>日志接收器和 Pub/Sub</h3>配置完成各日志区域后，便可在日志查看器中为每个日志创建接收器：
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt9831df9c6d913ebe/5f773ee09d46c20f09175a0c/google-operations-blog-logs-viewer.png" data-sys-asset-uid="blt9831df9c6d913ebe" alt="日志查看器" "="">
如下所示，为接收器服务选择 Cloud PubSub 主题。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1322ec4ebbb01464/5f773ef34b7a2b0e86b02ce0/google-operations-blog-sink-service.png" data-sys-asset-uid="blt1322ec4ebbb01464" alt="选择接收器服务" style="display: block; margin: auto; width: 500px;">
然后提供接收器名称和 Pub/Sub 主题，可以将其发送至已有主题，也可以创建新主题：
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt95686523f0af7ebd/5f773f06df178b0ea9847523/google-operations-blog-edit-sink.png" data-sys-asset-uid="blt95686523f0af7ebd" alt="编辑接收器" style="display: block; margin: auto; width: 500px;">
接收器和主题创建完成后，下面开始创建 Pub/Sub 主题订阅：

<table style="border:none; text-align:center; width:100%">
<tbody>
<tr>
	<td style="border:none; vertical-align:middle;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5257eae1ea6eea86/5f773f1ee69fa40ef3181b07/google-operations-blog-subscriptions.png" data-sys-asset-uid="blt5257eae1ea6eea86" alt="创建订阅" style="display: block; margin: auto; width: 500px;">
	</td>
	<td style="border:none; vertical-align:middle;"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt855e039c0aab327d/5f773f4af11ee70e9e14cee4/google-operations-blog-add_subscription-to-topic.png" data-sys-asset-uid="blt855e039c0aab327d" alt="增加主题订阅" style="display: block; margin: auto; width: 500px;">
	</td>
</tr>
</tbody>
</table>根据您的要求配置订阅。
<h3>服务账号和凭据</h3>最后但也很重要，我们要创建一个服务账号和凭据文件。
选择 Pub/Sub 编辑器角色；条件可选并可用于筛选主题。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte974c709d3cb691b/5f773f5fe69fa40ef3181b0b/google-operations-blog-create-service-account.png" data-sys-asset-uid="blte974c709d3cb691b" alt="创建服务账号" style="display: block; margin: auto; width: 500px;">
服务账号创建完成后，我们将生成一个 JSON 密钥，上传至 Filebeat 主机，并存储在 Filebeat 配置目录 <code>/etc/filebeat</code> 中。Filebeat 将使用该密钥来验证服务账号。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt37d495d0e6d67ecc/5f773f77879de80eb41afe58/google-operations-blog-create-private-key.png" data-sys-asset-uid="blt37d495d0e6d67ecc" alt="创建私有密钥" style="display: block; margin: auto; width: 500px;">
现在我们已经完成了 Google Cloud 配置。
 <h2>安装和配置 Filebeat</h2>Filebeat 用于收集日志并传输到我们的 Elasticsearch 集群中。在本博文中，我们将使用 CentOS，但您也可以根据自己的操作系统安装 Filebeat，只需按照<a href="/guide/en/beats/filebeat/7.9/filebeat-installation-configuration.html">我们 Filebeat 文档中的简单步骤操作即可</a>。
 <h3>启用 Google Cloud 模块</h3>Filebeat 安装完成后，我们需要启用 <code>googlecloud</code> 模块：
<pre class="prettyprint">filebeat modules enable googlecloud
</pre>将此前创建的 JSON 凭据文件复制到 <code>/etc/filebeat/</code>，然后修改 <code>/etc/filebeat/modules.d/googlecloud.yml</code> 文件，使之匹配您的 Google Cloud 设置。
部分配置已完成；例如所有三个模块均已列出，所有需要的配置也已键入，您只需要根据自己的设置更新成相应的值即可。
<pre class="prettyprint"># 模块：googlecloud
# 文档：https://www.elastic.co/guide/en/beats/filebeat/7.9/filebeat-module-googlecloud.html
- module: googlecloud
 vpcflow:
 enabled: true
 # Google Cloud 项目 ID。
 var.project_id: els-dummy
 # 包含 VPC 流日志的 Google Pub/Sub 主题。Stackdriver 必须
 # 加以配置，将该主题用作 VPC 流日志的接收器。
 var.topic: els-gcp-vpc-flow-logs
 # 针对该主题的 Google Pub/Sub 订阅。Filebeat 将创建
 # 该订阅（如果订阅不存在）。
 var.subscription_name: els-gcp-vpc-flow-logs-sub
 # 针对服务账号的凭据文件，以及
 # 订阅读取授权。
 var.credentials_file: /etc/filebeat/kdr-gcp-logs-sa-editor-only.json
 firewall:
 enabled: true
 # Google Cloud 项目 ID。
 var.project_id: els-dummy
 # 包含防火墙日志的 Google Pub/Sub 主题。Stackdriver 必须
 # 加以配置，将该主题用作防火墙日志的接收器。
 var.topic: els-gcp-firewall-logs
 # 针对该主题的 Google Pub/Sub 订阅。Filebeat 将创建
 # 该订阅（如果订阅不存在）。
 var.subscription_name: els-gcp-firewall-logs-sub
 # 针对服务账号的凭据文件，以及
 # 订阅读取授权。
 var.credentials_file: /etc/filebeat/kdr-gcp-logs-sa-editor-only.json
 audit:
 enabled: true
 # Google Cloud 项目 ID。
 var.project_id: els-dummy
 # 包含审计日志的 Google Pub/Sub 主题。Stackdriver 必须
 # 加以配置，将该主题用作防火墙日志的接收器。
 var.topic: els-gcp-audit-logs
 # 针对该主题的 Google Pub/Sub 订阅。Filebeat 将创建
 # 该订阅（如果订阅不存在）。
 var.subscription_name: els-gcp-audit-logs-sub
 # 针对服务账号的凭据文件，以及
 # 订阅读取授权。
 var.credentials_file: /etc/filebeat/kdr-gcp-logs-sa-editor-only.json
</pre>最后是配置 Filebeat，使之指向您的 Kibana 和 Elasticsearch 终端。
可按照 <a href="/guide/en/beats/filebeat/7.9/setup-kibana-endpoint.html">Kibana</a> 和 <a href="/guide/en/beats/filebeat/7.9/elasticsearch-output.html">Elasticsearch</a> 终端文档，在 <code>filebeat.yml</code> 文件中设置 <code>setup.dashboards.enabled: true</code>，以便加载适用于 Google Cloud 的预创建仪表板。
请注意，Filebeat 提供各种配有预创建仪表板的模块。本博文中我们只看一下 Google Cloud 模块的情况，但您完全可以探索其他<a href="/guide/en/beats/filebeat/7.9/filebeat-modules.html">可用 Filebeat 模块</a>，了解可能适用于自己的资源。
 <h3>启动 Filebeat</h3>最后，我们可以启动 Filebeat，并添加 <code>-e</code> 旗标，使之轻松将日志输出至控制台：
<pre class="prettyprint">sudo service filebeat start -e
</pre><h2>Kibana 中的数据探索</h2>现在 Filebeat 正在向您的集群传输数据，我们在 Kibana 边栏导航中找到仪表板，如果有其他模块的仪表板，可以搜索 <code>google</code> 找到新启用模块的仪表板。本例中，我们将看到 Google Cloud“审计”仪表板。
此仪表板中您会看到源位置动态映射、随时间推移的事件结果、事件操作细目等可视化内容。通过这些预创建的交互型可视化内容，可非常直观地探索日志数据。如果是首次设置 Filebeat，或者运行较老版本的 Elastic Stack（Google Cloud 模块在 7.7 GA 版本中就已添加），则需要按照以下<a href="/guide/en/beats/filebeat/7.9/load-kibana-dashboards.html">说明</a>下载仪表板。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6f811a846debd0fe/5f7740b702e6b80ebf9002fa/google-operations-blog-kibana-dashboard.png" data-sys-asset-uid="blt6f811a846debd0fe" alt="Kibana 中的数据探索" "="">
此外，Elastic 还通过<a href="/cn/log-monitoring">日志监测应用程序</a>提供<a href="/cn/observability">可观测性</a>解决方案。日志索引可进行配置；默认值为 <code>filebeat-*</code> 和 <code>logs-*</code>。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt830f0aca061c7c87/5f7741214b7a2b0e86b02cfc/google-operations-blog-log-settings.png" data-sys-asset-uid="blt830f0aca061c7c87" alt="Logs 应用中的日志设置" "="">
在设置中配置完成正确的索引模式后，便可以在 Logs 应用中探索日志，其允许查看日志详细信息，更重要的是，还可以为异常行为定义 Machine Learning 工作、分类数据并<a href="/guide/en/kibana/7.9/alerting-getting-started.html">创建警报</a>。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc7b8470582955f9b/5f7760b6df178b0ea984762b/google-operations-blog-elastic-logs-app.png" data-sys-asset-uid="bltc7b8470582955f9b" alt="Elastic Logs 应用" style="display: block; margin: auto; width:500px;">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56a422d6f7648d6f/5f774764df178b0ea98475ab/google-operations-blog-edit-alert.png" data-sys-asset-uid="blt56a422d6f7648d6f" alt="编辑警报" style="display: block; margin: auto; width:500px;">
<h2>拓展 Google Operations (stackdriver) 日志</h2>上面我们讨论了如何为那些具有 Filebeat 模块的日志传输运维日志，但其他没有专属 Filebeat 模块的日志呢？接下来我们讨论如何将这些日志也传输到 Elastic 中，以便与其他日志数据一同查看。
从 Google Cloud 设置和配置角度而言，包括流在内的所有内容都没有变动。我们创建接收器、主题、订阅、sa 以及 JSON 密钥。差别仅在于 Filebeat 配置上。
后台运行时，模块的运行要依靠输入和预配置、来源级别解析以及某些情况下的采集管道。Filebeat 模块会简化常见日志格式的收集、解析和可视化，但对于 Filebeat 输入，有时则需要额外解析。
<code>googlecloud</code> 模块使用底层的 <code>google-pubsub</code> 输入，并提供一些模块特定的采集管道。它支持直接使用 <code>vpcflow</code>、<code>audit</code>和<code>防火墙</code>日志。
<h3>配置</h3>我们将使用 Filebeat 输入来订阅这些主题，而不是 Filebeat 模块。
向您的 <code>filebeat.yml</code> 文件中添加：
<pre class="prettyprint">filebeat.inputs:
- type: google-pubsub
 enabled: true
 pipeline: gcp-pubsub-parse-message-field
 tags: ["gcp-pubsub"]
 project_id: elastic-consulting
 topic: gcp-gke-container-logs
 subscription.name: gcp-gke-container-logs-sub
 credentials_file: /etc/filebeat/kdr-gcp-logs-sa-editor-only.json
</pre>我们在该输入中指定拉取的主题以及要使用的订阅。同时也指定随后会定义的凭据文件和采集管道。
<h3>采集管道</h3><a href="/guide/en/elasticsearch/reference/7.9/ingest.html">采集管道</a>就是一系列按照声明的相同顺序而执行的处理器。
Google Cloud Operations 是以 JSON 格式存储日志和消息体，也意味着只需要在管道中添加一个 JSON 处理器，就可以将消息字段中的数据提取到 Elasticsearch 的单独字段。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta416fd4cd4b3311a/5f77425602e6b80ebf900304/google-operations-blog-edit-pipeline.png" data-sys-asset-uid="blta416fd4cd4b3311a" alt="编辑管道" style="display: block; margin: auto; width: 500px;">
在该管道中，我们有一个 JSON 处理器，其从文件<code>消息</code>字段中收集数据，并提取到称为<code>日志</code>的目标字段中。&nbsp;
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltee98254bbf66c245/5f774267e69fa40ef3181b27/google-operations-blog-configure-processor.png" data-sys-asset-uid="bltee98254bbf66c245" alt="配置处理器" style="display: block; margin: auto; width: 500px;">
同时还有一个 Failure 处理器，用于处理该管道中的异常，我们在这里附加一个标签。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt369049ad50d5adc7/5f774280bd99c90e9ce9071d/google-operations-blog-configure-on-failure-processor.png" data-sys-asset-uid="blt369049ad50d5adc7" alt="配置 on-failure 处理器" style="display: block; margin: auto; width: 500px;">
从 7.8 版本开始，就已经支持从 Kibana 的 UI 创建采集管道，路径为 Stack Management → Ingest Node Pipelines。如果使用的是较早期版本，可使用 API。以下是该管道适用的等效 API。
<pre class="prettyprint">PUT _ingest/pipeline/gcp-pubsub-parse-message-field 
{ 
 "version":1,
 "description":"Parse message field coming from Google pub Sub Input",
 "processors": [ 
 { 
 "json": { 
 "field": "message",
 "target_field": "log",
 "description":"Parse message field" 
 } 
 } 
 ],
 "on_failure": [ 
 { 
 "append": { 
 "field": "tags",
 "value": [ 
 "gcp-pubsub-message-parse-failure" 
 ],
 "description":"Append parsing failure to tag" 
 } 
 } 
 ] 
}
</pre>我们将保存此管道，只要在 google-pubsub 输入中配置有相同的管道，便可在 Kibana 中开始查看解析的日志。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltadae0da0051c44ec/5f774299f11ee70e9e14cf0c/google-operations-blog-parsed-logs.png" data-sys-asset-uid="bltadae0da0051c44ec" alt="Kibana 中的解析日志" "="">
标记为红色的字段（消息字段）将解析到日志字段中，所有子字段将被进一步嵌套，标记为绿色。
也可以选择使用删除处理器，删除采集管道 JSON 中处理器之后的消息字段；如此可缩小文件大小。
<h2>总结</h2>以上就是本博文的全部内容，感谢阅读。如有问题，请在我们的<a href="https://discuss.elastic.co">讨论论坛</a>中进行交流；欢迎提问。或者可以在我们的点播网络研讨会中深入了解 <a href="/cn/webinars/introduction-elk-stack">Elastic 日志和可观测性</a>相关内容。
如果想要尝试本演示操作，可在 <a href="/cn/elasticsearch/service">Elastic Cloud 上注册免费试用版 Elasticsearch Service </a>或者<a href="/cn/start">下载最新版本</a>自行管理。

blog-banner-cloud-gcp.png

blog-thumb-cloud-gcp.png

Monitoring Google Cloud with the Elastic Stack and Google Operations

使用 Elastic Stack 和 Google Operations 监测 Google Cloud

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Kapil Dawar

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Kapil Dawar

Elastic

使用 Elastic Stack 和 Google Operations 监测 Google Cloud

Sign up for Elastic Cloud free trial