想要监测 Kafka 集群？Filebeat 和 Metricbeat 中的 Kafka 模块能够简化日志和指标采集方式的配置过程，还能让您创建 Kibana 仪表板。

<p>我们最早于 2016 年发布了<a href="/cn/blog/monitoring-kafka-with-elastic-stack-1-filebeat">通过 Filebeat 监测 Kafka</a> 的文章。6.5 推出以后，Beats 团队可以支持 <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">Kafka 模块</a>。这一模块能够自动完成监测 Kafka 集群时涉及的很多工作。
</p><p>在本篇文章中，我们关注的是使用 Filebeat 和 Metricbeat 中的 Kafka 模块来收集日志和指标数据。我们会将数据采集到在 <a href="/cn/cloud/elasticsearch-service">Elasticsearch Service</a> 上托管的一个集群内，还会探索由 Beats 模块提供的 Kibana 仪表板。
</p><p>我们在本篇博文中使用的是 Elastic Stack 7.1。我们还在 <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a> 上提供了一个示例环境。
</p><h2>为何使用模块？</h2><p>Logstash Grok 筛选工具十分复杂，但凡用过的人都会因能通过一个 Filebeat 模块来无比轻松地设置日志收集方式而备感欣喜。在监测配置中使用模块还有一些其他好处：
</p><ul>
	<li>简化日志和指标收集方式的配置过程</li>
	<li>通过 <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a> 对文档进行标准化</li>
	<li>易于理解的索引模板，提供最佳字段数据类型</li>
	<li>恰当的索引规模。Beats 通过 <a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">Rollover API</a> 来确保 Beats 索引内分片的大小恰当。</li>
</ul><p>请参阅文档了解 <a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat</a> 和 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat</a> 支持的完整模块列表。
</p><h2>环境介绍</h2><p>我们的示例配置是包括三个节点的 Kafka 集群（kafka0、kafka1 和 kafka2）。每个节点都运行 Kafka 2.1.1，同时还会使用 Filebeat和 Metricbeat 来监测节点状况。Beats 通过 <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud ID</a> 来配置，从而将数据发送到 Elasticsearch Service 集群。Filebeat 和 Metricbeat 中自带的 Kafka 模块可在 Kibana 中设置仪表板以实现可视化。备注，如果您希望在自己的集群中尝试完成此过程，可以<a href="/cn/cloud/elasticsearch-service/signup">在 14 天内免费试用</a> <a href="/cn/cloud/elasticsearch-service">Elasticsearch Service</a>，试用期间能体验所有炫酷功能。
</p><h2>设置 Beats</h2><p>接下来，您将要配置并启动 Beats。
</p><h3>安装并启用 Beats 服务</h3><p>我们将会按照《入门指南》中的说明来安装 <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a> 和 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a>。由于运行的是 Ubuntu，我们将会通过 <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">APT 存储库</a>来安装 Beats。
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>配置 Elasticsearch Service 部署的 Cloud ID</h3><p>从 Elastic Cloud 控制台中复制 Cloud ID，然后用其来配置 <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a> 和 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a> 的输出。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="复制并配置 Cloud ID" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>在 Filebeat 和 Metricbeat 中启用 Kafka 和 System（系统）模块</h3><p>接下来，我们需要为 Filebeat 和 Metricbeat 启用 Kafka 和 System（系统）模块。
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>启用后，我们便可以运行 <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">Beats 设置</a>。这会配置模块所用的索引模板和 Kibana 仪表板。
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>启动 Beats！</h3><p>好啦，现在一切配置完毕，我们来启动 Filebeat 和 Metricbeat。
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>探索监测数据</h2><p>默认日志仪表板显示下列内容：
</p><ul>
	<li>Kafka 集群最近遇到的例外情况。例外情况会按照例外情况的类别和完整的例外情况详情来进行分组</li>
	<li>按照级别显示日志概览，以及完整日志详情。</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="默认日志仪表板，显示的是监测数据">
</p><ul>
</ul><p>Filebeat 按照 <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a> 来采集数据，允许我们一直将筛选条件细化到主机级别。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="线状图，正在按类别显示堆栈追踪消息的数量">
</p><p>Metricbeat 提供的仪表板显示了 Kafka 集群内任何主题的当前状态。我们还提供下拉菜单来对仪表板进行筛选，从而仅保留一个主题。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Metricbeat 生成的仪表板，显示的是 Kafka 集群概览">
</p><p>消费者延时和偏移量可视化会显示消费者在具体主题上是否落后。各分区偏移量还会显示单个分区是否落后。
</p><p>Metricbeat 的默认配置会收集两个数据集，分别是 kafka.partition 和 kafka.consumergroup。通过这些数据集，您能获得 Kafka 集群及其消费者状态的相关洞见。
</p><p>kafka.partition 数据集包括集群内分区状态的完整详情。这一数据能够用来：
</p><ul>
	<li>构建仪表板，显示分区与集群节点之间的映射方式</li>
	<li>对尚无同步副本分片的分区发送提醒</li>
	<li>跟踪一段时间内的分区分配情况</li>
	<li>对一段时间内的分区偏移量限值进行可视化。</li>
</ul><p>完整的 kafka.partition 文档如下所示。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="完整的 kafka.partition 文档，列出了一个集群内分区的完整详情">
</p><p>kafka.consumergroup 数据集会采集单个消费者的状态。这一数据可用来显示单个消费者正在从哪个分区读取内容，以及该消费者的当前偏移量。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="kafka.consumergroup 文档，显示的是单个消费者的状态">
</p><h2>总结</h2>Filebeat 和 Metricbeat 模块为您设置 Kafka 集群的监测方式提供了一种简单方法。一般而言，Beats 模块能够简化日志和指标收集方式的配置过程。很多模块针对如何利用这些数据提供了示例仪表板。Filebeat 和 Metricbeat 还会设置 Elasticsearch 索引以实现最佳性能。您现在便可下载 <a href="/cn/downloads/beats/filebeat">Filebeat</a> 和 <a href="/cn/downloads/beats/metricbeat">Metricbeat</a> 并开始将日志和指标发送到 <a href="https://cloud.elastic.co/">Elasticsearch Service</a> 或者本地 Elasticsearch 集群。

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

通过 Elasticsearch、Kibana 和 Beats 监测 Kafka

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Toby Brain

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Toby Brain

通过 Elasticsearch、Kibana 和 Beats 监测 Kafka

Sign up for Elastic Cloud free trial