Sie überwachen Kafka-Cluster? Die Kafka-Module in Filebeat und Metricbeat vereinfachen die Konfiguration der Erfassung von Logdaten und Metriken und erstellen

<p>Unseren ersten Post zur Überwachung von <a href="/de/blog/monitoring-kafka-with-elastic-stack-1-filebeat">Kafka mit Filebeat</a> gab es 2016. Seit der Version 6.5 unterstützt das Beats-Team ein <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">Kafka-Modul</a>. Dieses Modul automatisiert einen Großteil der Arbeit, die mit dem Überwachen von Kafka-Clustern verbunden ist.
</p><p>In diesem Blogpost soll es um das Erfassen von Logdaten und Metriken mit den Kafka-Modulen in Filebeat und Metricbeat gehen. Wir werden diese Daten in einen auf dem <a href="/de/cloud/elasticsearch-service">Elasticsearch Service</a> gehosteten Cluster ingestieren und uns die von den Beats-Modulen bereitgestellten Kibana-Dashboards ansehen.
</p><p>Dieser Blogpost basiert auf der Version 7.1 des Elastic Stack. Eine Beispielumgebung gibt es bei <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a>.
</p><h2>Warum Module?</h2><p>Wer schon einmal mit komplexen Logstash-Grok-Filtern gearbeitet hat, wird schnell schätzen lernen, wie einfach die Einrichtung der Logdatenerfassung mit einem Filebeat-Modul ist. Die Nutzung von Modulen in einer Monitoring-Konfiguration hat aber auch noch weitere Vorteile:
</p><ul>
	<li>einfachere Konfiguration der Erfassung von Logdaten und Metriken</li>
	<li><a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a> ermöglicht die Standardisierung von Dokumenten</li>
	<li>zweckmäßige Indexvorlagen zur Bereitstellung optimaler Felddatentypen</li>
	<li>angemessene Größenanpassung für Indizes; Beats nutzen zur Gewährleistung vernünftiger Shard-Größen für Beats-Indizes die <a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">Rollover-API</a></li>
</ul><p>Eine vollständige Liste der unterstützten Module finden Sie in der <a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat-Dokumentation</a> und in der <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat-Dokumentation</a>.
</p><h2>Einführung in die Umgebung</h2><p>Unser Beispiel-Setup besteht aus einem Kafka-Cluster mit den drei Knoten „kafka0“, „kafka1“ und „kafka2“. Auf jedem Knoten werden Kafka 2.1.1 sowie zur Knotenüberwachung Filebeat und Metricbeat ausgeführt. Die Beats werden per <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud-ID</a> so konfiguriert, dass sie Daten an unseren Elasticsearch Service-Cluster senden. Die Kafka-Module in Filebeat und Metricbeat erstellen Dashboards in Kibana für die Visualisierung der Daten. Ein kleiner Hinweis: Wenn Sie sich ansehen möchten, wie dies in Ihrem eigenen Cluster funktioniert, können Sie den <a href="/de/cloud/elasticsearch-service">Elasticsearch Service</a> mit all seinen Funktionen <a href="/de/cloud/elasticsearch-service/signup">14 Tage lang kostenlos ausprobieren</a>.
</p><h2>Einrichten der Beats</h2><p>Als Nächstes konfigurieren Sie die Beats und starten sie dann.
</p><h3>Installieren und Aktivieren der Beats-Dienste</h3><p>Zur Installation von <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a> und <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a> folgen wir der Anleitung in „Erste Schritte“. Da wir mit Ubuntu arbeiten, installieren wir die Beats über das <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">APT-Repository</a>.
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>Konfigurieren der Cloud-ID unseres Elasticsearch Service-Deployments</h3><p>Kopieren Sie die Cloud-ID aus der Elastic Cloud-Konsole und nutzen Sie sie zum Konfigurieren des Outputs für <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a> und <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a>.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="Kopieren und Konfigurieren der Cloud-ID" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>Aktivieren des Kafka- und des Systemmoduls in Filebeat und Metricbeat</h3><p>Als Nächstes müssen wir das Kafka-Modul und das Systemmodul für beide Beats aktivieren.
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>Anschließend können wir die <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">Beats-Einrichtung</a> starten. Dabei werden die von den Modulen verwendeten Indexvorlagen und Kibana-Dashboards konfiguriert.
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>Die Beats sind startbereit</h3><p>Nachdem alles konfiguriert wurde, können wir jetzt Filebeat und Metricbeat starten.
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>Erkunden der Monitoring-Daten</h2><p>Im Standard-Logging-Dashboard wird Folgendes angezeigt:
</p><ul>
	<li>zuletzt vom Kafka-Cluster gefundene Ausnahmen, gruppiert nach Ausnahmeklasse und unter Angabe aller Details zur Ausnahme</li>
	<li>ein Überblick über den Logdurchsatz nach Ebene unter Angabe aller Details zum Log</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="Standardmäßiges Logging-Dashboard mit Monitoring-Daten">
</p><ul>
</ul><p>Filebeat ingestiert Daten unter Berücksichtigung des <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a>, sodass wir bis hinunter auf die Host-Ebene filtern können.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="Liniendiagramm zur Darstellung der Stacktraces nach Klasse">
</p><p>Das von Metricbeat bereitgestellte Dashboard zeigt den aktuellen Status der Themen innerhalb des Kafka-Clusters. Über ein Drop-down-Menü kann die Dashboard-Anzeige auf ein einzelnes Thema eingeschränkt werden.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Von Metricbeat erstelltes Dashboard mit einem Überblick über den Kafka-Cluster">
</p><p>Die Visualisierung von „Consumer Lag“ und „Offset“ zeigen, ob Verbraucher bei bestimmten Themen ins Hintertreffen geraten. Den partitionsspezifischen Offset-Angaben kann entnommen werden, ob eine bestimmte Partition zurückbleibt.
</p><p>In der standardmäßigen Metricbeat-Konfiguration werden die beiden Datensätze „kafka.partition“ und „kafka.consumergroup“ erfasst. Diese Datensätze geben Einblick in den Zustand des jeweiligen Kafka-Clusters und seiner Verbraucher.
</p><p>Der Datensatz „kafka.partition“ enthält alle Einzelheiten über den Zustand der Partitionen im Cluster. Diese Daten können eingesetzt werden, um
</p><ul>
	<li>Dashboards zur Visualisierung der Zuordnung zwischen Partitionen und Cluster-Knoten zu erstellen,</li>
	<li>auf Partitionen hinzuweisen, die nicht synchron laufen,</li>
	<li>die Partitionszuweisung im Laufe der Zeit zu verfolgen und</li>
	<li>Partitions-Offset-Grenzwerte über einen bestimmten Zeitraum hinweg zu visualisieren. </li>
</ul><p>Unten sehen Sie ein vollständiges „kafka.partition“-Dokument.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="Vollständiges „kafka.partition“-Dokument mit allen Einzelheiten zu den Partitionen im Cluster">
</p><p>Der Datensatz „kafka.consumergroup“ erfasst den Zustand eines einzelnen Verbrauchers. Diese Daten können genutzt werden, um darzustellen, aus welchen Partitionen der Verbraucher liest und wie es mit den aktuellen Offsets dieses Verbrauchers aussieht.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="„kafka.consumergroup“-Dokument mit Anzeige des Zustands eines einzelnen Verbrauchers">
</p><h2>Fazit</h2>Das Filebeat- und das Metricbeat-Modul bieten eine einfache Methode für das Einrichten der Überwachung eines Kafka-Clusters. Generell lässt sich sagen, dass Beats-Module die Konfiguration der Erfassung von Logdaten und Metriken vereinfachen. Viele Module stellen Beispiel-Dashboards für die Nutzung dieser Daten bereit. Filebeat und Metricbeat richten auch Elasticsearch-Indizes für optimale Performance ein. Sie können <a href="/de/downloads/beats/filebeat">Filebeat</a> und <a href="/de/downloads/beats/metricbeat">Metricbeat</a> herunterladen und noch heute damit beginnen, Ihre Logdaten und Metriken an den <a href="https://cloud.elastic.co/">Elasticsearch Service</a> oder Ihren lokalen Elasticsearch-Cluster zu senden.

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

Überwachen von Kafka mit Elasticsearch, Kibana und Beats

Toby Brain

Articles By

Register to Attend

Sign In to Attend

Register to Watch

You'll also receive an email with related content

Watch Now

Learn More

Contact Info

See All Posts

What to explore next...

Load more news

Load more press releases

Load More

View more learning opportunities

More

Date

Location

Agenda

Hosted by

Related workshops

View next

Translate Content

Articles by Toby Brain

Überwachen von Kafka mit Elasticsearch, Kibana und Beats

Produkte

Unternehmen

Ressourcen