Sie überwachen Kafka-Cluster? Die Kafka-Module in Filebeat und Metricbeat vereinfachen die Konfiguration der Erfassung von Logdaten und Metriken und erstellen

<p>Unseren ersten Post zur Überwachung von <a href="/de/blog/monitoring-kafka-with-elastic-stack-1-filebeat">Kafka mit Filebeat</a> gab es 2016. Seit der Version 6.5 unterstützt das Beats-Team ein <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">Kafka-Modul</a>. Dieses Modul automatisiert einen Großteil der Arbeit, die mit dem Überwachen von Kafka-Clustern verbunden ist.
</p><p>In diesem Blogpost soll es um das Erfassen von Logdaten und Metriken mit den Kafka-Modulen in Filebeat und Metricbeat gehen. Wir werden diese Daten in einen auf dem <a href="/de/cloud/elasticsearch-service">Elasticsearch Service</a> gehosteten Cluster ingestieren und uns die von den Beats-Modulen bereitgestellten Kibana-Dashboards ansehen.
</p><p>Dieser Blogpost basiert auf der Version 7.1 des Elastic Stack. Eine Beispielumgebung gibt es bei <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a>.
</p><h2>Warum Module?</h2><p>Wer schon einmal mit komplexen Logstash-Grok-Filtern gearbeitet hat, wird schnell schätzen lernen, wie einfach die Einrichtung der Logdatenerfassung mit einem Filebeat-Modul ist. Die Nutzung von Modulen in einer Monitoring-Konfiguration hat aber auch noch weitere Vorteile:
</p><ul>
	<li>einfachere Konfiguration der Erfassung von Logdaten und Metriken</li>
	<li><a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a> ermöglicht die Standardisierung von Dokumenten</li>
	<li>zweckmäßige Indexvorlagen zur Bereitstellung optimaler Felddatentypen</li>
	<li>angemessene Größenanpassung für Indizes; Beats nutzen zur Gewährleistung vernünftiger Shard-Größen für Beats-Indizes die <a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">Rollover-API</a></li>
</ul><p>Eine vollständige Liste der unterstützten Module finden Sie in der <a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat-Dokumentation</a> und in der <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat-Dokumentation</a>.
</p><h2>Einführung in die Umgebung</h2><p>Unser Beispiel-Setup besteht aus einem Kafka-Cluster mit den drei Knoten „kafka0“, „kafka1“ und „kafka2“. Auf jedem Knoten werden Kafka 2.1.1 sowie zur Knotenüberwachung Filebeat und Metricbeat ausgeführt. Die Beats werden per <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud-ID</a> so konfiguriert, dass sie Daten an unseren Elasticsearch Service-Cluster senden. Die Kafka-Module in Filebeat und Metricbeat erstellen Dashboards in Kibana für die Visualisierung der Daten. Ein kleiner Hinweis: Wenn Sie sich ansehen möchten, wie dies in Ihrem eigenen Cluster funktioniert, können Sie den <a href="/de/cloud/elasticsearch-service">Elasticsearch Service</a> mit all seinen Funktionen <a href="/de/cloud/elasticsearch-service/signup">14 Tage lang kostenlos ausprobieren</a>.
</p><h2>Einrichten der Beats</h2><p>Als Nächstes konfigurieren Sie die Beats und starten sie dann.
</p><h3>Installieren und Aktivieren der Beats-Dienste</h3><p>Zur Installation von <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a> und <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a> folgen wir der Anleitung in „Erste Schritte“. Da wir mit Ubuntu arbeiten, installieren wir die Beats über das <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">APT-Repository</a>.
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>Konfigurieren der Cloud-ID unseres Elasticsearch Service-Deployments</h3><p>Kopieren Sie die Cloud-ID aus der Elastic Cloud-Konsole und nutzen Sie sie zum Konfigurieren des Outputs für <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a> und <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a>.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="Kopieren und Konfigurieren der Cloud-ID" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>Aktivieren des Kafka- und des Systemmoduls in Filebeat und Metricbeat</h3><p>Als Nächstes müssen wir das Kafka-Modul und das Systemmodul für beide Beats aktivieren.
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>Anschließend können wir die <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">Beats-Einrichtung</a> starten. Dabei werden die von den Modulen verwendeten Indexvorlagen und Kibana-Dashboards konfiguriert.
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>Die Beats sind startbereit</h3><p>Nachdem alles konfiguriert wurde, können wir jetzt Filebeat und Metricbeat starten.
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>Erkunden der Monitoring-Daten</h2><p>Im Standard-Logging-Dashboard wird Folgendes angezeigt:
</p><ul>
	<li>zuletzt vom Kafka-Cluster gefundene Ausnahmen, gruppiert nach Ausnahmeklasse und unter Angabe aller Details zur Ausnahme</li>
	<li>ein Überblick über den Logdurchsatz nach Ebene unter Angabe aller Details zum Log</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="Standardmäßiges Logging-Dashboard mit Monitoring-Daten">
</p><ul>
</ul><p>Filebeat ingestiert Daten unter Berücksichtigung des <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a>, sodass wir bis hinunter auf die Host-Ebene filtern können.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="Liniendiagramm zur Darstellung der Stacktraces nach Klasse">
</p><p>Das von Metricbeat bereitgestellte Dashboard zeigt den aktuellen Status der Themen innerhalb des Kafka-Clusters. Über ein Drop-down-Menü kann die Dashboard-Anzeige auf ein einzelnes Thema eingeschränkt werden.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Von Metricbeat erstelltes Dashboard mit einem Überblick über den Kafka-Cluster">
</p><p>Die Visualisierung von „Consumer Lag“ und „Offset“ zeigen, ob Verbraucher bei bestimmten Themen ins Hintertreffen geraten. Den partitionsspezifischen Offset-Angaben kann entnommen werden, ob eine bestimmte Partition zurückbleibt.
</p><p>In der standardmäßigen Metricbeat-Konfiguration werden die beiden Datensätze „kafka.partition“ und „kafka.consumergroup“ erfasst. Diese Datensätze geben Einblick in den Zustand des jeweiligen Kafka-Clusters und seiner Verbraucher.
</p><p>Der Datensatz „kafka.partition“ enthält alle Einzelheiten über den Zustand der Partitionen im Cluster. Diese Daten können eingesetzt werden, um
</p><ul>
	<li>Dashboards zur Visualisierung der Zuordnung zwischen Partitionen und Cluster-Knoten zu erstellen,</li>
	<li>auf Partitionen hinzuweisen, die nicht synchron laufen,</li>
	<li>die Partitionszuweisung im Laufe der Zeit zu verfolgen und</li>
	<li>Partitions-Offset-Grenzwerte über einen bestimmten Zeitraum hinweg zu visualisieren. </li>
</ul><p>Unten sehen Sie ein vollständiges „kafka.partition“-Dokument.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="Vollständiges „kafka.partition“-Dokument mit allen Einzelheiten zu den Partitionen im Cluster">
</p><p>Der Datensatz „kafka.consumergroup“ erfasst den Zustand eines einzelnen Verbrauchers. Diese Daten können genutzt werden, um darzustellen, aus welchen Partitionen der Verbraucher liest und wie es mit den aktuellen Offsets dieses Verbrauchers aussieht.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="„kafka.consumergroup“-Dokument mit Anzeige des Zustands eines einzelnen Verbrauchers">
</p><h2>Fazit</h2>Das Filebeat- und das Metricbeat-Modul bieten eine einfache Methode für das Einrichten der Überwachung eines Kafka-Clusters. Generell lässt sich sagen, dass Beats-Module die Konfiguration der Erfassung von Logdaten und Metriken vereinfachen. Viele Module stellen Beispiel-Dashboards für die Nutzung dieser Daten bereit. Filebeat und Metricbeat richten auch Elasticsearch-Indizes für optimale Performance ein. Sie können <a href="/de/downloads/beats/filebeat">Filebeat</a> und <a href="/de/downloads/beats/metricbeat">Metricbeat</a> herunterladen und noch heute damit beginnen, Ihre Logdaten und Metriken an den <a href="https://cloud.elastic.co/">Elasticsearch Service</a> oder Ihren lokalen Elasticsearch-Cluster zu senden.

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

Überwachen von Kafka mit Elasticsearch, Kibana und Beats

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Toby Brain

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/elastic-cloud-account-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">ausgewählte Nachrichten und Informationen</a> an die oben von Ihnen bereitgestellten Kontaktangaben zu senden. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/serverless-preview-terms" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Beim Absenden akzeptieren Sie die <a href="/de/agreements/global/cloud-services-monthly" rel="nofollow">Nutzungsbedingungen von Elastic Cloud</a>. Die Verarbeitung Ihrer personenbezogenen Daten unterliegt der <a href="/de/legal/privacy-statement">Datenschutzerklärung von Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Durch das Absenden erklären Sie, dass Sie unsere <a href="/de/legal/terms-of-use" target="_self">Nutzungsbedingungen</a> gelesen haben und mit ihnen einverstanden sind und dass Sie Elastic erlauben, bezüglich unserer zugehörigen Produkte und Dienstleistungen und unter Nutzung der von Ihnen oben bereitgestellten Kontaktangaben <a href="/de/legal/privacy-statement#how-we-use-the-information" target="_self">mit Ihnen in Kontakt zu treten</a>. Weitere Informationen, darunter auch dazu, wie Sie Ihre Einwilligung zurückziehen können, finden Sie in der <a href="/de/legal/privacy-statement/" target="_self">Datenschutzerklärung von Elastic</a>.</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Der Inhalt dieser Seite ist in der ausgewählten Sprache nicht verfügbar. Wir bei Elastic arbeiten daran, die bereitgestellten Inhalte in verschiedenen Sprachen anzubieten. Bis dahin bitten wir Sie um etwas Geduld und hoffen auf Ihr Verständnis!

Author

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Articles by

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Sie können nicht dabei sein? Registrieren Sie sich, damit wir Ihnen die Aufzeichnung zukommen lassen können. Außerdem erhalten Sie eine E‑Mail mit Begleitmaterial.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Learn More

Read less

You'll also receive an email with related content

Wir schicken Ihnen zudem relevante Informationen, die von Interesse sein könnten.

Thank you for registering. We will send you a confirmation email soon.

Vielen Dank für Ihre Registrierung. Sie erhalten in Kürze eine Bestätigungs-E‑Mail von uns.

Author

Articles by Toby Brain

Überwachen von Kafka mit Elasticsearch, Kibana und Beats

Sign up for Elastic Cloud free trial