Vous monitorez des clusters Kafka ? Avec les modules Kafka de Filebeat et Metricbeat, configurez plus facilement la collecte de logs et d'indicateurs, et créez

<p>En&nbsp;2016, nous avions publié un article sur le monitoring de <a href="/fr/blog/monitoring-kafka-with-elastic-stack-1-filebeat">Kafka avec Filebeat</a>. Depuis la version&nbsp;6.5, Beats prend en charge un <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">module&nbsp;Kafka</a>. Ce module automatise une bonne partie des tâches liées au monitoring d'un cluster Kafka.
</p><p>Dans cet article de blog, nous allons nous pencher sur la collecte des données de logs et d'indicateurs via les modules Kafka de Filebeat et de Metricbeat. Nous allons ingérer ces données dans un cluster hébergé sur <a href="/fr/cloud/elasticsearch-service">Elasticsearch&nbsp;Service</a>, et examiner les tableaux de bord Kibana fournis par les modules Beats.
</p><p>Nous utiliserons ici la Suite&nbsp;Elastic&nbsp;7.1. Vous trouverez un exemple d'environnement sur <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a>.
</p><h2>Pourquoi utiliser des modules&nbsp;?</h2><p>Quiconque a travaillé avec des filtres Grok complexes dans Logstash vous dira combien il est appréciable de pouvoir configurer la collecte de logs via un module Filebeat aussi facilement. Mais l'utilisation de modules pour configurer le monitoring présente d'autres avantages&nbsp;:
</p><ul>
	<li>Configuration simplifiée de la collecte de logs et d'indicateurs</li>
	<li>Documents standardisés via <a href="/guide/en/ecs/1.0/index.html">Elastic Common&nbsp;Schema</a></li>
	<li>Modèles d'index judicieux, fournissant des types optimaux de champ de données</li>
	<li>Taille adaptée des index. Les agents Beats utilisent l'<a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">API Rollover</a> pour veiller à ce que la taille des partitions d'index Beats reste gérable.</li>
</ul><p>Pour découvrir la liste complète des modules pris en charge par <a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat</a> et <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat</a>, consultez la documentation correspondante.
</p><h2>Présentation de l'environnement</h2><p>Notre exemple de configuration est constitué d'un cluster Kafka composé de trois&nbsp;nœuds (kafka0, kafka1 et kafka2). Chaque nœud exécute Kafka&nbsp;2.1.1, ainsi que Filebeat et Metricbeat pour assurer le monitoring du nœud. Pour envoyer les données vers notre cluster Elasticsearch&nbsp;Service, les agents Beats sont configurés via l'identifiant <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud&nbsp;ID</a>. Les modules Kafka intégrés à Filebeat et Metricbeat configureront quant à eux des tableaux de bord dans Kibana pour la visualisation des données. Remarque&nbsp;: pour essayer cette configuration dans votre propre cluster, vous pouvez <a href="/fr/cloud/elasticsearch-service/signup">déployer gratuitement une version d'essai de 14&nbsp;jours</a> d'<a href="/fr/cloud/elasticsearch-service">Elasticsearch&nbsp;Service</a>, et tester l'ensemble de ses fonctionnalités.
</p><h2>Configurer les agents Beats</h2><p>Ensuite, vous allez configurer puis lancer les agents Beats.
</p><h3>Installer et activer les services Beats</h3><p>Pour installer <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a> et <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a>, nous suivrons les instructions de leurs guides de prise en main respectifs. Comme nous sommes sous Ubuntu, nous installerons les agents Beats via le <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">référentiel APT</a>.
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>Configurer l'identifiant Cloud&nbsp;ID du déploiement Elasticsearch&nbsp;Service</h3><p>Copiez l'identifiant Cloud&nbsp;ID depuis la console Elastic&nbsp;Cloud, puis utilisez-le pour configurer les sorties <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a> et <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a>.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="Copie et configuration de l'identifiant Cloud&nbsp;ID" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>Activer les modules Kafka et système dans Filebeat et Metricbeat</h3><p>Nous devrons ensuite activer les modules Kafka et système pour les deux agents Beats.
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>Une fois les modules activés, nous pouvons lancer la commande <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">setup</a> pour configurer chaque agent Beats. Cette commande permet de configurer les modèles d'index et les tableaux de bord Kibana qu'utilisent les modules.
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>Lancer les agents Beats</h3><p>Bien. Maintenant que tout est configuré, démarrons Filebeat et Metricbeat.
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>Explorer les données de monitoring</h2><p>Voici que qu'affiche le tableau de bord de logging par défaut&nbsp;:
</p><ul>
	<li>Les exceptions récemment rencontrées par le cluster Kafka. Les exceptions sont groupées par classe d'exceptions et les informations détaillées de l'exception sont affichées.</li>
	<li>Un aperçu du débit des logs par niveau, ainsi que les informations détaillées sur le log.</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="Tableau de bord Logging par défaut affichant des données de monitoring">
</p><ul>
</ul><p>Filebeat ingère les données suivant <a href="/guide/en/ecs/1.0/index.html">Elastic Common&nbsp;Schema</a>, ce qui nous permet d'appliquer des filtres pour descendre jusqu'au niveau de l'hôte.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="Graphique linéaire affichant le nombre de traces d'appels par classe">
</p><p>Le tableau de bord fourni par Metricbeat affiche l'état actuel de n'importe quel sujet du cluster Kafka. Un menu déroulant nous permet aussi de filtrer le tableau de bord sur un seul sujet.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Tableau de bord Metricbeat affichant un aperçu du cluster Kafka">
</p><p>Les visualisations "consumer lag" et "offset" nous montrent si les consommateurs décrochent sur certains sujets. Les offsets par partition montrent également si une partition donnée est à la traîne.
</p><p>La configuration Metricbeat par défaut collecte deux ensembles de données&nbsp;: kafka.partition et kafka.consumergroup. Ces ensembles de données nous informent sur l'état d'un cluster Kafka et des consommateurs qu'il contient.
</p><p>L'ensemble de données kafka.partition comprend toutes les informations relatives à l'état des partitions contenues dans un cluster. Ces données peuvent servir à&nbsp;:
</p><ul>
	<li>Créer des tableaux de bord montrant le mapping des partitions vers les nœuds du cluster</li>
	<li>Signaler les partitions sans replicas synchronisés</li>
	<li>Effectuer le suivi de l'affectation des partitions au fil du temps</li>
	<li>Visualiser les limites d'offset des partitions au fil du temps. </li>
</ul><p>Voici un document kafka.partition complet.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="Document kafka.partition complet affichant l'intégralité des partitions d'un cluster">
</p><p>L'ensemble de données kafka.consumergroup indique l'état d'un seul consommateur. On peut utiliser ces données pour connaître les partitions que lit un seul consommateur et les offsets actuels de ce consommateur.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="Document kafka.consumergroup affichant l'état d'un seul consommateur">
</p><h2>Pour conclure</h2>Les modules intégrés à Filebeat et Metricbeat facilitent la configuration et le monitoring d'un cluster Kafka. D'une manière générale, les modules Beats facilitent aussi la configuration de la collecte de logs et d'indicateurs. Bon nombre de modules fournissent des exemples de tableau de bord qui vous permettent d'utiliser ces données. Et pour des performances optimales, Filebeat et Metricbeat se chargent aussi de la configuration des index Elasticsearch. Impatient de vous lancer&nbsp;? Il suffit de télécharger <a href="/fr/downloads/beats/filebeat">Filebeat</a> et <a href="/fr/downloads/beats/metricbeat">Metricbeat</a> pour commencer à envoyer vos logs et vos indicateurs vers <a href="https://cloud.elastic.co/">Elasticsearch Service</a> ou vers votre cluster Elasticsearch local.

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

Monitorer Kafka avec Elasticsearch, Kibana et Beats

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Toby Brain

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/elastic-cloud-account-terms" target="_self">Conditions générales d'utilisation</a>, et vous acceptez de recevoir les <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">types de notification sélectionnés</a> à l'adresse que vous avez fournie plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p><p>By submitting this form, I agree to Elastic sharing my contact information with Google Cloud. I also agree to Elastic giving my information to the vendor for the purpose of shipping my food package.</p>

GDPR Text + Google Cloud

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/serverless-preview-terms" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>En envoyant votre demande d'inscription, vous acceptez les <a href="/fr/agreements/global/cloud-services-monthly" rel="nofollow">conditions générales d'utilisation d'Elastic Cloud</a>. Vos données personnelles seront traitées conformément à la <a href="/fr/legal/privacy-statement">déclaration de confidentialité d'Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>En confirmant votre envoi, vous reconnaissez que vous avez lu et que vous acceptez nos <a href="/fr/legal/terms-of-use" target="_self">Conditions générales d'utilisation</a>, et vous permettez à Elastic de <a href="/fr/legal/privacy-statement#how-we-use-the-information" target="_self">vous contacter</a> à propos de produits et services similaires en utilisant les informations que vous avez fournies plus haut. Pour en savoir plus ou pour revenir sur votre décision (possible à tout moment), consultez la <a href="/fr/legal/privacy-statement/" target="_self">Déclaration de confidentialité d'Elastic</a>.</p>

Explore similar demos

Overview

You'll also receive an email with related content.

You'll also receive an email with related content

Nous vous enverrons plus de contenu susceptible de vous intéresser.

Speakers

Close

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

Le contenu de cette page n'est pas disponible dans la langue sélectionnée. Chez Elastic, nous mettons tout en œuvre pour vous proposer du contenu dans différentes langues. En attendant, nous vous remercions de votre patience !

See more insights

Articles by

Author

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Voir à quelle heure débute le webinar dans mon fuseau horaire

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Si vous ne pouvez pas vous libérer le jour J, inscrivez-vous et nous vous enverrons l'enregistrement. Vous recevrez aussi un e-mail contenant des ressources connexes.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

Thank you for registering. We will send you a confirmation email soon.

Nous vous remercions de votre inscription. Vous allez recevoir un e-mail de confirmation.

Author

Articles by Toby Brain

Monitorer Kafka avec Elasticsearch, Kibana et Beats

Sign up for Elastic Cloud free trial