Está monitorando clusters do Kafka? Os módulos do Kafka no Filebeat e Metricbeat simplificam a configuração da coleta de logs e metrics e criam práticos

<p>Publicamos pela primeira vez sobre o monitoramento do <a href="/pt/blog/monitoring-kafka-with-elastic-stack-1-filebeat">Kafka com o Filebeat</a> em 2016. Desde o lançamento da versão 6.5, a equipe do Beats dá suporte a um <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">módulo do Kafka</a>. Esse módulo automatiza grande parte do trabalho envolvido no monitoramento de um cluster do Kafka.
</p><p>Neste post do blog, nosso foco será a coleta de logs e dados de metrics com os módulos do Kafka no Filebeat e no Metricbeat. Faremos a ingestão desses dados em um cluster hospedado no <a href="/pt/cloud/elasticsearch-service">Elasticsearch Service</a> e exploraremos os dashboards do Kibana fornecidos pelos módulos do Beats.
</p><p>Este post usa o Elastic Stack 7.1. Um ambiente de exemplo é fornecido no <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a>.
</p><h2>Por que usar módulos?</h2><p>Qualquer pessoa que já tenha trabalhado com os complexos filtros grok do Logstash apreciará a simplicidade na configuração da coleta de logs por meio de um módulo do Filebeat. Existem outros benefícios na utilização de módulos na sua configuração de monitoramento:
</p><ul>
	<li>Configuração simplificada da coleta de logs e metrics</li>
	<li>Documentos padronizados por meio do <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a></li>
	<li>Modelos de índice sensatos, fornecendo tipos de dados de campo ideais</li>
	<li>Dimensionamento apropriado do índice. Os Beats utilizam a <a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">API de rollover</a> para ajudar a garantir tamanhos de shard saudáveis para os índices dos Beats.</li>
</ul><p>Consulte a documentação para obter uma lista completa dos módulos compatíveis com o <a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat</a> e o <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat</a>.
</p><h2>Apresentação do ambiente</h2><p>Nosso exemplo de configuração é composto pelo cluster do Kafka de três nós (kafka0, kafka1 e kafka2). Cada nó executa o Kafka 2.1.1, juntamente com o Filebeat e o Metricbeat para monitorar o nó. Os Beats são configurados por meio do <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud ID</a> para enviar dados para o nosso cluster do Elasticsearch Service. Os módulos do Kafka fornecidos com o Filebeat e o Metricbeat configurarão dashboards no Kibana para visualização. A título de observação, se quiser tentar isso no seu próprio cluster, você poderá <a href="/pt/cloud/elasticsearch-service/signup">executar uma versão de avaliação gratuita de 14 dias</a> do <a href="/pt/cloud/elasticsearch-service">Elasticsearch Service</a>, que vem com todos os recursos e funcionalidades.
</p><h2>Configuração dos Beats</h2><p>Em seguida, você vai configurar e iniciar os Beats.
</p><h3>Instale e habilite os serviços dos Beats</h3><p>Seguiremos o Guia de introdução para instalar o <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a> e o <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a>. Como estamos executando no Ubuntu, instalaremos os Beats por meio do <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">repositório do APT</a>.
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>Configure o Cloud ID da nossa implantação do Elasticsearch Service</h3><p>Copie o Cloud ID do console Elastic Cloud e use-o para configurar a saída para o <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a> e o <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a>.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="Copiando e configurando o Cloud ID" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>Habilite os módulos do Kafka e do System no Filebeat e no Metricbeat</h3><p>Em seguida, precisaremos habilitar os módulos do Kafka e do System para os dois Beats.
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>Após a habilitação, podemos executar a <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">configuração dos Beats</a>. Isso configura os modelos de índice e os dashboards do Kibana usados pelos módulos.
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>Inicie os Beats!</h3><p>OK! Agora que está tudo configurado, vamos iniciar o Filebeat e o Metricbeat.
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>Exploração dos dados de monitoramento</h2><p>O dashboard de logging padrão mostra:
</p><ul>
	<li>Exceções recentes encontradas pelo cluster do Kafka. As exceções são agrupadas pela classe de exceção e pelos detalhes completos da exceção</li>
	<li>Uma visão geral da taxa de processamento do log por nível, juntamente com os detalhes completos do log.</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="Dashboard de logging padrão mostrando os dados de monitoramento">
</p><ul>
</ul><p>O Filebeat ingere dados seguindo o <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a>, permitindo filtrar até o nível do host.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="Gráfico de linhas mostrando o número de rastreamentos de pilha por classe">
</p><p>O dashboard fornecido pelo Metricbeat mostra o estado atual de qualquer tópico no cluster do Kafka. Também temos um menu suspenso para filtrar o dashboard para um único tópico.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Dashboard produzido pelo Metricbeat, fornecendo uma visão geral do cluster do Kafka">
</p><p>As visualizações de deslocamento e defasagem dos consumidores mostram se os consumidores estão ficando para trás em tópicos específicos. Os deslocamentos por partição também mostram se uma única partição está ficando defasada.
</p><p>A configuração padrão do Metricbeat coleta dois conjuntos de dados: kafka.partition e kafka.consumergroup. Esses conjuntos de dados fornecem informações sobre o estado de um cluster do Kafka e seus consumidores.
</p><p>O conjunto de dados kafka.partition inclui detalhes completos sobre o estado das partições em um cluster. Esses dados podem ser usados para:
</p><ul>
	<li>Criar dashboards mostrando como as partições são mapeadas para os nós do cluster</li>
	<li>Alertar sobre partições sem réplicas sincronizadas</li>
	<li>Acompanhar a atribuição das partições ao longo do tempo</li>
	<li>Visualizar os limites de deslocamento das partições ao longo do tempo. </li>
</ul><p>Um documento completo do kafka.partition é mostrado abaixo.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="Documento completo do kafka.partition fornecendo todos os detalhes das partições de um cluster">
</p><p>O conjunto de dados kafka.consumergroup captura o estado de um único consumidor. Esses dados podem ser usados para mostrar de quais partições um único consumidor está lendo e os deslocamentos atuais desse consumidor.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="Documento do kafka.consumergroup mostrando o estado de um único consumidor">
</p><h2>Resumo</h2>Os módulos do Filebeat e do Metricbeat fornecem um método simples para configurar o monitoramento de um cluster do Kafka. Em geral, os módulos do Beats simplificam a configuração da coleta de logs e metrics. Muitos módulos fornecem dashboards de exemplo para utilizar esses dados. O Filebeat e o Metricbeat também configuram os índices do Elasticsearch para alcançar o melhor desempenho. Baixe o <a href="/pt/downloads/beats/filebeat">Filebeat</a> e o <a href="/pt/downloads/beats/metricbeat">Metricbeat</a> e comece a enviar seus logs e metrics para o <a href="https://cloud.elastic.co/">Elasticsearch Service</a> ou seu cluster local do Elasticsearch hoje mesmo.

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

Monitoramento do Kafka com Elasticsearch, Kibana e Beats

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Toby Brain

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/elastic-cloud-account-terms" target="_self">Termos de Serviço</a> e também concorda em receber <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">comunicações especiais</a> por meio dos dados de contato que forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/serverless-preview-terms" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>Ao enviar, você concorda com os <a href="/pt/agreements/global/cloud-services-monthly" rel="nofollow">Termos de Serviço do Elastic Cloud</a>. Seus dados pessoais serão tratados de acordo com a <a href="/pt/legal/privacy-statement">Declaração de Privacidade da Elastic</a>.
</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>Ao enviar a confirmação, você reconhece que leu e concorda com nossos <a href="/pt/legal/terms-of-use" target="_self">Termos de Serviço</a> e que a Elastic pode <a href="/pt/legal/privacy-statement#how-we-use-the-information" target="_self">entrar em contato com você</a> para divulgar nossos produtos e serviços relacionados usando os dados que você forneceu acima. Consulte a <a href="/pt/legal/privacy-statement/" target="_self">Declaração de Privacidade da Elastic</a> para saber mais detalhes ou para cancelar a qualquer momento.</p>

Explore similar demos

Explore outras demonstrações semelhantes

Overview

Load More

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

O conteúdo desta página não está disponível no idioma selecionado. A Elastic está trabalhando para garantir que o conteúdo esteja disponível em vários idiomas.Agradecemos a compreensão.

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

Consultar a hora de início do webinar no meu fuso horário

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

Não vai conseguir participar? Inscreva-se e nós lhe enviaremos a gravação. Você também receberá um email com conteúdo relacionado.

Author

Articles by Toby Brain

Monitoramento do Kafka com Elasticsearch, Kibana e Beats

Sign up for Elastic Cloud free trial