Kafka 클러스터를 모니터링하시나요? Filebeat와 Metricbeat의 Kafka 모듈은 로그와 메트릭 수집의 구성을 간소화하고 사용이 간편한 Kibana 대시보드를 생성합니다.

<p>우리는 2016년에 처음으로 <a href="/kr/blog/monitoring-kafka-with-elastic-stack-1-filebeat">Filebeat를 이용한 Kafka</a> 모니터링에 대해 포스팅을 했습니다. 6.5 릴리즈 이래, Beats팀은 <a href="/guide/en/beats/filebeat/7.1/filebeat-module-kafka.html">Kafka 모듈</a>을 지원해 왔습니다. 이 모듈은 Kafka 클러스터를 모니터링하는 데 관련된 작업의 많은 부분을 자동화합니다.
</p><p>이 블로그 포스팅에서는, Filebeat와 Metricbeat에서 Kafka 모듈로 로그와 메트릭 데이터를 수집하는 데 중점을 두도록 하겠습니다. 우리는 <a href="/kr/cloud/elasticsearch-service">Elasticsearch Service</a>에서 호스팅되는 클러스터로 데이터를 수집하며, Beats 모듈이 제공하는 Kibana 대시보드를 탐색해 볼 것입니다.
</p><p>이 블로그 포스팅은 Elastic Stack 7.1을 사용합니다. 예제 환경은 <a href="https://github.com/elastic/examples/tree/master/Miscellaneous/kafka_monitoring_with_beats_modules">GitHub</a>에서 제공됩니다.
</p><h2>왜 모듈인가?</h2><p>복잡한 Logstash Grok 필터를 가지고 작업해 본 사람이면 누구나 Filebeat 모듈을 통해 로그 수집을 설정하는 데 있어 그 단순함을 높이 평가할 것입니다. 모니터링 구성에서 모듈을 활용하면 그 밖에도 다음과 같은 다른 장점들이 있습니다.
</p><ul>
	<li>로그와 메트릭 수집의 간소화된 구성</li>
	<li><a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a>를 통한 표준화된 문서</li>
	<li>최적의 필드 데이터 유형을 제공하는 합리적인 인덱스 템플릿</li>
	<li>적절한 인덱스 크기 조정 Beats는 <a href="/guide/en/elasticsearch/reference/7.1/indices-rollover-index.html">롤오버 API</a>를 활용하여 Beats 인덱스를 위한 적절한 샤드 크기를 유지하도록 도와줍니다.</li>
</ul><p><a href="/guide/en/beats/filebeat/7.1/filebeat-modules.html">Filebeat</a>와 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-modules.html">Metricbeat</a>가 지원하는 전체 모듈 목록은 설명서를 참조하세요.
</p><h2>환경 소개</h2><p>우리 예제 설정은 세 개의 Kafka 클러스터 노드(kafka0, kafka1, kafka2)로 구성됩니다. 각 노드는 Kafka 2.1.1을 실행하며, Filebeat와 Metricbeat는 노드를 모니터링합니다. Beats는 <a href="/guide/en/cloud/current/ec-cloud-id.html">Cloud ID</a>를 통해 구성되어 우리의 Elasticsearch Service 클러스터로 데이터를 전송합니다. Filebeat와 Metricbeat로 전송된 Kafka 모듈은 시각화를 위해 Kibana 내에서 대시보드를 설정하게 됩니다. 한 가지 알려드리자면, 자체 클러스터에서 이것을 해보려고 하시는 경우, <a href="/kr/cloud/elasticsearch-service">Elasticsearch Service</a>의 <a href="/kr/cloud/elasticsearch-service/signup">14일 무료 체험판을 활용</a>하실 수 있습니다. 여기에는 모든 필요한 기능들이 탑재되어 있습니다.
</p><h2>Beats 설정</h2><p>다음으로, Beats를 구성하고 나서 시작하게 됩니다.
</p><h3>Beats 서비스 설치 및 활성화</h3><p>시작하기 안내서를 따라 <a href="/guide/en/beats/filebeat/7.1/filebeat-getting-started.html">Filebeat</a>와 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-getting-started.html">Metricbeat</a>를 설치하겠습니다. Ubuntu에서 실행하고 있기 때문에, <a href="/guide/en/beats/filebeat/7.1/setup-repositories.html">APT 리포지토리</a>를 통해 Beats를 설치하겠습니다.
</p><pre>wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/7.x/apt stable main" | sudo tee -a /etc/apt/sources.list.d/elastic-7.x.list
sudo apt-get update
sudo apt-get install filebeat metricbeat
systemctl enable filebeat.service
systemctl enable metricbeat.service
</pre><h3>Elasticsearch Service 배포의 Cloud ID 구성</h3><p>Elastic Cloud 콘솔에서 Cloud ID를 복사하여, 이를 사용해 <a href="/guide/en/beats/filebeat/7.1/filebeat-configuration.html">Filebeat</a>와 <a href="/guide/en/beats/metricbeat/7.1/metricbeat-configuration.html">Metricbeat</a>를 위한 출력을 구성합니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6eeeaaa287b9cdd2/5d00255ad5e132ea141ffcb6/monitoring-kafka-1.jpg" data-sys-asset-uid="blt6eeeaaa287b9cdd2" width="650" alt="Cloud ID 복사 및 구성" style="display: block; margin: auto;"><br>
</p><pre>CLOUD_ID=Kafka_Monitoring:ZXVyb3BlLXdlc...
CLOUD_AUTH=elastic:password
filebeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/filebeat/filebeat.yml
metricbeat export config -E cloud.id=${CLOUD_ID} -E cloud.auth=${CLOUD_AUTH} &gt; /etc/metricbeat/metricbeat.yml
</pre><h3>Filebeat와 Metricbeat에서 Kafka와 시스템 모듈 활성화</h3><p>다음으로, 양쪽 Beats에 대해 Kafka와 시스템 모듈을 활성화해야 합니다.
</p><pre>filebeat modules enable kafka system
metricbeat modules enable kafka system
</pre><p>일단 활성화되면, <a href="/guide/en/beats/filebeat/7.1/command-line-options.html#setup-command">Beats 설정</a>을 실행할 수 있습니다. 이것은 모듈이 사용하는 인덱스 템플릿과 Kibana 대시보드를 구성합니다.
</p><pre>filebeat setup -e --modules kafka,system
metricbeat setup -e --modules kafka,system
</pre><h3>Beats 시작!</h3><p>됐습니다. 이제 모든 것이 구성되었으므로, Filebeat와 Metricbeat를 시작해 봅시다.
</p><pre>systemctl start metricbeat.service
systemctl start filebeat.service
</pre><h2>모니터링 데이터 탐색</h2><p>기본 로깅 대시보드는 다음을 보여줍니다.
</p><ul>
	<li>Kafka 클러스터가 직면한 최근의 예외. 예외는 예외 클래스별로 그룹화됩니다. 그리고 전체 예외 세부사항.</li>
	<li>레벨별 로그 처리량 개요와 전체 로그 세부사항.</li>
</ul><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfc9ecd6c9ee840ea/5d0036d96a96af7017dfe775/monitoring-kafka-2.jpg" data-sys-asset-uid="bltfc9ecd6c9ee840ea" alt="모니터링 데이터를 보여주는 기본 로깅 대시보드">
</p><ul>
</ul><p>Filebeat는 <a href="/guide/en/ecs/1.0/index.html">Elastic Common Schema</a>에 따라 데이터를 수집하며, 우리가 호스트 레벨까지 필터링해 들어갈 수 있게 해줍니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteef5c585919eac00/5d00262a900e486c1a96f443/monitoring-kafka-3.jpg" data-sys-asset-uid="blteef5c585919eac00" alt="클래스별 스택 추적 수를 표시하는 라인 차트">
</p><p>Metricbeat가 제공하는 대시보드는 Kafka 클러스터 내에서 모든 주제의 현재 상태를 보여줍니다. 또한 드롭다운을 통해 단일 주제로 대시보드를 필터링할 수도 있습니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd3fac5e327048c50/5d002651f445a4731a4528f4/monitoring-kafka-4.jpg" data-sys-asset-uid="bltd3fac5e327048c50" alt="Kafka 클러스터의 개요를 보여주는 Metricbeat가 생성한 대시보드">
</p><p>소비자 지연 및 오프셋 시각화는 소비자가 특정 주제에서 뒤처지고 있는지를 보여줍니다. 파티션당 오프셋은 또한 단일 파티션이 뒤떨어지고 있는지를 보여줍니다.
</p><p>기본 Metricbeat 구성은 kafka.partition과 kafka.consumergroup, 이렇게 두 개의 데이터 세트를 수집합니다. 이 데이터 세트는 Kafka 클러스터와 그 소비자의 상태에 대한 인사이트를 제공합니다.
</p><p>kafka.partition 데이터 세트에는 클러스터 내의 파티션 상태에 대한 모든 세부사항이 포함됩니다. 이 데이터는 다음을 위해 사용될 수 있습니다.
</p><ul>
	<li>파티션이 클러스터 노드에 대해 어떻게 매핑되어 있는지를 보여주는 대시보드 구축</li>
	<li>동기화되어 있는 복제가 없는 파티션에 대한 알림</li>
	<li>시간별 파티션 할당 추적</li>
	<li>시간별 파티션 오프셋 제한 시각화 </li>
</ul><p>전체적인 kafka.partition 문서는 아래에 나와 있습니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt81b18d06ff710813/5d00266fc06daee314d1f5cc/monitoring-kafka-5.jpg" data-sys-asset-uid="blt81b18d06ff710813" width="650" alt="클러스터의 파티션 전체 세부사항을 보여주는 전체적인 kafka.partition 문서">
</p><p>kafka.consumergroup 데이터 세트는 단일 소비자의 상태를 기록합니다. 이 데이터는 단일 소비자가 어느 파티션에서 읽고 있는지와 그 소비자의 현재 오프셋를 보여주는 데 사용될 수 있습니다.
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7b747cbf68a3d2cb/5d0026837e77466b173d938c/monitoring-kafka-6.jpg" data-sys-asset-uid="blt7b747cbf68a3d2cb" width="650" alt="단일 소비자의 상태를 보여주는 kafka.consumergroup 문서">
</p><h2>결론</h2>Filebeat와 Metricbeat 모듈은 Kafka 클러스터의 모니터링을 설정하는 간단한 방법을 제공합니다. 일반적으로, Beats 모듈은 로그와 메트릭 수집의 구성을 간소화합니다. 많은 모듈이 그 데이터를 활용하기 위한 예제 대시보드를 제공합니다. Filebeat와 Metricbeat는 또한 최고의 성능을 위해 Elasticsearch 인덱스를 설정하게 됩니다. 오늘 <a href="/kr/downloads/beats/filebeat">Filebeat</a>와 <a href="/kr/downloads/beats/metricbeat">Metricbeat</a>를 다운로드하셔서 <a href="https://cloud.elastic.co/">Elasticsearch Service</a>나 자체의 현지 Elasticsearch 클러스터로 로그와 메트릭 전송을 시작하실 수 있습니다.

monitoring-kafka-fullbleed.jpg

monitoring-kafka-thumbnail.jpg

Monitoring Kafka with Elasticsearch, Kibana, and Beats

Elasticsearch, Kibana, Beats를 사용한 Kafka 모니터링

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Toby Brain

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Communication Preferences - ONLY for /communication-preferences

<p>제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Serverless GDPR Text

<p>제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.</p>

<p>By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.</p>

Cloud Trial GDPR Text

<p>제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.</p>

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.</p>

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Toby Brain

Elasticsearch, Kibana, Beats를 사용한 Kafka 모니터링

Sign up for Elastic Cloud free trial