개발자, SRE 및 보안 분석가는 이제 Google Dataflow를 사용해 Google Cloud Storage에서 Elastic으로 직접 데이터를 수집하여 문제 해결 및 분석에 필요한 시간을 단축할 수 있습니다.

elastic-blog-googlecloudstorage.png

elastic-blog-googlecloudstorage-2.png

elastic-blog-googlecloudstorage-3.png

elastic-blog-googlecloudstorage-4.png

elastic-blog-googlecloudstorage-5.png

elastic-blog-googlecloudstorage-6.png

elastic-blog-googlecloudstorage-7.png

blog-thumb-cloud-gcp.png

Ingest data directly from Google Cloud Storage into Elastic using Google Dataflow

Google Dataflow를 사용해 Google Cloud Storage에서 Elastic으로 직접 데이터 수집

이제 데이터 분석가와 개발자는 BigQuery 데이터를 Elastic으로 직접 수집하여 운영 오버헤드를 없애고 데이터 수집에 소요되는 시간을 줄여 Elastic에서 인사이트를 파악하기 위한 대시보드 구축이나 풀텍스트 검색 실행에 집중할 수 있습니다.

elastic-blog-bigquery.png

elastic-blog-bigquery-2.png

Google Cloud Platform 클라우드 스테이징

elastic-blog-bigquery-3.png

elastic-blog-bigquery-4.png

elastic-blog-bigquery-5.png

elastic-blog-bigquery-6.png

elastic-blog-bigquery-7.png

elastic-blog-bigquery-8.png

Ingest data directly from Google BigQuery into Elastic using Google Dataflow

Google Dataflow를 사용해 Google BigQuery에서 Elastic으로 직접 데이터 수집

개발자, SRE 및 보안 분석가는 이제 Google Dataflow를 사용해 Google Pub/Sub에서 Elastic으로 직접 데이터를 수집하여 운영 오버헤드를 제거하고 문제 해결에 필요한 시간을 단축할 수 있습니다.

오늘 Google Cloud와의 지속적인 파트너십을 통해 이루어진 최신 개발 정보를 알려드리게 되어 기쁘게 생각합니다. 이제 개발자, 사이트 안정성 엔지니어(SRE) 및 보안 분석가는 Google Cloud Console에서 클릭 몇 번만으로 Google Pub/Sub에서 Elastic Stack으로 데이터를 수집할 수 있습니다. Elastic은 Google Dataflow 템플릿을 활용하여 Google Cloud Audit, VPC Flow 또는 방화벽과 같은 Google Cloud 서비스의 이벤트 및 로그를 Elastic Stack으로 쉽게 스트리밍할 수 있습니다. 이를 통해 고객은 데이터 파이프라인 아키텍처를 단순화하고 운영 오버헤드를 제거하며 문제 해결에 필요한 시간을 줄일 수 있습니다.
Google Cloud를 사용해 애플리케이션을 개발하고 인프라를 설정하는 많은 개발자, SRE 및 보안 분석가들도 Elastic Stack을 사용하여 보안 이상 징후를 해결하고 모니터링하며 파악합니다. Google과 Elastic은 함께 협력하여 Google Cloud 서비스의 애플리케이션 및 인프라에서 Elastic으로 로그와 이벤트를 수집하는 사용하기 쉽고 원활한 방법을 제공하게 되었습니다. 데이터 수집기를 설치하지 않고도 이 모든 것을 Google Cloud Console에서 클릭 몇 번만으로 가능합니다.&nbsp; &nbsp;
이 블로그 게시물에서는 Google Dataflow를 사용하여 Google Pub/Sub에서 Elastic Stack으로 에이전트 없는 데이터 수집을 시작하는 방법에 대해 설명합니다.
<h2>오버헤드 건너뛰기</h2>Pub/Sub은 Google Operations(구 Stackdriver), Google Cloud 서비스를 사용해 구축된 애플리케이션 또는 스트리밍 데이터 통합 파이프라인을 포함하는 기타 사용 사례에서 데이터를 스트리밍하기 위해 사용되는 인기 있는 서버리스 비동기 메시징 서비스입니다. Elastic Stack과 같은 서드파티 분석 솔루션에 대한 Google Cloud Audit, VPC Flow 또는 방화벽 로그를 수집하려면 먼저 이러한 로그를 Google Operations에 보낸 다음 Pub/Sub으로 전송해야 합니다.&nbsp; 로그가 Pub/Sub에 있으면, Google Cloud 사용자는 Google Pub/Sub에 저장된 메시지를 서드파티 분석 솔루션으로 전송하기 위한 수집 방법을 결정해야 합니다.
Google과 Elastic 공동 사용자에게 널리 사용되는 옵션은 Google Compute Engine VM(가상 머신)에 Filebeat, Elastic Agent 또는 Fluentd를 설치한 다음 이러한 데이터 수집기 중 하나를 사용하여 Pub/Sub에서 Elastic Stack으로 데이터를 전송하는 것입니다. VM을 프로비저닝하고 데이터 수집기를 설치하려면 프로세스 및 관리 오버헤드가 필요합니다. 이 단계를 건너뛰고 Pub/Sub에서 Elastic으로 직접 데이터를 수집하는 기능은 특히 Google Cloud Console에서 클릭 몇 번으로 데이터를 수집할 수 있는 경우 많은 사용자에게 유용합니다. 이제 이것이 Google Dataflow의 드롭다운 메뉴를 통해 가능합니다.
<h2>데이터 수집 간소화</h2>Google Dataflow는 Apache Beam을 기반으로 하는 서버리스 비동기 메시징 서비스입니다. Filebeat 대신 Dataflow를 사용하여 Google Cloud Console에서 직접 로그를 전송할 수 있습니다. Google과 Elastic 팀은 함께 협력하여 Pub/Sub에서 Elastic으로 로그와 이벤트를 푸시하기 위한 즉시 사용 가능한 Dataflow 템플릿을 개발하게 되었습니다. 이 템플릿은 이전에 서버리스 방식으로 Filebeat가 완료한 데이터 형식 변환과 같은 가벼운 처리를 대체하며, 이전에 Elasticsearch 수집 파이프라인을 사용한 사용자에 대한 다른 변경 사항은 없습니다.&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;
다음은 데이터 수집 흐름의 요약입니다. 통합은 Elastic Cloud의 Elastic Stack을 사용 중이든, Google Cloud Marketplace의 Elastic Cloud를 사용 중이든 또는 자체 관리 환경을 사용 중이든, 모든 사용자에게 적용됩니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4a0252dfb0591d2f/6143c63764c8007a9bdea6f5/blog-gcp-integration-pubsub-1.png" data-sys-asset-uid="blt4a0252dfb0591d2f" alt="blog-gcp-integration-pubsub-1.png" style="display: block; margin: auto;">
<h2>시작하기</h2>이 섹션에서는 Elastic Stack의 <a href="https://cloud.google.com/logging/docs/audit">GCP 감사 로그</a>를 분석하기 위한 Dataflow 템플릿을 시작하는 방법에 대한 단계별 튜토리얼을 살펴보겠습니다.
감사 로그에는 Google Cloud 계정에서 발생하는 운영 변경 사항의 "어디에서, 어떻게, 언제"에 대한 질문에 대답하는 데 도움이 되는 정보가 포함되어 있습니다. Pub/Sub 템플릿을 사용하면 감사 로그를 GCP에서 Elasticsearch로 스트리밍하고 몇 초 안에 인사이트를 수집할 수 있습니다.&nbsp;
먼저 Kibana 웹 UI에서 Elastic GCP 통합을 설치합니다. 여기에는 미리 빌드된 대시보드, 수집 노드 구성 및 사용자가 수집하는 감사 로그를 최대한 활용할 수 있는 기타 자산이 포함되어 있습니다.&nbsp;
Dataflow 템플릿을 구성하기 전에, Google Operations Suite에서 로그를 보낼 수 있는 Google Cloud Console에서 <a href="https://cloud.google.com/pubsub/docs/quickstart-console">Pub/Sub topic and subscription</a>을 만들어야 합니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt729ea82c62f6cf41/6143c6569d27cf7da4ba0a18/blog-gcp-integration-pubsub-2.png" data-sys-asset-uid="blt729ea82c62f6cf41" alt="blog-gcp-integration-pubsub-2.png">
그런 다음 Google Cloud Console로 이동하여 <a href="https://cloud.google.com/dataflow/">Dataflow</a> 작업을 구성합니다.&nbsp;
Dataflow 제품에서 "Create from template"을 클릭하고 Dataflow template 드롭다운 메뉴에서 "Pub/Sub to Elasticsearch"를 선택합니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbd14459da3fb91c0/6143c6648440e97ef58272c3/blog-gcp-integration-pubsub-3.png" data-sys-asset-uid="bltbd14459da3fb91c0" alt="blog-gcp-integration-pubsub-3.png">
클라우드 ID 및 Elasticsearch를 위한 Base64 인코딩 API 키를 포함하여 필요한 매개 변수를 입력합니다. 감사 로그를 스트리밍하고 있으므로, 로그 유형 매개 변수로 "audit"을 추가합니다. 클라우드 ID는 아래와 같이 Elastic Cloud UI에서 확인할 수 있습니다. API 키는 <a href="/guide/en/elasticsearch/reference/current/security-api-create-api-key.html">Create API key API</a>를 사용하여 생성할 수 있습니다.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltaa76aed1b8faf542/6143c677947b692d209b5352/blog-gcp-integration-pubsub-4.png" data-sys-asset-uid="bltaa76aed1b8faf542" alt="blog-gcp-integration-pubsub-4.png">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt56be59a0016ed28c/6143c686f725af79f53fc4ea/blog-gcp-integration-pubsub-5.png" data-sys-asset-uid="blt56be59a0016ed28c" alt="blog-gcp-integration-pubsub-5.png">
“Run Job”을 클릭하고 Dataflow가 템플릿을 실행할 때까지 기다립니다. 이 작업은 몇 분 정도 걸립니다. 보시다시피 Google Cloud Console을 나가거나 에이전트를 관리할 필요가 없습니다!
이제 Kibana로 이동하여 로그가 [Logs GCP] 대시보드에서 구문 분석 및 시각화되었는지 확인해 보세요.
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt879b955d1a95e437/6143c69364c8007a9bdea6fd/blog-gcp-integration-pubsub-6.png" data-sys-asset-uid="blt879b955d1a95e437" alt="blog-gcp-integration-pubsub-6.png">
<h2>결론</h2>Elastic은 끊임없는 개발을 통해 고객이 보다 쉽고 원활하게 원하는 곳에서 실행하고 원하는 것을 사용할 수 있도록 지원하고 있습니다. Google Cloud와의 이러한 간소화된 통합이 그 가장 최근의 예입니다. Elastic Cloud는 Elastic Stack의 가치를 확장하여 고객이 더 많은 것을, 더 빨리 할 수 있도록 하며, 이것은 고객이 플랫폼을 경험할 수 있는 가장 좋은 방법입니다. 통합에 대한 자세한 정보는 <a href="https://cloud.google.com/dataflow/docs/guides/templates/provided-streaming#cloudpubsubtoelasticsearch">Google의 설명서를 참조하세요</a>. Google Cloud에서 Elastic을 사용하려면 <a href="https://console.cloud.google.com/marketplace/product/elastic-prod/elastic-cloud?utm_source=blog&utm_medium=ingest_data_directly_from_google_pub_sub_into_elastic_using_google_dataflow">Google Cloud Marketplace</a> 또는 <a href="/kr/">elastic.co</a>를 방문하세요.

blog-banner-cloud-gcp.png

Ingest data directly from Google Pub/Sub into Elastic using Google Dataflow

Google Dataflow를 사용해 Google Pub/Sub에서 Elastic으로 직접 데이터 수집

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Director of Product

Michael Yang

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Michael Yang

Director of Product, Elastic

Google Dataflow를 사용해 Google Cloud Storage에서 Elastic으로 직접 데이터 수집

Google Dataflow를 사용해 Google BigQuery에서 Elastic으로 직접 데이터 수집

Google Dataflow를 사용해 Google Pub/Sub에서 Elastic으로 직접 데이터 수집