GoDaddy가 사용자 경험을 개선하고 비즈니스 KPI를 추적하기 위해 어떻게 사일로화된 클러스터에서 중앙 집중식 Elasticsearch로 이전하고 머신 러닝을 이용했는지 알아보세요.

이 포스팅은 <a href="/kr/elasticon/conf/2018/sf">Elastic{ON} 2018</a>에서 이루어진 커뮤니티 대담을 요약한 것입니다. 이런 대담을 좀더 보고 싶으세요? 컨퍼런스 아카이브를 확인하시거나 <a href="/kr/elasticon">Elastic{ON}{ON} 투어</a>가 언제 가까운 도시에서 개최되는지 알아보세요.
최근에 슈퍼볼 경기를 시청하신 분이라면 아시겠지만, GoDaddy는 웹 호스팅과 도메인 관리로 잘 알려진 기업입니다. 그러나 1,700만 이상의 고객과 7,500만 개의 도메인, 천만 개의 호스팅 사이트를 보유하고 있어, 빅 데이터에도 정통합니다. 사이트들이 계속 순조롭게 실행되도록 하려면 가상 서버 패치 수준에서부터 네트워크 문제와 악의적인 공격에 이르기까지 모든 인프라를 구석구석 통찰할 수 있어야 합니다. 초당 20만 개 이상의 메시지(DNS 쿼리, 시스템 로그, 비즈니스 이벤트 등)가 들어오는 상황에서는 이것이 어려울 수 있지만, 그 규모의 속도라면 Elastic Stack은 그 작업을 감당할 수 있습니다.
GoDaddy의 Elasticsearch 도입은 오픈소스 소프트웨어를 사용하는 다른 기업들과 상당히 비슷했습니다. 회사 전체에 걸쳐 별도의 팀들이 각각 고유한 필요를 처리하기 위해 자체적인 클러스터를 설정했습니다. 업무를 완수하게 해주긴 했지만 관리되지 않는 이러한 배포 모델은 다양한 버전의 Elasticsearch에서 실행되는 수백 개의 클러스터가 사일로화된 데이터를 분석하는 상황으로 이어졌습니다. GoDaddy에서는 더 나은 방법이 있다는 것을 알고 있었기 때문에, 2014년에 Elasticsearch 배포 관리를 위한 팀을 구성했습니다. 이 팀은 현재 회사 전체의 모든 팀으로부터 들어오는 피드와 700개 이상의 Docker 컨테이너에 걸쳐 60여 개의 Elasticsearch 클러스터를 관리하고 있습니다. 이 클러스터는 (11 PB) HDFS 환경에서 270TB 이상의 데이터를 차지합니다.
새로운 Elasticsearch 팀이 씨름했던 첫 번째 사용 사례 중 하나는 전체 에코시스템에 걸친 패치 준수 관리였습니다. 2014년에 <a href="/kr/products/beats">Beats</a>가 도입되기 전에, GoDaddy는 (<a href="/kr/products/beats/auditbeat">Auditbeat</a> 및 <a href="/kr/products/beats/winlogbeat">Winlogbeat</a>와 유사한) Windows와 Linux 에이전트를 개발하여 시스템 데이터를 Elasticsearch로 전송했습니다. 모든 (베어메탈 및 가상) 서버에 설치된 이 에이전트를 이용해, GoDaddy는 전체 인프라에 걸쳐 패칭 수준과 준수에 대한 귀중한 통찰을 얻을 수 있었습니다. 그리고 Kibana 내에서 여러 다른 대시보드와 가상화를 활용함으로써, 관리자와 엔지니어에게는 세분화된 수준의 패치 정보를, 임원에게는 고급 수준의 비즈니스 보고서를 손쉽게 제공할 수 있었습니다. 이 모두가 동일한 중앙 집중식 데이터에 액세스하며 이루어지고 모든 사람이 동일한 정보를 공유할 수 있습니다.
서버 패치 수준을 유지하는 것은 사이트 트래픽이 계속 흐르도록 하기 위해 중요하며, 그 흐름은 사용자들이 계속해서 참여하도록 하는 데 도움이 됩니다. 웹사이트 로딩 속도가 느리면, 방문자들은 다른 곳으로 가버리게 됩니다. 따라서, 수백만 고객들의 환경을 염두에 두고, GoDaddy는 데이터 센터가 얼마나 작업을 잘 수행하고 있는지 그리고 그 성능이 방문자들에게 어떤 영향을 미치는지 추적해야 한다는 것을 알았습니다. 시스템의 모든 구성 요소가 로그를 생성했기 때문에 필요한 데이터는 이미 모두 있었지만, 전체적으로 그것을 볼 수 있는 방법이 필요했습니다.
<h2>Machine Learning을 이용한 중앙화된 로깅으로 이상 징후 탐색</h2>GoDaddy는 다양한 성능 및 참여 데이터 세트를 중앙화하고 분석해야 했으며, Elastic Stack이 그 답이었습니다. 넷플로우 데이터, sFlow 데이터, 실제 사용자 관리(RUM), 그리고 피어링 관계 및 라우팅 데이터를 Elasticsearch로 전송함으로써, 사용자 환경과 시스템 성능 데이터에 대해 훨씬 더 상세한 보기를 얻을 수 있었습니다. 이러한 정도의 상세함은 모든 다른 데이터 소스를 동시에 분석함으로써만 확인할 수 있는 것입니다. 그 이래로, GoDaddy는 <a href="/kr/products/stack/machine-learning">Elastic 머신 러닝</a> 기능의 도움으로 그 데이터를 훨씬 더 상세하게 파악하기 시작했습니다. 
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb09951bb4979ea15/5c304e986e9992e16f52993d/go_daddy_RUM.jpg" data-sys-asset-uid="bltb09951bb4979ea15" style="display: block; margin: auto;">
엄청나게 많은 시스템 데이터에 대해 중앙화된 액세스가 가능하다는 것은 큰 장점이지만, 문제를 추적하는 것은 어려울 수 있습니다. GoDaddy는 모든 사용자 클릭과 웹 사이트 상호 작용을 추적하지만, 전 세계적으로 수백 만 페이지를 운영하면 인간의 팀으로는 어떤 식으로도 그 모든 데이터를 꼼꼼하게 살펴 추려낼 수 없을 것입니다. 다행히도, Elastic 머신 러닝 기능은 간단하게 이상 징후를 탐색할 수 있게 해줍니다. Elastic의 머신 러닝 전문가들과 함께 작업하여 GoDaddy는 RUM 중심의 머신 러닝 작업을 실행해왔고, 이를 통해 이상 징후를 쉽게 탐색할 수 있었습니다.
<blockquote>“전체적인 노력이라는 면에서, Elastic 팀을 활용하세요. 정말로 큰 도움이 됩니다. 우리는 아주 긴밀하게 협력해 왔으며, 자주 전화 통화를 하고, 모든 업데이트에 대해 완전히 개방된 커뮤니케이션 라인을 구축하여, 어딘가에서 문제가 생겨 어떻게 할지 모르게 되면 Elastic 팀을 이용합니다. Elastic 팀은 문제 해결의 전문가입니다.” - Felix Gorodishter, 수석 아키텍트, GoDaddy
</blockquote>페이지 로딩 시간의 임계값과 페이지 트래픽에 대한 매개 변수를 지정함으로써, GoDaddy 팀은 Elastic 머신 러닝 기능이 무엇이 정상이고 무엇이 비정상인지를 알아내는 작업을 처리한 다음, 문제가 있을 때마다 알려주도록 합니다. 머신 러닝은 불필요한 데이터를 차단함으로써 GoDaddy가 중요한 것에 집중할 수 있게 해줍니다.
GoDaddy가 어떻게 Elastic 머신 러닝 기능을 활용해 호스팅 사이트 성능을 모니터링하는지 알아보려면, <a href="/kr/elasticon/conf/2018/sf">Elastic{ON} 2018</a>의 <a href="/kr/elasticon/conf/2018/sf/stories-from-the-trenches-at-godaddy-how-big-data-insights-equal-big-money">GoDaddy 구현 사례: 빅 데이터에 대한 통찰이 큰 이익이 되는 방법(Stories from the Trenches at GoDaddy: How Big Data Insights Equal Big Money)</a>을 시청하세요. 아울러 제품 수용에 대한 비즈니스 KPI를 모니터링하기 위해 머신 러닝을 이용하는 흥미로운 방법들도 엿보게 되고 그 과정에서 배운 교훈에 대해서도 듣게 됩니다.
<a href="/kr/elasticon/conf/2018/sf/stories-from-the-trenches-at-godaddy-how-big-data-insights-equal-big-money"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1004b59c5e7fde10/5c304e93ad674d236e76489e/go_daddy_cohort_ml.jpg" data-sys-asset-uid="blt1004b59c5e7fde10" alt="" style="display: block; margin: auto;"></a>

go_daddy_banner.jpg

go_daddy_thumb.jpg

Improving the GoDaddy User Experience with Elastic Machine Learning

Elastic Machine Learning을 이용한 GoDaddy 사용자 환경 개선

Lyft가 왜 작업 로깅 솔루션을 자체 관리형 Elasticsearch로 옮겨 직접 관리하게 되었는지 알아보세요.

이 포스팅은 <a href="/kr/elasticon/conf/2018/sf">Elastic{ON}{ON} 2018</a>에서 이루어진 커뮤니티 대담을 요약한 것입니다. 이런 대담을 좀더 보고 싶으세요? 컨퍼런스 아카이브를 확인하시거나 <a href="/kr/elasticon">Elastic{ON}{ON} 투어</a>가 가까운 도시에서 개최되는지 알아보세요.
Amazon Elasticsearch Service와 Elastic 공식 Elasticsearch Service 간의 차이점에 대해 좀더 알아보고 싶으세요? <a href="/kr/aws-elasticsearch-service#full-comparison">AWS Elasticsearch</a> 비교 페이지에서 확인해 보세요.
Lyft는 전 세계적으로 매년 수억 건의 승차 서비스(2017년에만 3억 7,500만 건 이상)를 처리하고 모든 고객들이 정확한 목적지까지 도착하도록 하기 위해 강력한 기술 인프라가 필요합니다. 2017년에는 새해 전야(하루에 승차 서비스 2백만 건 이상)와 핼로윈(교통 집중 시간대에 분당 승차 서비스 2천 건 이상)처럼 이용이 급증하는 시간대의 경우 10,000개 이상의 EC2 인스턴스에 걸쳐 200개 이상의 마이크로서비스를 처리해야 한다는 뜻이었습니다. 이 모든 시스템과 승차 서비스가 계속해서 원활하게 굴러가도록 유지하려면 Lyft 엔지니어들이 모든 작업 로그에 액세스하는 것이 중요합니다. Michael Goldsby와 그의 가관측성 팀에게는 로그 파이프라인 서비스가 계속해서 흘러가야 한다는 뜻입니다. 
Lyft의 초창기 로깅 분석 시절에는 Splunk Cloud를 서비스 제공자로 이용했습니다. 그러나 계약의 보존 제한, 바쁜 기간 동안에는 최대 30분까지인 수집 백업, 그리고 확장과 관련된 비용으로 인해 Lyft는 Elasticsearch로 전환하기로 결정했습니다.
2016년 말에, 엔지니어 두 명으로 구성된 팀이 약 한 달에 걸쳐 Lyft를 Splunk로부터 AWS의 Amazon Elasticsearch Service로 이행할 수 있었습니다. Elasticsearch를 사용하게 된 것은 훌륭했지만, AWS가 제공하는 서비스 중에 일부는 완전하지 않았습니다. 한 가지 예를 들자면, Goldsby의 팀은 Elasticsearch 5.x로 업그레이드하고 싶었지만, 당시 AWS는 버전 2.3만 제공하고 있었습니다. 또한, 새 인스턴스는 Amazon EBS에만 저장하도록 제한되어 있었는데, 이것은 Lyft의 규모로 볼 때 성능과 안정성 면에서 최적이 아니었습니다. 그리고 모든 Elasticsearch API가 AWS에서 노출되지는 않았습니다. 그러나 AWS의 한계보다는 Splunk Cloud에서 전환할 경우 얻게 되는 혜택이 충분히 더 컸습니다.
수집 제한이 없어지게 되면서(또는 최소한 극적으로 증가하게 되면서), 가관측성 팀은 수문을 열고 “모든 로그를 전송하라”는 새로운 철학을 채택하기로 결정했습니다. 이로 인해 수집량은 분당 10만 개의 이벤트에서 분당 150만 개의 이벤트로 급증했습니다. 이 새 접근 방식을 통해 약 4달 동안 모든 것이 순조롭게 진행되었습니다. Goldsby의 팀이 수집 시간 제한, 보존 축소 또는 느린 Kibana 대시보드 등의 문제를 겪게 되었을 때, 이에 대한 해결책은 확장뿐이었습니다. 그리고 AWS 노드 제한인 20개에 이르렀을 때, 최대 40개의 노드까지 사용할 수 있도록 특별한 예외 허가를 받았습니다.
그러나 40개의 노드를 사용하더라도 문제가 있었습니다. 빨간색 클러스터 상태가 문제였습니다.
Goldsby의 팀은 빨간색 클러스터 문제를 (재시작, 노드 대체 등) 어떻게 해결해야 하는지 알고 있었습니다. 진짜 문제는 클러스터에 직접 액세스할 수 없다는 것이었습니다. 대신에, Amazon에서 티켓을 열어야 했고, 업무 집중 시간대 중에는 지원을 받기 위해 몇 시간이나 기다려야 할 때도 있었습니다. 그리고 나서도 지원팀에서는 클러스터에 액세스할 수 없다는 답변만 듣게 되고, 티켓은 상부로 이관되어야 했습니다. 결국 Lyft는 상부 이관 절차를 빨리 진행하기 위해 클러스터를 초록색 상태로 복구하는 작업을 처리하는 기술 계정 관리자(TAM)에게 직접 연락할 수 있다는 것을 알게 되었습니다.
어쩔 수 없이 지원팀이 개입해야 하는 상황, 2.3 버전의 한계, EBS 요건, AWS에서 부과하는 여러 제한 사항(라운드 로빈 부하 분산 체계, 60초 시간 제한, API 난독 처리 등) 등으로 인해, 가관측성 팀은 다시 한 번 전환하기로 결정했습니다. 이번에는 자체 관리형 Elasticsearch 배포였습니다. “[AWS에서는] 모든 기능을 사용하지 못합니다. 모든 버튼을 누를 수가 없죠.” Goldsby는 이렇게 말합니다. “우리는 사내에서 Elasticsearch 작업 경험은 충분히 했다고 느꼈습니다...그래서 우리도 해낼 수 있다고 생각했습니다.”
Splunk 마이그레이션을 다뤘던 팀보다 살짝 규모가 큰 팀을 통해, Lyft는 불과 2주 만에 Amazon Elasticsearch Service에서 자체 관리형 Elasticsearch로 마이그레이션할 수 있었습니다. 이제 이들은 자체 배포를 하게 되고, 전에 AWS에서는 제어되었던 모든 기능을 갖추게 되었습니다. 또한 클러스터를 초록색 상태로 유지하고 사용자들(공동 작업자들)을 행복하게 만드는 것을 포함해 Elastic Stack의 모든 작업 측면을 직접 책임진다는 뜻이기도 합니다.
<a href="https://www.elastic.co/elasticon">Elastic{ON} 2018</a>의 <a href="https://www.elastic.co/elasticon/conf/2018/sf/lyfts-wild-ride-from-amazon-es-to-self-managed-elasticsearch">Lyft의 대담한 승차 사례 - 작업 로그 분석을 위해 Amazon ES에서 자체 관리형 Elasticsearch로 마이그레이션(Lyft's Wild Ride from Amazon ES to Self-Managed Elasticsearch for Operational Log Analytics)</a> 대담을 시청하면서 Lyft가 어떻게 자체 관리형 Elasticsearch 배포를 구현했는지 알아보세요. 왜 서비스 품질 면에서 “모든 것을 로그하기 ≠ 아무 거나 로그하기”인지를 포함해 하드웨어 선택, 인덱스 수명 주기 관리 결정 등에 대해 모두 들어보실 수 있습니다.
<a href="/kr/elasticon/conf/2018/sf/lyfts-wild-ride-from-amazon-es-to-self-managed-elasticsearch"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt666fd2101df677e6/5c57e1848c741b010cbf6af9/lyft_thumb_play.jpg" data-sys-asset-uid="blt666fd2101df677e6" alt="lyft_thumb_play.jpg" style="display: block; margin: auto;"></a>

lyft_banner.jpg

lyft_thumb.jpg

Operational Logging at Lyft: Migrating from Splunk Cloud to Amazon ES to Self-Managed Elasticsearch

Lyft의 작업 로깅: Splunk Cloud에서 Amazon ES로, 그리고 자체 관리형 Elasticsearch로 마이그레이션

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Tony Sleva

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

제출하면 귀하가 <a href="/kr/legal/elastic-cloud-account-terms" target="_self">Elastic 서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 연락처로 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">선택한 커뮤니케이션</a>을 수신하는 데 동의한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/serverless-preview-terms" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

제출하면 <a href="/kr/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 서비스 약관</a>에 동의하시게 됩니다. 개인 데이터는 <a href="/kr/legal/privacy-statement">Elastic의 개인정보 취급방침</a>에 따라 처리됩니다.

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

제출하면 귀하가 Elastic <a href="/kr/legal/terms-of-use" target="_self">서비스 약관</a>을 읽고 이에 동의하며, 위에 제공된 세부 정보를 사용하여 Elastic이 관련 제품 및 서비스에 대해 귀하에게 <a href="/kr/legal/privacy-statement#how-we-use-the-information" target="_self">연락할 수 있음</a>을 이해한 것으로 간주됩니다. 언제든지 수신을 거부할 수 있으며 자세한 내용은 <a href="/kr/legal/privacy-statement/" target="_self">Elastic 개인정보 취급방침</a>을 참조하시기 바랍니다.

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

이 페이지의 콘텐츠는 선택하신 언어로 제공되지 않습니다. Elastic은 다양한 언어로 콘텐츠를 제공하기 위해 최선을 다하고 있습니다.조금만 더 기다려주세요!

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

내 표준 시간대로 웨비나 시작 시간 확인하기

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

참여가 어려우신가요? 등록하시면 녹화 자료를 보내드리겠습니다. 이메일로 관련 콘텐츠도 받아보실 수 있습니다.

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

이메일을 통해 관련 내용을 보내드리겠습니다.

Thank you for registering. We will send you a confirmation email soon.

등록해 주셔서 감사합니다. 곧 확인 이메일을 보내드리겠습니다.

Author

Articles by Tony Sleva

Elastic Machine Learning을 이용한 GoDaddy 사용자 환경 개선

Lyft의 작업 로깅: Splunk Cloud에서 Amazon ES로, 그리고 자체 관리형 Elasticsearch로 마이그레이션

Sign up for Elastic Cloud free trial