了解 GoDaddy 从使用彼此隔离的集群，到采用集中式 Elasticsearch，再到通过 Machine Learning 改善用户体验和跟踪业务 KPI 的整个过程。

这篇文章回顾了在 <a href="/cn/elasticon/conf/2018/sf">Elastic{ON} 2018</a> 活动上发表的社区演讲。想了解更多这样的讲座吗？查看会议档案或了解 <a href="/cn/elasticon">Elastic{ON} Tour</a> 何时会到您附近的城市举办。
GoDaddy 是著名的网络托管和域名注册公司，因为最近几年凡看过超级碗比赛的人都看过这家公司的广告。该公司有超过 170 万客户，管理着 7,500 万个域名和超过 1,000 万个托管网站，同时他们对大数据也可谓深谙此道。要保证网站正常运行，必须拥有针对每个基础设施的深刻洞见，从虚拟服务器补丁级别，到偶尔的网络故障，再到恶意攻击，都必须尽在掌握之中。由于每秒收到的消息（DNS 查询、系统日志、业务活动，等等）数量超过 20 万条，所以这肯定是一项艰巨的工作，但是面对如此大规模的数据量，Elastic Stack 仍能确保速度，并圆满完成这项任务。 
GoDaddy 使用 Elasticsearch 的历程与其他使用开源软件的公司十分相似。公司内很多不同的团队都设置了各自的集群，来满足自己的具体需求。这的确能完成任务，但是这种疏于管理的部署模型却也有很大弊端，那就是他们使用数百个运行着各种 Elasticsearch 版本的集群来分析彼此隔离的数据。在知道有更好的方法后，他们于 2014 年组建了一个团队来管理 Elasticsearch 的部署工作。这个团队目前管理着 60 多个 Elasticsearch 集群，涉及 700 多个 Docker 容器，全公司各个团队的数据源都汇集到这里。这些集群包含超过 270 TB 的数据，这些数据均来自他们的 HDFS 环境（11 PB）。
他们新成立 Elasticsearch 团队最初的用例之一即是管理整个生态系统中补丁的合规性。在 2014 年（那时 <a href="/cn/products/beats">Beats</a> 尚未推出），GoDaddy 开发出了 Windows 和 Linux 代理（与 <a href="/cn/products/beats/auditbeat">Auditbeat</a> 和 <a href="/cn/products/beats/winlogbeat">Winlogbeat</a> 类似）以将系统数据发送至 Elasticsearch。在他们的所有服务器（裸机和虚拟机）上都安装这些代理后，GoDaddy 能够获得关于整个基础设施的补丁水平和合规性的宝贵洞见。此外，通过利用 Kibana 内的不同仪表板和可视化，他们不仅能轻松地向管理员和工程师提供细粒度的补丁信息，还能向企业高管提供高屋建瓴的业务报告；由于能够访问一模一样的集中式数据，所有人都能理解一致。
维护服务器补丁水平十分重要，因为只有这样才能保证网站流量不断流动，而这一流动恰可以帮助吸引用户。如果网站加载速度慢，访客就会前往别的网站。所以，为了给数以百万计的用户打造卓越体验，GoDaddy 深知他们需要跟踪数据中心的运行表现，还需要了解这些表现对访客造成了哪些影响。他们已经拥有需要的全部数据（因为他们系统的每个组件都会产生日志），但是他们需要一种方式来整体查看。
<h2>集中式日志，结合用以检测异常状况的 Machine Learning</h2>GoDaddy 需要将各种各样的性能和互动数据集合集中起来进行分析，Elastic Stack 正好能够满足这一需求。通过将 NetFlow 数据、sFlow 数据、真实用户体验 (RUM) 以及对等连接关系和路由数据发送至 Elasticsearch，他们能够获得有关用户体验和系统表现数据的详细得多的视图——只有同时分析所有不同的数据源，才能达到这种详细程度。从那时起，GoDaddy 在 <a href="/cn/products/stack/machine-learning">Elastic Machine Learning</a> 功能的帮助之下，开始更进一步利用那些数据。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb09951bb4979ea15/5c304e986e9992e16f52993d/go_daddy_RUM.jpg" data-sys-asset-uid="bltb09951bb4979ea15" style="display: block; margin: auto;">
能够将堆积如山的系统数据集中到一起固然很好，但要想跟踪问题却仍是个难题。GoDaddy 会跟踪用户的每次点击操作和网站互动，但是由于在全球范围有数百万个网页，没有任何手工操作团队能够完全筛查全部这些数据。幸运的是，借助 Elastic Machine Learning 功能，他们轻松便能完成异常检测工作。通过与 Elastic 的 Machine Learning 专家通力协作，GoDaddy 得以实施专注于 RUM 的 Machine Learning 作业，从而大大简化了异常检测工作。
<blockquote>“说到整体的工作量，一定要充分利用您的 Elastic 团队。他们能够给予极大的帮助。 我们双方之间的合作十分密切，会经常沟通，他们会就所有更新提供完全透明的沟通信息，当你止步不前时，可以向他们求助。 他们在这一方面的表现真的很棒。” - Felix Gorodishter，GoDaddy 首席架构师
</blockquote>通过指定页面加载时间阈值以及有关页面流量的参数，GoDaddy 团队会让 Elastic Machine Learning 功能学习何为正常状况、何为异常状况，然后无论何时出现问题，都能借助此功能得到通知。Machine Learning 能够剔除无用信息，从而让团队专注于重要事务。
想了解 GoDaddy 是如何借助 Elastic Machine Learning 功能来监测所托管网站性能的吗？欢迎观看 <a href="/cn/elasticon/conf/2018/sf/stories-from-the-trenches-at-godaddy-how-big-data-insights-equal-big-money"> GoDaddy 实际案例分享：为什么说大数据洞见就是金钱</a>（Stories from the Trenches at GoDaddy: How Big Data Insights Equal Big Money，<a href="/cn/elasticon/conf/2018/sf">Elastic{ON} 2018</a> 活动上的演讲）。您可以从中一窥他们通过哪些有趣的方式来使用 Machine Learning，以监测与产品采用率有关的业务 KPI，还可以了解它们在这一过程中收获的经验教训。
<a href="/cn/elasticon/conf/2018/sf/stories-from-the-trenches-at-godaddy-how-big-data-insights-equal-big-money"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1004b59c5e7fde10/5c304e93ad674d236e76489e/go_daddy_cohort_ml.jpg" data-sys-asset-uid="blt1004b59c5e7fde10" alt="" style="display: block; margin: auto;"></a>

go_daddy_banner.jpg

go_daddy_thumb.jpg

Improving the GoDaddy User Experience with Elastic Machine Learning

Elastic Machine Learning 帮助改善 GoDaddy 的用户体验

了解为什么 Lyft 使用自管型 Elasticsearch 自行管理运营日志解决方案。

这篇文章总结了在 <a href="/cn/elasticon/conf/2018/sf">Elastic{ON} 2018</a> 上的用户发言。想了解到更多此类谈话内容？请查看会议档案，或了解 <a href="/cn/elasticon">Elastic{ON} Tour</a> 何时会在您附近的城市举办。
希望深入了解 Amazon Elasticsearch 服务和我们官方 Elasticsearch 服务之间的区别？请访问我们的 <a href="/cn/aws-elasticsearch-service#full-comparison">AWS Elasticsearch</a> 对比页面。
Lyft 需要一种强大的技术基础架构来处理全球每年上亿次的乘车需求（仅 2017 年就超过 3.75 亿次），确保所有客户抵达他们的目的地。在 2017 年，这意味着要在超过 10,000 个 EC2 实例中运行 200 多个微服务；在乘车高峰期，这个数字还会增加，比如新年前夜（一天超过 200 万次乘坐）和万圣节（高峰期每分钟超过 2,000 次乘坐）。为保持这些系统和乘坐服务持续正常运行，Lyft 工程师必须能够访问所有运营日志。对于 Michael Goldsby 及其可观察性团队来说，这意味着要保持日志管道服务流畅通。 
在 Lyft 的早期日志分析中，他们采用了 Splunk Cloud 作为服务提供商。但由于 Splunk Cloud 合同的保留期限制、繁忙期最多 30 分钟的备份采集限制，以及与扩展相关的成本，使得 Lyft 决定改用 Elasticsearch。
2016 年底，由两名工程师组成的团队在大约 1 个月内，就成功地将 Lyft 从 Splunk 迁移到 AWS 上的 Amazon Elasticsearch 服务。虽然切换到 Elasticsearch 很强大，但有部分 AWS 产品并不完美。一个例子是，Goldsby 团队希望升级到 Elasticsearch 5.x，但 AWS 那时只有版本 2.3。此外，新实例必须使用 Amazon EBS 进行存储，这在性能和可靠性方面，对于 Lyft 的规模都不是最佳选择。而且，并非所有 Elasticsearch API 都在 AWS 上公开。但这些 AWS 限制还不足以抵消从 Splunk Cloud 迁出所带来的好处。
随着采集限制的消除（或者至少显著增加），可观察性团队决定打开闸门，并采用一种新的理念：“将所有日志发送给我们。” 这样会使其采集速率从每分钟 10 万个事件快速增长到每分钟 150 万个事件。通过这一新方法，运营在约 4 个月内保持良好。当 Goldsby 团队遇到采集超时、保留期缩短或 Kibana 仪表板响应缓慢的问题时，他们需要做的就是扩展。当他们达到 AWS 节点限制 20 时，被特许增长到了 40 个节点。
但即使具有 40 个节点，也仍然有问题。这就是红色集群问题。
红色集群是 Goldsby 团队知道如何修复（重启、更换节点等）的问题。真正的问题是，他们无权直接访问集群，只能向 Amazon 开立票证，在高峰期间有时需要等数小时才能获得支持人员的答复。接下来，由于一线支持人员无法访问集群，因此还需要上报票证。最终 Lyft 了解到，要加速上报过程，他们可以直接联系技术客户经理 (TAM)，通过此角色来使集群恢复到绿色。
鉴于这种不可避免的支持干预、2.3 版本限制、EBS 要求和 AWS 施加的其他限制（轮循机制负载平衡、60 秒超时、API 混淆等），可观察性团队再次决定改换解决方案，这次的目标是部署自管型 Elasticsearch。“[在 AWS] 您不会获得所有功能。并非所有按钮都由您掌控。”Goldsby 说道，“我们认为，公司内部有足够的 Elasticsearch 运营经验，…[因此]能够实现自我管理。”
Lyft 建立了一个比从 Splunk 迁出时规模略大的团队，在短短两周内就从 Amazon Elasticsearch 服务迁移到了自管型 Elasticsearch。现在他们有自己的部署，以及之前 AWS 中提供的所有功能。这还意味着，他们负责 Elastic Stack 的所有运营方面，包括使集群保持绿色，以及让他们的用户（同事）开心。
通过观看 <a href="/cn/elasticon">Elastic{ON} 2018</a> 的 <a href="/cn/elasticon/conf/2018/sf/lyfts-wild-ride-from-amazon-es-to-self-managed-elasticsearch">Lyft 野外乘坐服务从 Amazon ES 迁移到自管型 Elasticsearch 以进行运营日志分析</a>的发言，了解 Lyft 如何实施自管型 Elasticsearch 部署。您将听到有关硬件选择、索引生命周期管理决定等的所有内容，包括为什么在服务质量方面，“记录所有内容 ≠ 记录任何内容”。
<a href="/cn/elasticon/conf/2018/sf/lyfts-wild-ride-from-amazon-es-to-self-managed-elasticsearch"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt666fd2101df677e6/5c57e1848c741b010cbf6af9/lyft_thumb_play.jpg" data-sys-asset-uid="blt666fd2101df677e6" alt="lyft_thumb_play.jpg" style="display: block; margin: auto;"></a>

lyft_banner.jpg

lyft_thumb.jpg

Operational Logging at Lyft: Migrating from Splunk Cloud to Amazon ES to Self-Managed Elasticsearch

Lyft 运营日志：从 Splunk Cloud 迁移到 Amazon ES 再到自管型 Elasticsearch

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Tony Sleva

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Tony Sleva

Elastic Machine Learning 帮助改善 GoDaddy 的用户体验

Lyft 运营日志：从 Splunk Cloud 迁移到 Amazon ES 再到自管型 Elasticsearch

Sign up for Elastic Cloud free trial