用户案例

从 Splunk 迁移至ES ,Elastic助力新东方低成本、高效率应对数据增长

“Elastic Stack给新东方的运维和信息安全提供了一个强大的数据支撑能力,对业务来讲则是提供了一个更高效的查询引擎。“

———新东方集团运维团队负责人 王威
  • 日志管理低成本、高效率——改用 Elastic 之后,日志处理量从使用 Splunk 时的每天70-100G提升到700-800G,而且成本大幅降低。
  • 问题定位快速准确,提升运维话语权——收集数据范围广泛,多维指标关联分析能够更快地找出问题,缩短解决时间,提升运维的话语权。
  • 标准基础服务加速研发迭代与创新——ES标准基础服务让开发人员无需自己搭建架构,专注于产品迭代与创新。
  • 毫秒级查询引擎迅速、精准——ES支持近实时的高并发数据量搜索,让查询更迅速、精准。

公司概览

新东方是中国最全面的民办教育服务提供商,线下网络囊括全国100多所学校、超过1360个学习中心,业务覆盖中国91个城市。近几年,这家运营近30年的“老牌教育公司”,为了能把优质服务扩展至更多的城市和学生,又重点发力OMO(Online-Merge-Offline,线上与线下融合)战略,累计已为超5540万人次学生提供服务。

从线下到线上,从传统教室到线上双师模式,对于新东方的整个技术系统,对于前端APP 和线上平台的响应能力,对于后端IT运维支撑与保障,都将带来一场史无前例的考验。

为何从 Splunk 改用 Elastic?

对于线上体验,学员们更加重视服务稳定和响应速度,而对于IT 运维团队来讲,他们则要不断监测和优化系统,保障平台日常安全稳定运转,以及大规模用户涌入平台时依然能够顺畅访问页面,因此,日志管理在其中发挥着重要作用。

在早期,新东方应用Splunk进行日志分析,为其提供业务洞见,当时每天处理数据量为70G-100G。但随着业务量和数据量增多,闭源的Splunk日志管理成本也在大幅提升,新东方一直在寻找Splunk的替代方案,以达到“量与成本”的平衡。

性价比更高的开源方案成为首选,而在开源文化中最流行和优秀的是ELK方案,恰好当时新东方应用的开源搜索引擎也出现了社区发展等问题,所以在2017年,新东方最终决定选择性能和扩展性更好的Elastic Stack,并尝试利用容器技术来进行管理,以降低ELK的总体拥有成本。 “如今,Elastic Stack日均处理数据量达到了700-800G,是应用Splunk时的8倍。”,王威介绍说。

而从业务角度讲,新东方对业务数据的搜索、查询和排序,此前一直依赖数据库,或在缓存里由工程师编写查询方法。但数据库性能较差,缓存中写也有相当大的难度,Elastic Stack提供了高性能的搜索、查询和排序能力,帮助新东方减少开发成本,同时提升开发系统的性能。

运维化“被动”为“主动”,提升话语权

对于IT 运维团队来讲,每天TB级以上的日志管理和全域、全流量安全感知是最基本的工作,他们要不断监测和优化系统,保障大规模用户涌入平台时系统能稳定运转。

在应用Elastic Stack之前,运维人员日志处理的多是事件触发性、故障处理型任务,若监控不报警则很难发现问题所在,处于非常被动的状态。而通过ES丰富的日志分析能力,运维人员收集数据的范围越来越广泛,包括系统、PV/UV(页面浏览量/访客数)、安全、规范、业务埋点和日志查询等等。

王威表示:“对这些多维指标和跟踪信息进行关联分析,我们能够更快地找出根本原因,如某接口的算法错误导致阻塞,并最终缩短解决时间,这大大提升了运维的话语权,更好地赋能一线研发人员。”

而安全分析的数据更加分散,各种边界、应用和主机设备中搜集出的网络流量镜像、WAF数据、Windows AD 域认证日志、SSH登陆日志和服务器性能数据等,利用ES将其进行汇集后,进行近实时全流量协议解析和分析,并基于特定逻辑进行安全事件、DDOS、病毒等预警之类的规则编排。“相比通过大数据技术进行安全分析,我们通过Elastic Stack完成安全分析的效率要高得多。” 王威介绍到。

ES 标准基础服务,让研发人员快速迭代与创新

从幼儿园、小学、中学、大学和出国留学,新东方几乎涉及了每一个教育领域,业务矩阵之复杂,国内几乎找不到第二家,这也决定了新东方的研发力量特别足,他们需要对各条产品线的每一个功能、每一个细节进行持续迭代和优化,解决一切影响用户体验和教学效果的问题。

作为一个PaaS平台中间件,Elastic Stack不仅提供高 SLA 保障、高性能和低成本,还起到架构规范和标准基础服务的作用,新东方的各研发团队只要申请内部槽位,无需自己搭建架构,就可即开即用,还免除了后续的版本升级、维护问题,开发效率大幅提升,有更多精力专注于迭代和创新。

“同时新东方的在线业务系统已经全面拥抱Elastic Stack,形成了写数据库读Elastic Stack的架构,对研发人员来讲就是简单、敏捷和标准!”,王威介绍说。

高效搜索引擎提升中台能力,让查询更迅速、精准

现在教育领域都在向业务中台化发展,中台能力就是能够为所有前台提供一个高效、快速的数据查询和服务支撑,对性能的要求相比单体系统要严格许多,新东方中台架构底层数据就构建在Elastic Stack上,整体脱离了对数据库的依赖。

对于学员来讲,要在几万门课程中查询所需的学区、校区、关注课程乃至心仪的老师;新东方则要通过搜索学员以往的学习历程,确定其销售规则和计算优惠策略,比如续费、扩报、抢座等。晚上8点是其线上平台的流量高峰,学员们都会在课程中心查询作业,并发量很高,还有针对优秀老师的报名抢座,搜索量级也会突增,所以匹配的查询请求需要毫秒级的时间响应。

王威表示:“诸多类似场景都在大量依赖Elastic Stack,产品支持近实时的高并发数据量搜索,让我们的查询更精准。现在新东方每天日均搜索数据量达1TB,并发查询每秒2.5万次。”

未来的 Elastic 路线图

从运维来讲,仅仅对日志进行分析和监控还远远不够的,很多故障解决需要结合APM数据进行综合分析,新东方正在探索应用Elastic APM模块和机器学习进一步提升AIOps智能运维能力。此外, 还会加强多集群的容灾能力,进一步提升ES服务的稳定性。

“应用Elastic商业版后,我们获得了更好的技术支持,确保了SLA稳定性,同时在频繁升级版本时避免的了风险发生,Elastic每次技术迭代都契合了行业需求,我们将会Elastic有长久的合作。”王威说到。

  • 招聘中

    就职于一个全球分布式的团队,只需通过一次 Zoom 会议,就可在团队中找到与您工作方式相同的同事。具有影响力地灵活工作?从一开始就有发展机会?