Oui.SNCF: 可视化数据以提高子部门效率

Oui.sncf 目前使用的控制面板有 400 个，一部分固定在壁挂显示器上显示，以便实时监控业务活动。这一改进能够实施，得益于 Elastic Stack 将公司网站和移动应用的数据编入索引，以及 Kibana 控制面板创建工具。这让子部门可以最大化他们的服务效率。

Dominique Debruyne 负责管理 Oui.sncf-Technologies 的大数据技术部门。他的当前目标是建立一个技术平台用来发送、存储、归档、处理和恢复最大限度的内部和外部数据源，以更好地了解企业的顾客、进行预测分析以及实施监控信息系统的性能。然而这些都是相对较新的任务。在 Oui.sncf-Technologies 负责研发、托管和部署 IT 工具以满足子部门需求时，Dominique Debruyne 的最初目标是保证关系数据库中存储的结构化数据的 QoS 和 SLA。

Dominique Debruyne 致力于始终都提供最优异的服务，因此希望他的同事和子部门都可以在使用大数据工具时拥有完全的自主权。鉴于此，他选择了用户友好的开源软件，方便适应不同的需求。

Oui.sncf 自 2013 年开始增加服务器，但是这一举动却影响了技术部门和子部门的效率。技术部门为了监控材料的正常运作，而不得不耗费时间将日志下载到 Windows 电脑上。而子部门则会收到一些请求，需要在杂乱无序拓展的 Oracle 数据库中尝试分析商业数据，这让系统速度变慢，子部门深受其困扰。

问题解决不及时会让客户体验好感度降低，进而直接影响销售。与此类似，系统速度慢让子部门回应客户请求的数量减少，继而影响业务效率。

移除细分数据的孤岛，并将它们全部放在一个可以生成 PDF 报告的 Hadoop 数据湖是当时提出的解决方法，但依旧不完美：这一方案需要额外的研发，而且对于问题检测过程的速度提升并不理想。于是大数据部门开始寻找能实时清晰明了地查看日志的解决方案。

在第一阶段首先安装了开源版本的 Elasticsearch 以索引和查找数据。Kibana（Elastic Stack 工具）是可视化部分的理想选择，优势很明显：故障排除速度极快，解决问题的时间从以前的几小时变为几分钟。从技术层面来讲，解决方案的安装和维护都简单方便。只要坚持执行良好的使用习惯，它就可以保持稳定。

Oui.sncf 现在配备了拥有 20 个服务器，存储 80 TB 数据同时每天摄取 2 TB 新信息的 Elastic Stack 专用集群。这些数据通常保存时间不会超过一个月，通过 Elasticsearch 进行索引，确保在需要时可以搜索到。

Apache Kafka 自 2017 年起加入架构，它允许峰值负载被吸收，同时防止 Oui.sncf 活动速度变慢。数据摄取目前由 Apache Foundation 开源项目 Flume 托管，但由于普及度降低，将很快由 Apache 的继任者 NiFi 替代。架构设计有利于运行预测分析功能及异常检测（由 X-Pack 提供的 Elastic 机器学习功能支持）。

考虑到要通过 Kibana 展示可视化，200 名用户就创建控制面板接受了培训，确保子部门可以完全自主研究感兴趣的标准。Dominique Debruyne 说基于筛选条件和时间标准创建 Kibana 控制面板总体来说非常简单。因为实在太简单，这已经成为了最佳实践主题：例如我们建议用户将研究限制为项目的单一名称，这样便无需深入研究所有数据，另外当用户不需要事件最新信息时，也无需刻意设置每 5 分钟自动刷新。

事实上新项目在研发时会使用预定义模块，子部门可以方便地访问新控制面板而无需大数据部门参与。

迄今为止，Kibana 已经通过 400 个控制面板运用在 50 多个项目上，每天处理 20 亿份文件。这其中有 200 个控制面板用于日常监控确保服务处于最大水平、查找待改进区域以及清楚掌握活动情况。

Kibana 提供的深入分析让企业的经营战略更加智能，因此便有了将这一概念推向人工智能的想法。目前研发的关注点在于 Oui.sncf 的网络安全。

最后，从个人角度来说，Elastic Stack 让 Dominique Debruyne 的团队更引人注目，成为了有高度战略意义的实体。