从 Splunk 迁移到 Elastic (ELK) Stack:数据迁移 | Elastic Blog
工程

从 Splunk 迁移到 Elastic Stack:数据迁移

Splunk 在大约 20 年前刚发布的时候,凭借基于每天所采集数据量的定价模式,的确帮助很多公司/组织发挥了日志的强大效力,提供了业务洞见。在过去二十年间,系统和用户所产生数据的规模和种类,以及产生数据的速度均呈指数增长。业务和运营部门的需求很快便不再局限于合规性和基础报告。开发方法和监测要求都在飞速发展,同时由于越来越需要通过 Machine Learning 来从数据中获得洞见,人们对实时搜索能力提出了要求。 

公司/组织达到了数据上限(亦叫做“Splunk 峰值”)

如今,公司/组织需要能够在几毫秒内搜索 PB 量级的数据,从而获得有关运营的实时洞见,为 Machine Learning 系统提供支持,并基于业务发展速度进行扩展。由于 Splunk 采用基于所采集数据量的定价体系,费用之高让人不禁望而生畏。再加上 Splunk 技术在可扩展性方面比较困难,很多公司/组织都遇到了“Splunk 峰值”问题,也就是他们再也无法承担向系统中添加更多数据所需的成本。这些公司/组织通常需要舍弃对安全和可观测性用例而言十分宝贵的数据。让事情更为复杂的是,Splunk 的付费应用程序采用不同的定价模式,而且其中有一些是在完全不同的平台和架构上构建起来的,致使人们在使用这些迥然不同的工具时很难预估成本,也很难管理基础设施。Splunk 最近弃用了永久许可证,这一点也促使很多公司搜索新的解决方案。

Elastic 创建之初所针对的就是搜索用例,所以产品的基本理念便是注重速度和可扩展性。速度和可扩展性方面的优势也推动我们推出了越来越多的解决方案,且所有这些解决方案均基于单一堆栈构建而成。由于 Elastic 采用灵活的开源许可证模式,同时针对付费产品采用基于资源的公平定价模式,这两点使得越来越多的公司/组织选择从 Splunk 迁移到 Elastic。

Elastic 的一大关键优势是其采用开源许可证模式,通过这一模式,用户无需购买许可证便能上手使用。这一许可证授予了很多权限,甚至允许开发人员将 Elasticsearch 集成到自身产品中。如果开发人员决定利用付费功能,例如 Machine Learning、APM、跨集群复制、端点安全性或编排工具,他们只需简单地升级许可证。开发人员无需部署其他工具、单独的基础设施或者其他硬件。另外,开源模式还有助于降低成本,让您在管理与开发、测试和生产相关的多个环境时,更好地控制相关费用。

简单四步将 Splunk 数据迁移至 Elastic

由于 Elastic 与 Splunk 相比有很多独特优势,很多公司/组织都纷纷改用 Elastic。在迁移过程中,这些公司/组织中有很多都向我们咨询最佳实践事宜。尽管不能通过简单的一键式操作便完成数据平台的迁移,但还是有一些简单的技巧可供参考。

第 1 阶段:找出尚未采集到 Splunk 中的数据源

第一步很简单,看看哪些数据源尚未采集到 Splunk 中,无论是出于费用考虑(许可证),还是存在技术限制。这些通常都是数据量很大的数据源,例如 DNS、DHCP、端点以及应用程序日志。开始将这些之前并未触及的数据源采集到 Elastic 中,这能够允许公司/组织在上手使用 Elastic Stack 的同时,构建新用例。您很快便能开启使用之旅,既可下载免费的 Elastic Stack 基础版分发包,也可免费试用 Elasticsearch Service on Elastic Cloud 以便快速完成部署。

第 2 阶段:清点需从 Splunk 迁移至 Elastic 的数据源

如需为迁移至 Elastic 做好充分规划,很重要的一点就是清点 Splunk 目前从哪些数据源采集数据。通过下面的 SPL 查询可以很轻松地进行清点:

| eventcount summarize=false index=* index=_* 
| dedup index
| fields index
| map maxsearches=100 search="|metadata type=sourcetypes index=\"$index$\"
| eval index=\"$index$\""
| fields index sourcetype

在 Splunk Search 应用程序中运行该查询后,您可以选择将数据源列表以各种不同格式导出。

第 3 阶段:将现有的数据流从 Splunk 迁移至 Elastic

Beats 是我们的数据采集器系列产品,可用来将数据从数千个系统发送到 Elastic。然而,很多 Splunk 用户可能已在系统中使用 Splunk 的 Universal Forwarder(通用转发器)。在迁移之初,您可以使用 Splunk Universal Forwarder 将数据分流至 Elastic Stack。遗憾的是,针对如何通过 Universal Forwarder 将数据发送至第三方系统,Splunk 设置了技术和许可限制,因此您最好查看一下相关文档和许可证以确定最佳方法。您逐渐地应该能够用 Beats 模块替代 Universal Forwarder,从而改善灵活性、安全性和可靠性。Elastic 咨询团队在应对难以处理的自定义数据源方面拥有丰富经验,可在迁移过程中为您提供协助。

第 4 阶段:将旧数据从 Splunk 迁移到 Elastic

尽管大部分公司/组织开始时会使用新数据,但通常也有一些用例需要将旧数据从 Splunk 迁移至 Elastic。要实现这一目的,有很多种方法可供选择,具体取决于您的数据量。最简单的方法就是从 Splunk 界面中将数据导出,请参阅 Splunk 文档。 

将较小的数据集以 CSV 或 JSON 格式导出,并导入 Elasticsearch

您还可以使用 Splunk API 来导出数据,或者通过 ODBC 建立连接。方法有很多,具体取决于您的用例、数据量以及您所处理的数据类型。

迁移方面的最佳实践

尽管上面的四步能够帮助贵公司/组织进行规划并将数据从 Splunk 迁移至 Elastic,但您还需要对团队进行培训。我们的 Kibana for Splunk SPL Users(面向 Splunk SPL 用户 Kibana)培训课程旨在帮助您的团队完成这一过渡。我们还提供咨询服务来帮助您完成迁移过程。 如果您想看一下其他公司如何成功地从 Splunk 改用 Elastic,并且提升了投资收益率、速度和可扩展性,欢迎查看来自存储服务提供商 Box 和网约车公司 Lyft 的成功案例。同时您还可以在 Splunk 替代方案页面上了解更多信息;如有具体疑问,欢迎随时与我们联系。