Elasticsearch、Kibana 和 Elastic Cloud 7.16 版:集成和更加行之有效的见解

thumbnail.png

随着 Elastic 7.16 版的发布,无论是何种用例,都可以比以往更轻松地以安全方式大规模收集、存储、搜索和分析数据。探索 ServiceNow 等第三方解决方案和 Amazon Web Services (AWS) FireLens 等云原生集成,让数据具有可操作性,并精简跨团队和系统的工作流。

此外,通过对 Elasticsearch 的功能改进,7.16 版提高了性能并最大限度地提升了资源利用率,使用户能够为 Kibana 可视化添加更多的背景信息,等等。

准备好撸起袖子开始体验了吗?以下为您准备了开始体验要用到的几个链接:


通过集成来收集和关联数据的新方法

轻松从数据转化为见解

借助我们不断壮大的集成库(包括适用于 Microsoft Azure、Google Cloud 和 AWS 的原生集成),让您能够轻松地跨应用程序、基础架构、公共内容源等收集和关联数据。

在 7.16 版中,Kibana 新增了一个一体化的集成 UI,可以更快地找到从新数据源采集数据的方法 — 只需单击几下,即可实现支持 Elastic Agent 的集成。通过该集成 UI,您可以搜索 Elastic Agent、Beats、Logstash、Elastic App Search 网络爬虫、Workplace Search 内容来源连接器和 Elasticsearch 语言客户端支持的所有集成。

videoImage

开发人员、从业人员和分析师都可以从同一个平台开始探索,并使用最适合他们需求的采集方法。而且,随着更多支持 Elastic Agent 的集成正式发布,用户在处理定制采集管道和编辑长 YAML 文件方面花费的时间会更少,从而让他们有更多的时间使用 Elastic Stack 探索数据。


精简 ServiceNow 工作流

videoImage

针对现有 IT 服务管理 (ITSM) 和安全事件响应 (SIR) 集成且由 ServiceNow 认证的新应用程序,以及针对 IT 运营管理 (ITOM) 的新集成,提高了在应用程序、安全或基础架构方面生成 ServiceNow 事件的自动化程度,并减少了人工归档事件和重复记录信息所花费的时间和资源。

这些更新都有助于团队确保在使用 Elastic 源数据来生成和更新事件及案例时,始终使用 ServiceNow 中的最新信息。团队可以在 Kibana 中为可观测性和安全用例定制告警规则,以自动跟进并将案例可观测数据推送到 ServiceNow,从而丰富调查信息。随着 Elastic 继续与 ServiceNow 合作,进一步深化这些集成,我们会推出更多功能,让工作流变得更加精简。

通过新的 AWS FireLens 原生集成降低运营复杂性

videoImage

我们很高兴地宣布,通过原生集成 AWS FireLens,现在可以轻松地将数据采集到 Elastic Cloud。AWS FireLens 是一种适用于以下 Amazon Elastic Container Service (Amazon ECS) 启动类型的容器日志路由器:Amazon Elastic Compute Cloud (Amazon EC2) 和 AWS Fargate。现在,您可以使用 ECS 和 Fargate 日志来进一步提高 AWS 工作负载的可观测性和安全性,而无需安装和管理独立的数据采集器。借助简化的数据架构,更快地将数据采集到 Elastic Cloud,并降低运营复杂性。

性能更佳,TCO 更低

在 7.16 版中,我们引入了多项功能,旨在改进性能、提高弹性并减少磁盘和内存使用量 — 从根本上降低您的总体拥有成本。

扩展到新高度

现在,数据节点上每个字段的堆消耗更低,您可以充分利用这一优势。测试表明,在 7.16 版之前,数据节点上的 1,000 个 Beats 索引需要 4GB 的堆来存储数据结构,而现在只需几百兆。搜索速度也有了显著提高 — 以前需要将请求扇出到与索引模式匹配的每个分片上,但现在已减少到每个节点一个请求。通过降低堆消耗和优化分片请求,让您能够进一步扩增数据,并将 Elasticsearch 集群扩展到新的高度。

Elasticsearch 的性能提升

Elasticsearch 7.9 版引入的事件查询语言 (EQL) 是一种关联语言,可匹配不同时间跨度的事件,以获取基于事件的时序数据,例如日志、指标和痕迹。在 7.16 版中,我们通过放弃在序列中使用空值作为连接键来改进 EQL 性能,从而在性能上实现了超过 830 倍的惊人提升!

此外,search_after 在排序的长字段(包括时间戳)方面,性能也有了大幅提升。我们为 Lucene 开发并提供了这一重要功能,并立即在 Elasticsearch 7.16 版中进行了公开发布。得益于这项更改,不管是在按时间戳排序的机器生成数据的索引中检索结果,还是进行不需要聚合信息的查询,您都可以享受到最高达 4 倍的性能提升。如需更深入、更完整地了解这项更改的说明,请查阅我们关于优化 Elasticsearch 中的排序查询的博文。

最后一点是,7.16 版中正式发布的矢量磁贴 API,在搜索地图上绘制的 geo_pointsgeo_shapes(通过使用矢量磁贴实现)时,性能和可扩展性都有了巨大提高。这个新 API 标准和类型不同于我们其他会返回 JSON 的 API,它返回的是 MapBox 矢量磁贴规格,任何支持这种格式的地图都可以轻松进行呈现。

将两种 API 放在一起比较,优势显而易见。通过将这些计算转移到本地 GPU,可显著提高性能,从而提供平滑和可扩展的缩放体验。

videoImage

在平滑和可扩展方面,有矢量磁贴(左)和无矢量磁贴(右)的用户体验对比。请注意,右侧视频是以 2 倍速播放的,但仍然跟不上左侧视频的速度。

这种对矢量磁贴的更改,意味着几何图形的简化是在数据节点上完成的。这样一来,与最终用户以及集群内数据节点和协调节点之间的通信数据就会减少,这不仅对性能和可扩展性产生潜在影响,而且还会降低总体拥有成本。

Elastic Stack 和 Elastic Cloud 的其他更新

Kibana

  • 了解自己是否达到了目标:Kibana 可视化中的参考线可以帮助您根据目标、警告区域和其他对团队和组织有意义的度量标准跟踪各种指标。在可视化中使用这些参考线来表示阈值、关键结果和性能标准,以更有说服力的方式描述数据。
  • 升级到 8.0 及更高版本:升级助手会显示在升级集群之前需要完成哪些步骤,并标识出 7.16 版配置中 Elasticsearch 或 Kibana 已弃用的设置。该助手不仅会指导您完成解决任何问题的过程,而且还会为下一步的决策提供额外的背景信息。更多信息,请查阅这个 ElasticON 讲座
  • 轻松监测转换运行状况:借助 Kibana 告警的新规则类型,您能够在 Machine Learning 的持续转换遇到操作问题时随时了解情况。这包括检查转换是否已停止索引数据或者是否处于失败状态。
  • 阅读 Kibana 文档,了解有关 7.16 版功能的更多信息。
Kibana 可视化中的参考线可为指标提供更多的背景信息。

Elastic Cloud

  • 在欧洲、中东和非洲 (EMEA) 的三个新区域使用 Elastic Cloud on AWS:现在,您可以在巴林、开普敦和米兰的 AWS 上运行 Elastic Cloud 部署。我们增加了对中东(巴林)、非洲(开普敦)和欧洲南部(米兰)地区的支持,因此您可以在由 3 家云服务提供商提供支持的超过 45 个地区进行搜索、观测和保护您的应用程序、数据和基础架构。请访问我们的区域页面,查看我们支持的所有区域。
  • 多用户访问:您是否知道可以利用多用户访问来邀请多个用户在 Elastic Cloud 中的单个组织下进行协作?属于同一组织的所有用户都可以轻松创建、删除和操作与该组织关联的 Elastic Cloud 部署。这样就不需要在多个用户之间共享一组凭证了。更多详情,请阅读我们的博客


Elasticsearch

  • 预构建的 ILM 策略:在 7.16 版中,我们纳入了五个内置的索引生命周期管理 (ILM) 策略,您可在这些策略的基础上,改用定制的 ILM 策略。
  • 喜欢 Logstash Grok?Grok 处理器通过引入 Logstash Grok 筛选器的 ECS 模式,现在可支持 Elastic Common Schema (ECS)。
  • 试一试文本分类聚合在 7.16 版之前,文本分类仅用于 Machine Learning 异常检测。现在无需执行异常检测作业即可实时查找和探索文本类别。比如,回答“在网络延迟期间发生了哪些日志消息类型?”或“升级后会看到哪些典型的日志消息?”之类的问题。
  • 阅读 Elasticsearch 文档,了解有关 7.16 版功能的更多信息。

立即试用

现有 Elastic Cloud 客户能够直接从 Elastic Cloud 控制台访问其中的许多功能。如果您刚刚使用 Elastic Cloud,请查看我们的快速入门指南(助您快速入门的培训短视频),或我们的免费基础知识培训课程。您随时可以开始体验 Elastic Cloud 的 14 天免费试用计划,或免费下载 Elastic Stack 的自管型版本。

阅读 7.16 版发行说明(ElasticsearchKibanaElastic CloudElastic Cloud on Kubernetes),了解以上功能及更多信息;此外,Elastic 7.16 版发布博文中还介绍了 Elastic 7.16 版的其他亮点。

本博文所描述的任何特性或功能的发布及上市时间均由 Elastic 自行决定。当前尚未发布的任何特性或功能可能无法按时提供或根本不会提供。

  • 招聘中

    就职于一个全球分布式的团队,只需通过一次 Zoom 会议,就可在团队中找到与您工作方式相同的同事。具有影响力地灵活工作?从一开始就有发展机会?