Elastic 7.11 重磅发布:可搜索快照和新冷层的正式版以及读时模式的公测版
我们非常高兴地宣布 Elastic 7.11 版正式发布。这一新版本为基于 Elastic Stack(包括 Elasticsearch 和 Kibana)构建的 Elastic 企业搜索、可观测性和安全解决方案带来了大量新功能。通过这一版本,您可以使用可搜索快照功能正式版和读时模式公测版,在成本、性能、见解和灵活性方面实现优化。
Elastic 企业搜索中公测版的新网络爬虫一经推出,从可公开访问的网站搜索内容就此变得轻而易举。Elastic 可观测性新增了服务运行状况和主机详情视图,能够提供更强大的根本原因分析、故障排除和应用程序可观测性。Elastic 安全中新增了预构建检测规则和 Machine Learning 作业以及可定制的告警通知,使得检测和修复流程都得到了提升,并且统一的分析人员工作区也极大简化了安全运维 (SecOps) 流程。
同时,我们还宣布了对 Elastic Cloud 的多项关键改进,Elastic Cloud 是非常优秀的 Elastic 托管服务,也是唯一一项包含我们解决方案的服务。Elastic Cloud 为可搜索快照、自动缩放数据和 Machine Learning 节点提供了丰富的支持,并通过增强的跨集群复制 (CCR) 和跨集群搜索 (CCS) 提高了可用性,增强了搜索性能。Elastic 7.11 现已在 Elastic Cloud 正式推出,这是唯一一个包含最新版所有新功能的托管型 Elasticsearch 产品。您也可以下载 Elastic Stack 以及我们的云编排产品(Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes)进行自管型部署。
正如此前宣布的那样,Elastic 将在 7.11 版中变更 Elasticsearch 和 Kibana 的许可选项。我们将把根据 Apache 2 许可授权的代码变更为采用 Elastic 许可 + SSPL 的双重授权许可模式。此外,我们还对 Elastic 许可进行了重大更新,以简化内容,并使许可授予条件更加宽松。我们的分发版和所有免费及付费功能的源代码均基于 Elastic 许可 v2 提供,免费核心功能的源代码则基于 SSPL v1 提供。对于我们的客户或是绝大多数的社区用户,此次变更不会对他们有任何影响。
请继续阅读,探索这一版本的关键亮点。如需了解全面的功能介绍,请详阅各篇介绍解决方案和产品的博文。
Elastic Stack
通过将可搜索快照存储在低成本对象存储服务和新的冷数据层中,可保留和搜索更多数据。
借助可搜索快照功能,您可以搜索存储在低成本对象存储服务(如 AWS S3、Microsoft Azure Storage 和 Google Cloud Storage)中的快照数据,以更优的方式在以下三个方面做出权衡选择:存储成本、搜索性能,以及从 Elasticsearch 集群的数据中所获洞察的深度。可搜索快照可以显著降低存储成本;它们支持一种新的冷层功能(该功能现已正式发布,而且在 Elastic Cloud 中也已正式推出),最多可将基础架构成本降低 50%,同时将对性能的影响降至最低。
在运行时字段中利用读时模式,让您可以选择读时模式的灵活性和成本效益,或者使用写时模式实现高速性能,所有这些都在一个堆栈中实现。
运行时字段使您能够在查询时为索引定义模式。这项新功能(在 7.11 中为公测版)允许您通过动态创建模式来发现新数据和新工作流,从而在发现新见解方面为您提供了前所未有的灵活性,同时又能选择权衡成本和性能的方式。
Elasticsearch 以其极快的分布式搜索和分析引擎而闻名,因为数据存储在数据写入磁盘时创建的结构化索引中,这种模式又称为写时模式。这种有序的结构需要了解和计划如何在 Elasticsearch 中表示数据,但最大的回报是速度、规模和相关性。但有些时候,您需要以一种新的方法来探索和检查数据,而无需事先规划数据模式。使用运行时字段基于读时模式进行搜索时,创建流畅的数据结构。这种灵活性缩短了首次获得洞察的时间,但在总体性能上需要有所取舍。Elastic 方法使您可以根据搜索场景灵活地选择写时模式和读时模式。
这个版本最初在 Elasticsearch 中支持运行时字段,并且我们计划将支持范围扩展到整个 Kibana。读时模式已在 7.11 版中以公测版推出。如需了解更多信息,欢迎阅读专门的运行时字段博文。
使用新发布的告警框架在 Elastic Stack 和外部系统中创建、管理和监测告警和通知。
无论您从事何种工作,了解数字生态系统中何时发生重要的事情都是关键型任务。从威胁检测到应用程序性能警告,再到物理资产跟踪,在发生重大变化之际及时接收告警,这对于根据数据见解采取行动的工作流来说至关重要。八个月前,我们推出了一个公测版的新告警框架,正是为了在 Elastic Stack 中实现这一点,随着 7.11 版的发布,这个新的告警框架现已正式推出。
在公测版期间,我们就感受到了社区极大的热情,并注意到了极高的采用率,这也更加坚定了我们构建这一框架的承诺。该框架已深度集成到 Elastic Stack 内的每个解决方案中,易于集中管理,不仅专注于支持检测,而且还致力于推动行动,并将 Elastic 直接集成到您的工作流中。告警界面已直接集成到了 Elastic 安全和 Elastic 可观测性解决方案中,而且我们还扩展了框架,以纳入与 PagerDuty、ServiceNow 和 Microsoft Teams 等平台集成的第三方告警。通过使用基于角色的访问控制,可以轻松管理告警。
如需详细了解这些功能及其他内容,欢迎阅读 Kibana 7.11 博文和 Elasticsearch 7.11 博文。
Elastic 企业搜索
通过适用于 Elastic App Search 的新网络爬虫,能够轻松搜索可公开访问的网站内容。
让内容搜索可通过多种形式实现。Elastic App Search 已经允许用户通过上传或粘贴 JSON 以及通过 API 终端来采集内容。使用 Elastic 企业搜索 7.11,用户现在可以通过功能强大的网络爬虫来采集内容,该爬虫能够从可公开访问的网站中检索信息,从而可以轻松地在您的 App Search 引擎中搜索内容。与 App Search 上的任何采集方法一样,这种模式是在采集时推断出来的,只需单击一下即可进行近乎实时地更新。通过单击(无需写代码),用户就可以定制网络爬虫规则,以便在排除规则指示网络爬虫避免某些页面、内容和术语的同时指定入口点。
使用 Elastic Workplace Search 在领先的云内容管理系统 — Box 中搜索内容。
作为基于云存储领域的早期先驱之一,Box 已经发展成为拥有数百万全球用户的领先云内容管理系统。Elastic 企业搜索现在支持将 Box 作为 Workplace Search 中的内容源。预构建的连接器包含文档级权限,因此,正确权限的用户只能看到他们应看到的内容,而不会看到其他内容。Box 的加入扩展了 Workplace Search 中本已十分强大的内容源组合,包括 Google Drive 和 Dropbox。
在 Elastic Workplace Search 中,通过 Atlassian Jira Cloud 和 Confluence Cloud 的文档级权限扩展细粒度访问控制。
并非所有内容都是同等创建或共享的。敏感内容和私人内容需要与明确定义的个人或群组共享,当这些文件很容易被搜索到时,对这些文件设置文档级访问就变得尤为重要。Elastic Workplace Search 现在包括 Atlassian Jira Cloud 和 Confluence Cloud 的文档级权限,因此,这些源应用程序中设置的相同权限可由 Elastic Workplace Search 继承。
如需深入了解 Elastic 企业搜索所有新功能的最新消息,欢迎阅读 Elastic 企业搜索 7.11 博文。
Elastic 可观测性
通过 Elastic APM 中新增的服务运行状况视图,加快根本原因分析和故障排除速度。
现代云原生应用程序通常都由数百个微服务组成,因此,快速确定单个服务的性能和运行状况的能力,对于事件调查工作流来说至关重要。新增的服务概述页面集中汇总了有关服务运行状况的所有信息,让开发人员和 SRE 可以更轻松地排查性能问题。
服务延迟、流量和错误率的时间序列图提供了服务 KPI 随时间变化的概要视图。叠加的注释(如部署标记和异常告警)为可能导致行为改变的关键事件提供了丰富的上下文。服务概述页面采用波形图提供了紧凑的视图,可查看各子组件随时间的变化趋势,从而可以很容易地发现行为中的异常变化并推动调查。此外,服务概述页面还显示了按服务部署的底层基础架构实例(例如容器)划分的服务运行状况,以便您可以将相关问题与底层基础架构的问题联系起来。
未来版本将引入更多的上下文和视图,以进一步简化并加速故障排除和根本原因分析工作流。
使用 Elastic Metrics 中新增的主机详情视图更快地排查基础架构问题。
Elastic Metrics 应用中的资源热图可帮助您发现基础架构中的问题,缩小下一步的调查范围。利用指标 UI 中的新视图,能够轻松地从概要视图切入,检查单个主机上当前的运行状况。单击热图中的磁贴,便会出现一个弹出窗口,显示关键信息,包括关键主机指标的时间图、主机生成的日志、主机上运行的进程,以及主机元数据。
通过自动将日志和跟踪与 Elastic Common Schema (ECS) 中的新日志库连接起来,添加更多的上下文。
关联应用程序日志和跟踪并在它们之间导航而不丢失上下文,这对于应用程序故障排除工作流至关重要。利用 Elastic Common Schema (ECS) 中的日志库,应用程序开发人员能够轻松地将 APM 代理捕获的跟踪上下文自动注入它们的应用程序日志中,从而使日志可以跟踪简化分析所需的相关性。
ECS 日志库是您最喜欢的日志框架(例如 log4j)的插件,支持开发人员使用符合 ECS 规范的 JSON 格式编写应用程序日志,而无需更改自己的本地工作流。ECS 记录器会自动将 APM 代理捕获的相关痕迹上下文写入日志,帮助开发人员无需额外工作即可创建可观测的应用程序。
如需深入探究所有的新功能,欢迎阅读 Elastic 可观测性 7.11 博文。
Elastic 安全
通过可搜索快照冷层大规模访问安全数据。
Elastic 7.11 将可搜索快照功能纳入了正式版,并引入了利用对象存储(如 Amazon S3)的冷层。现在,安全团队可以直接访问多年积累的大量数据,并实现高达 50% 的成本节省,支持猎捕、调查、合规性、威胁分析、取证分析、对手模拟等诸多用例。安全数据的保留时间得到延长后,可确保即使在面临非常长的驻留时间时,从业人员也可以获得所需的数据。云平台和应用程序、IDS/IPS、DNS、有线数据、主机活动、可观测性数据、MDM、IoT、OT 等数据源,以及其他许多通常因成本过高而无法纳入日常运营的数据源,都可以在更大范围内保持运营就绪状态。安全团队甚至能够对原本要存档或丢弃的数据进行自动检测。
通过预置的 Machine Learning 作业和支持 MITER 子技术的检测规则,检测针对云应用和主机的攻击。
Elastic 安全 7.11 通过更新的 Machine Learning 作业和新的检测规则,帮助保护现代企业堆栈的安全。这些由 Elastic 开发的检测规则支持 MITRE ATT&CK® 子技术,加深了对组织内展开攻击方式的了解,并改进了与 ATT&CK® 框架的一致性。
专为云应用程序预构建的检测规则可自动发现与针对 SaaS 技术(如 Google Workspace、Microsoft 365 和 Okta)的攻击相关的技术和行为,从而对现有针对 IaaS 技术的 Elastic 保护进行补足。适用于 Windows 和 Linux 环境的预构建安全分析内容可集中检测广泛的攻击者活动,重点解决持久化、提升权限和横向移动问题。
Elastic 安全研究人员最近详细介绍了一种用于发现域生成算法 (DGA) 的高级方法,可检测 SUNBURST 和其他攻击。如需了解更多信息,欢迎阅读用于 DGA 检测的 Machine Learning 博文。
通过改进的告警管理、一组更广泛的规则操作、更新的时间线工作区和方便所有人使用的导航,精简 SOC 工作流并缩短响应时间。
精简后的告警管理可使分析人员在应对威胁时快速出击。可定制的告警通知能够向第三方工作流工具(如 Slack 和 ServiceNow)提供关键上下文,从而减少忙乱的分析时间并加快告警分流。分析人员现在可将告警直接附加到案例中,以协调响应人员并集中管理密切相关的信息。一组扩展的规则操作加强了与 Jira、ServiceNow 和 IBM 的集成,提高了 SOC 效率。
焕然一新的时间线工作区推动了有效的威胁搜寻、告警分流和调查。您可以在专用选项卡上查看关键信息,以全屏视图查看各个事件,并在查看事件详情的同时密切关注周围事件。此外,您还可以在多个时间线之间流畅地切换,并通过拖放字段快速更新它们。
Elastic 安全 7.11 通过增强版键盘导航和屏幕阅读器支持提供了无障碍导航功能,以满足那些希望在日常使用工具中加入无障碍访问功能的用户的需求。我们希望这些用户和其他高级用户 (hello, hotkeys!) 也会喜欢它。
如需了解全部详情,欢迎阅读 Elastic 安全 7.11 博文。
Elastic Cloud
使用由可搜索快照和对象存储(如 S3)提供支持的新冷层,实现存储密度翻倍或基础架构成本节省。
Elastic Cloud 利用新增的可搜索快照功能和冷层的优势,在 Elastic Cloud 控制台中提供了一个易于使用的冷层滑块。这个控件为实施经济高效的数据保留策略提供了一个简单的方法,并在同样成本下将更多数据保留更长的时间。
通过热温冷架构,您可以控制时序数据随时间推移的存储方式和存储位置,从而最大程度地提高数据存储的成本效益。您可以为最近、高度相关、频繁访问的数据选择热层或温层。使用索引生命周期管理,您可以自动将不太活跃的只读数据移到冷层,充分利用经济高效且持久的对象存储(包括 Amazon S3、Azure Blob Storage 或 Google Cloud Storage)。
部署模板可帮助您快速完成部署并开始运行,并且现有部署和新部署中的模板均可使用温滑块和冷滑块来管理您的数据策略。Elastic Cloud 是发挥可搜索快照和冷层优势的直接方法。
通过自动缩放数据和 Machine Learning 节点来扩展和精简云操作。
将自己从时刻监测和管理资源的状态中解脱出来,让您的集群自动增长以满足您的容量需求。这种自动缩放数据和 Machine Learning 节点的灵活性很快会在 Elastic Cloud 中推出。数据节点自动缩放可确保您始终拥有所需的容量,即使采集和索引的数据量在增长也不必担心。基于 ML 的自动缩放允许您无缝添加 Machine Learning 功能,而不会触及内存限制,从而获得无缝体验。我们计划在未来版本中继续扩展自动缩放功能,以支持更多的指标和用例。扩展 Elastic 用例时,要知道是自动缩放让您能够无缝地扩展基础架构。
通过增强版跨集群复制 (CCR) 和跨集群搜索 (CCS),跨区域和云服务提供商复制和搜索数据,实现更高的可用性和更好的搜索性能。
不同区域与云服务提供商之间的增强版跨集群复制和跨集群搜索功能现已推出。客户可以自由地在不同区域和云服务提供商之间跨集群搜索和复制自己的数据。
使用 CCS,您可以在自己选择的任意数量的集群中进行搜索,从而能够在一个清晰易懂的视图中可视化所有数据。这样可以打破数据孤岛,就像在一个集群中一样将所有数据连接起来,让客户更容易得出新的见解。CCR 允许您在集群之间复制和存储数据副本,即使遇到数据中心中断,您也可以处理搜索请求,还可以从两个或多个集群中的一个位置创建集中式数据,以便在本地轻松实现分析和聚合,并使数据更接近最终用户以减少延迟。
为了跨区域和云服务提供商提供这些功能,需要进行重大创新,以解决安全性、信任和网络拓扑等方面的问题,不过我们已经完成了艰巨的任务,使我们的客户能够轻松地在他们的部署中利用这些功能。
如需详细了解 Elastic Cloud 的全部新闻,欢迎阅读 Elastic Cloud 7.11 新增功能博文。
篇幅有限,不再逐一列举…
更多功能发布,敬请持续关注。如需详细了解我们在 7.11 版中添加的所有新功能,请查阅以下各篇介绍解决方案及产品的博文: