Elastic 9.5:列式存储、VectorDB 索引模式和自动校准,以及 AI 驱动的警报分类

今天,我们很高兴宣布 Elastic 9.5 正式发布 (GA),这是 Elasticsearch Platform 的最新版本。此版本包含一系列新功能,旨在帮助开发者更充分地利用数据、更自信地构建 AI 智能体,并通过在 ElasticsearchElastic ObservabilityElastic Security 中引入新功能来强化安全运营。

Elasticsearch Platform
Elasticsearch Platform

Elastic 9.5 的新功能

Elastic 9.5 继续提升 Elasticsearch 的效率、可见性和性能,帮助使企业数据更易于访问和使用。借助 Elastic 9.5,用户可以:

阅读以下关于这些亮点和其他功能亮点的更多信息。

Elasticsearch

Elastic 9.5 带来了多项改进,旨在帮助每位用户更快地行动、更有信心地操作,并以更少阻力从数据中获得更多价值。此版本在 Elasticsearch Platform 的多个方面进行了创新,从存储和查询数据到构建和管理 AI 智能体,并增强了 Kibana 仪表板。请继续阅读以获取详细信息。

适用于任何工作负载的多信号数据存储

Elastic 很高兴地宣布推出 Columnar Mode(列模式)的技术预览版。这是一种可选的索引模式,默认情况下会在列存储中将每个字段存储一次且不包含倒排索引,从而显著减少存储占用空间,并为更快的索引、分析查询以及更长的数据保留期奠定基础。它与现有的索引模式一同提供,无需对 API、仪表板或集成做任何更改。在此基础上,列式日志是首个专为日志数据打造的专用配置文件;它在消息字段上保留单个倒排索引,因此在将其他所有内容进行完全列式存储的同时,全文本搜索依然很快。其结果是大幅降低了日志当前的存储占用,同时不会改变团队所依赖的搜索体验。这两种模式均为可选模式,并且不会影响现有索引。

向量数据库

为检索增强生成 (RAG) 应用和智能体 AI 构建检索的团队通常需要在索引时做出许多配置决策,而且随着生产规模的扩大,这项工作会不断增加。我们推出这些功能,旨在为您省去配置和索引调优工作,让向量搜索能够开箱即用。

VectorDB 索引模式只需一项设置即可提供高性能向量搜索,无需手动配置。它会应用已针对向量进行优化的默认设置,为您调优量化、合并策略和缓存加载,从而使向量搜索更易于部署且开箱即用。

 

自动校准用于 DiskBBQ 向量搜索可根据对索引中向量的统计分析,自动配置量化深度、先决条件和过采样。以往需要专业知识和实验才能完成的调优工作,现在利用 Elastic 开发的独特算法即可自动完成。

 

多模态语义搜索使开发者能够更轻松地进行图像搜索。搜索图像通常意味着设置嵌入、采集和嵌入图像以及嵌入查询。全新的语义字段简化了这些步骤,因此用户可以像使用 semantic_text 搜索文本一样轻松地搜索图像。

更多 Agent Builder 增强功能!

Elastic 9.5 为开发者在构建生产级 AI 智能体时提供更高的可见性和控制力。Agent Observability and Monitoring(智能体监测与可观测性) 现已推出技术预览版,可将大型语言模型 (LLM) 调用、工具调用和推理步骤作为 OpenTelemetry (OTel) 追溯至 Elasticsearch 中;同时,人工干预审批可对敏感操作进行把关,并将每项决策记录在审计追踪中。开发者还可以通过描述其所需的功能(例如生成仪表板的工作流),直接在对话中创建技能、查询和工作流。Agent Builder 随后会起草、命名并保存相应配置,无需开发者离开对话,从而缩短设置时间并降低理解底层配置模型的门槛。

AI 原生 Kibana

借助 9.5,我们的仪表板与可视化 API 现已正式发布 (GA),为平台团队提供了一种稳定且受支持的方式,以便通过代码创建、更新和管理仪表板与可视化。此外,聊天中的仪表板现已正式发布,不仅提升了聊天质量,还支持控件创建并带来了更高的速度。这些改进大大缩短了洞察所需时间,免去了用户手动构建仪表板的需要,从而加速了事件调查 — 在事件调查中,实现清晰可视化的速度直接缩短了问题解决时间。而且,对于速度至关重要的用例,开启快速模式 UI 可允许仪表板和 Discover 中的基于 STATS 的查询在抽样数据集上运行,而无需扫描完整数据,从而将结果外推回实际规模,同时保持准确度非常接近精确值。

数据所在之处的增强自动化

Elastic 9.5 中的 Elastic 工作流让自动化的构建变得更加快捷,并在工作流运行之前精确显示其将执行的操作。自然语言编写现已正式发布并默认启用,因此团队可以用通俗的语言描述所需的自动化,系统会自动生成对应内容。版本控制为内置功能,可跟踪每一次变更,允许团队对比任意两个版本,只需一键即可回滚至可用的版本,因此随时都留有谁在何时更改了什么的记录。可视化模式将工作流显示为图表,其触发器、步骤、分支和逻辑与 YAML 一同呈现,一目了然;拖放式编辑功能即将来临。此外,人工干预现已扩展到 Kibana 之外。当工作流需要人工审批或参与决策时,它会暂停并将请求发送至 Slack 等工具。自动化流程负责处理日常事务,团队则可以专注于需要判断的决策。这些都是 Elasticsearch Platform 的功能,涵盖 Search、Observability 和 Security。

Elastic Observability

Elastic 9.5 提供了可观测性升级,旨在使统一监测更易采用、更易扩展。无论是从 Prometheus 进行迁移、接入 Kubernetes,还是连接云和 SaaS 数据,都可以更轻松地入门,同时减少运营开销。改进的 SRE 工作流、托管集成以及 AI 就绪的上下文信息,可帮助团队更快地从检测迈向诊断。

原生 Prometheus 和 PromQL 支持,现已正式发布

借助 9.5,整合可观测性与业界领先的指标变得前所未有地简单。随着 Prometheus 远程写入端点和原生 PromQL 支持直接内置于 ES|QL 中,团队只需极小的迁移工作量即可将现有的 Grafana 仪表板和查询指向 Elastic — 无需放弃他们多年来构建的查询语言和工作流。一个新的迁移工具现已正式发布,可帮助将 Grafana 和 Datadog 仪表板与警报自动引入 Elastic,让用户无需从零开始即可更轻松地受益于 Elasticsearch 的存储效率(比 Prometheus 最高提升 2.5 倍)和更快的查询性能(比 Prometheus 最高快 30 倍)。在 9.5 中,新的编解码器 (ES95) 在 Elasticsearch 已通过列式指标取得的显著效率提升的基础之上,将存储成本进一步降低约 20%,降至每个样本约 3 字节,从而使用户能够在不增加账单费用的情况下监控更多服务并延长指标保留时间。结合代码化仪表板和聊天中的仪表板功能,这些更新使用户能够将指标、日志和追踪统一在单一平台上,并在三者之间建立相关性以实现更快速的根因分析,同时保留他们已经信赖的工作流和标准。

完成集成,全面搭载 AI

Elastic 针对 Kubernetes 和 AWS(技术预览版)推出的最新开箱即用集成意味着您可以在几分钟内从零开始实现完全监测。Kubernetes 监测现已正式发布,并且随附预配置的仪表板、警报、SLO 和机器学习作业。此外,Agent SkillsObservability MCP 应用让您能够通过 SRE 已经在使用的任何支持 MCP 的 AI 工具进行健康监测、异常检测、事件调查和修复。这些全面的集成软件包使团队能够在连接的瞬间从指标中获得立竿见影的价值。

更轻松地接入云原生数据

Elastic 托管集成消除了采集云数据源的运营负担。只需点击几下,用户现在无需部署或维护本地部署智能体即可进行采集并开始获取价值。秉承“快捷按钮”的精神,我们还简化了 Kubernetes 和 AWS 的入门流程,具体做法是将两种设置流程精简为默认采用推荐的 OTel 路径,这意味着平台工程师和 SRE 无需在多个屏幕和决策之间导航即可快速上手运行。

增强的 APM 和 LLM 可观测性

9.5 为调查服务事件的 SRE 和开发人员带来了重大的体验提升。警报和仪表板中的依赖关系分析 推出了更快速的分类途径,通过直接在警报或定制仪表板中呈现服务地图,消除了上下文切换。更好地在 APM 服务健康视图中显现异常使基于 ML 的性能下降信号更容易被发现。

Elastic 的全新 Anthropic 集成(用于 LLM 可观测性)轮询 Anthropic 的 Admin API,以通过预构建的 Kibana 仪表板和开箱即用的警报,将来自 Claude API 平台的全组织遥测数据、词元使用情况、成本和速率限制配置采集到 Elasticsearch 中。

直接在警报详情页面上识别依赖关系。
直接在警报详情页面上识别依赖关系。

Elastic Security

Elastic Security 9.5 让分析师有更多时间做决定,并减少了需要处理的警报数量。更强大的终端保护可以在威胁发出警报之前将其拦截。Attack Discovery 会像分析师一样处理触发的警报,找出真正的攻击,这样团队就不会在一天的开始就淹没在大量的原始警报中。而自动化则在这一切的底层运行,触发这些调查并处理机械性工作,因此决策权仍然掌握在分析师手中。

Alert Zero(零警报):从警报队列到已验证威胁

Alert Zero(零警报)是 SOC 版的“收件箱清零”,是一个通过智能体与分析师的协同工作精简至真正重要事项的队列。这是团队为之努力的目标。它并不意味着零警报,也不意味着取代分析师。Attack Discovery 是让 SOC 更接近零警报的关键。它现在能够像分析师一样开展调查:对原始事件进行威胁搜寻、评估实体风险,并在判定为攻击之前在初始触发警报之外进一步进行交叉验证,因此团队打开的是一个经过验证的简短攻击列表,而不是铺天盖地的原始警报。当它发现规则遗漏的情况时,会起草一条 ES|QL 规则来填补漏洞,并在保存之前由分析师进行批准。

现在,无论是手动启动、按固定周期设置还是由 Elastic 工作流触发,每一次运行都会经历相同的调查过程。独立的警报分析工作流可以处理来自另一边的噪声,将警报分类为真阳性或假阳性,这样分析师就不会再浪费时间在低保真度的警报上,从而使 Attack Discovery 能够更清晰地进行调查。

增强终端保护

借助 Elastic Security 9.5,全新的终端功能能够提供更强有力的保护,并将覆盖范围扩展到更多设备。对于攻击者为了访问内核而引入的已签名且受信任的受漏洞影响驱动程序,我们的威胁研究团队会监测 VirusTotal、loldrivers.io 和 Microsoft 阻止列表等公开披露来源。通过持续运行的流程,每当有新驱动程序被披露时,Elastic 都会自动生成并即时部署 YARA 规则,从而使防护保持同步,无需等待发布周期。当 AI 驱动的攻击能在不到一分钟的时间内从一台机器转移到下一台机器(比任何响应工作流的反应速度都要快)时,这种速度就至关重要。Elastic Defend 现已全面支持 Windows on ARM,将 Surface 和其他基于 ARM 的笔记本电脑纳入全面覆盖范围。此外,Agent Builder 中新增的终端故障排查技能可标记策略和性能问题,从而让团队减少在排查终端问题上花费的时间。

贯穿 SOC 的自动化

Elastic 工作流为 SOC 带来了原生自动化,因此检测可以自动触发扩充、案例创建和响应,无需购买、集成或维护单独的 SOAR。人工只需专注于需要做出判断的决策。

如果您错过了……

在 Stack 各版本发布间隙,我们并不会止步不前。Elastic 9.4 到 9.5 之间的这段时间可一点也不平静。以下是一些重要公告的汇总,以防您错过:

  • Jina AI 更新:

    • jina-embeddings-v5-omni 扩展了 v5-text 模型系列,提供原生的图像、音频和视频支持,在单个嵌入空间中承载了近 100 种语言,涵盖所有四种模态,无需重新索引。

    • Jina 本地部署现已面向具有严格数据驻留要求的团队推出。它打包了完整的 Jina AI 模型系列(例如读取器、嵌入和重排序),可完全在您自己的硬件上运行,一经部署即可实现完全物理隔离且无任何外部调用。费用固定且可预测,不按词元计费。嵌入模型可在单个嵌入空间中搜索近 100 种语言的文本、图像、音频和视频,其精度可与在通用硬件上运行的更大模型相媲美。

    • 我们已发布 jina-reranker-v3.5,这是 jina-reranker-v3 的直接替代产品。jina-reranker-v3.5 拥有仅 6 亿个参数,在判例法基准测试中比其前代产品性能提升超过 50%,在医疗和金融重排序方面取得了进一步的提升,并且在处理长文档时运行速度提升高达 56%。与 Qwen3-Reranker-4B(一种广泛使用的开源重排序器,体积是其七倍多)相比,它在通用搜索和一个结构化数据基准测试中全面胜出,并在其他所有方面缩小了绝大部分差距。

  • 从远程重新索引现已在 Elastic Cloud Serverless 中正式发布,为团队提供了一种无缝方式,将来自任何 Elastic Cloud Hosted 部署或 Serverless 项目的索引(无论处于哪个区域)直接迁移到其 Serverless 环境中。该操作专为 Serverless 基础架构的实际需求而打造;即使节点因扩展事件或软件部署而关闭,它也能自动恢复,从而确保迁移过程无需人工干预即可持续进行。

立即开始

Elastic 9.5 包含大量新增和增强功能,旨在帮助组织充分利用其数据。

Elastic 9.5 现已在 Elastic Cloud 上正式推出,这是一个在最新版中纳入所有新功能的托管型 Elasticsearch 服务。

本文中描述的任何功能或功能性的发布和时间均由 Elastic 自行决定。当前尚未发布的任何功能或功能性可能无法按时提供或根本无法提供。

在本博文中,我们可能使用或提到了第三方生成式 AI 工具,这些工具由其各自所有者拥有和运营。Elastic 对第三方工具没有任何控制权,对其内容、操作或使用不承担任何责任或义务,对您使用此类工具可能造成的任何损失或损害也不承担任何责任或义务。请谨慎使用 AI 工具处理个人、敏感或机密信息。您提交的任何数据都可能用于 AI 训练或其他目的。Elastic 不保证您所提供信息的安全性或保密性。在使用任何生成式 AI 工具之前,您都应自行熟悉其隐私惯例和使用条款。

Elastic、Elasticsearch 及相关标志是 Elasticsearch B.V. 在美国及其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其相应所有者的商标、徽标或注册商标。