ES|QL（Elasticsearch 查询语言）入门

ES|QL（Elasticsearch 查询语言）是 Elastic® 的全新创新管道查询语言，其设计宗旨是通过提供强大的计算和聚合功能来加快数据分析和调查过程。

更加轻松高效地应对识别正在发生的网络攻击或确定生产问题的复杂性。

ES|QL 不仅简化了搜索、聚合和可视化海量数据集的过程，还为用户提供了查找和实时处理等高级功能，所有这些都是在 Discover 中的一个屏幕中完成。

我们的用户需要敏捷的工具，这些工具不仅可以呈现数据，而且还可以提供高效的方法来理解数据，以及提供根据见解实时采取行动和采集后数据处理的能力。

Elastic 增强用户的数据探索体验的承诺促使我们投资于 ES|QL。它的设计宗旨是为初学者提供便利，为专家提供强大的功能。通过 ES|QL 的直观界面，用户可以快速开始并深入研究他们的数据，而无需陡峭的学习曲线。自动完成和应用内文档可确保编写高级查询成为一个简单的工作流。

此外，ES|QL 不仅仅向您显示数字，还会使数字栩栩如生。由 Lens 建议引擎提供技术支持的上下文可视化会自动适应查询的性质，从而让您清晰地了解见解。

此外，直接集成到仪表板和 Alerting 功能反映了我们对高度综合的端到端体验的愿景。

实际上，我们对 ES|QL 的投资是对我们社区不断发展的需求的直接回应 — 这是朝着互联程度越来越高、更富有洞见和更高效的工作流迈出的一大步。

这将使您在 Discover 中进入 ES|QL 模式。

使用 ES|QL，您可以进行全面且强大的数据探索。它允许您在 Discover 中进行临时数据探索、创建聚合、转换数据、扩充数据集等等，这一切都可以直接在查询生成器中完成。结果以表格形式或可视化形式显示，具体取决于您正在执行的查询。

下面是一些示例，展示了 ES|QL 查询可观测性，以及结果是如何以表格形式和可视化表示形式呈现的。

指标用例中的 ES|QL 查询：

上面的查询展示了如何利用以下源命令、聚合函数和处理命令：

from 源命令（文档）

from metrics*：这将从与模式“metrics*”匹配的索引模式启动查询。 星号 (*) 充当通配符，表示它将从名称以“metrics”开头的所有索引模式中选择数据。

stats…by 聚合（文档）、max（文档）和 by（文档）

此部分根据具体统计数据汇总数据。它分解如下：

max_cpu=max(kubernetes.pd.cpu.usage.node.pct)：对于每个不同的“kubernetes.pod.name”，它会找到最大 CPU 使用百分比，并将该值存储在名为“max_cpu”的新列中。

max_mem = max(kubernettes.pod.memory.usage.bytes)：对于每个不同的“kubernetes.pod.name”，它会找到最大内存利用率（以字节为单位），并将该值存储在名为“avg_mem”的新列中。

处理命令（文档）

• sort（文档）
• limit（文档）

sort max_cpu desc：这将按“max_cpu”列对结果数据行进行降序排列。这意味着“max_cpu”值最高的行将位于顶部。

limit 10：这会将输出限制为排序后的前 10 行。

总之，查询：

• 使用索引模式对所有指标索引中的数据进行分组
• 聚合数据以找到每个不同 Kubernetes pod 的最大 CPU 使用百分比和最大内存利用率
• 按最大 CPU 使用率对聚合数据进行降序排列
• 仅输出 CPU 使用率最高的前 10 行

上下文可视化：在 Discover 中编写 ES|QL 查询时，您将收到由 Lens 建议引擎提供技术支持的视觉表示。查询的性质决定了您获得的可视化类型，无论是指标、直方图热图等。

下面是上述查询的条形图和表格表示形式的可视化表示，其中显示了 max_cpu、avg_mem 列和 kubernetes.pod.name 列：

可观测性和时序数据用例中的 ES|QL 查询示例：

上面的查询展示了如何利用以下源命令、聚合函数、处理命令和函数。

from 源命令（文档）

from apache-logs：这将从名为“apache-logs”的索引中启动查询。 该索引包含与 Apache Web 服务器流量相关的日志条目。

where（文档）

where url.original=="/cn/login"：仅筛选出“url.original”字段等于“/login”的记录。 这意味着我们仅对与登录尝试或访问登录页面有关的日志条目感兴趣。

eval（文档）和 auto_bucket（文档）

eval time_buckets =...：这将创建一个名为“time_buckets”的新列。

“auto_bucket”函数可创建人性化的存储桶，并为每一行返回一个日期时间值，该值对应于该行所属的结果存储桶。

“@timestamp”是包含每个日志条目的时间戳的字段。

“50”是存储桶的数量。

“2023-09-11T21:54:05.000Z”：进行存储的开始时间

“2023-09-12T00:40:35.000Z”：进行存储的结束时间

这意味着，从“2023-09-11T21:54:05.000Z”到“2023-09-12T00:40:35.000Z”的日志条目将被划分为 50 个等距间隔，每个条目将基于其时间戳与特定间隔相关联。

目标并不是确切地提供存储桶的目标数量，而是选择一个您满意的范围，最多提供存储桶的目标数量。如果您需要更多存储桶，那么 auto_bucket 可以选择更小的范围。

stats…by 聚合（文档）、count（文档）和 by（文档）

stats login_attempts = count(user.name) by time_buckets, user.name：聚合数据以计算登录尝试次数。它通过计算“user.name”（表示尝试登录的唯一用户）的出现次数来执行此操作。

计数按“time_buckets”（我们创建的时间间隔）和“user.name”进行分组。 这意味着对于每个时间存储桶，我们会看到每个用户尝试登录的次数。

sort（文档）

sort login_attempts desc：最后，聚合结果按“login_tempts”列进行降序排列。这意味着结果将在顶部显示最高的登录尝试次数。

总之，查询：

• 从“apache-logs”索引中选择数据
• 筛选出与登录页面相关的日志条目
• 将这些条目存储到特定的时间间隔
• 统计每个用户在每个时间间隔内的登录尝试次数
• 按最高登录尝试次数在前的顺序输出结果

下面是上述查询的条形图和表格表示形式的可视化表示，其中显示了 login_attempts、time_buckets 和 user.name 列。

直接在 Discover 和仪表板中编辑 ES|QL 可视化。无需导航至 Lens 进行快速编辑；您可以无缝地做出更改。

您可以观看下面的端到端工作流的视频或阅读分步指南：

1. 编写 ES|QL 查询

2. 基于查询的性质获得上下文可视化

3. 内联编辑可视化

4. 保存到仪表板

5. 能够从仪表板编辑可视化

第 1 步：编写 ES|QL 查询。生成指标可视化的查询示例：

第 2 步：基于查询的性质获得上下文可视化（在本例中为指标可视化）。然后，您可以选择铅笔图标进入内联编辑模式。

第 3 步：使用内联编辑模式编辑可视化

在上面的示例中，我们希望可视化处于动态颜色模式，因此我们将其切换到“动态”。

我们还有机会定义我们想要使用的颜色范围：

第 4 步：保存到仪表板

第 5 步：能够从仪表板编辑可视化

您可以将 ES|QL 用于可观测性和安全告警，将聚合值设置为阈值。通过强调有意义的趋势而不是孤立的事件和减少误报，提高检测准确性并接收可操作的通知。

下面，我们将重点介绍如何从 Discover 创建 ES|QL 告警规则类型。

新的告警规则类型位于现有的 Elasticsearch 规则类型下。此规则类型提供了 ES|QL 中可用的所有新功能，并解锁了新的告警用例。

使用这个新类型，用户将能够根据定义的 ES|QL 查询生成单个告警，并在保存规则之前预览查询结果。当查询返回空结果时，不会生成告警。

告警的查询示例：

第 1 步：单击“告警”，然后单击“创建搜索阈值规则”。 您可以在查询栏中定义 ES|QL 查询之后或在定义 ES|SQL 查询之前，开始创建 ES|QL 告警规则类型。在定义后执行此操作的好处是，查询会自动粘贴到“创建告警”浮出控件中。

第 2 步：开始定义 ES|QL 告警规则类型

第 3 步：测试您的告警规则类型查询。您可以对粘贴的 ES|QL 查询进行迭代，并通过单击“测试查询”对其进行测试。 这会在一个表格中提供结果预览。

第 4 步：设置连接器并“保存”。 您现在已经成功创建了 ES|QL 告警规则类型！

您可以使用 enrich 命令（文档）通过其他数据集中的字段来增强查询数据集，并为所选策略提供具有上下文的建议（即，提示匹配字段和扩充的列）。

使用 ENRICH 的查询示例，其中通过查询利用扩充策略“servers-to-project”来使用 name、server_hostname 和 cost 扩充数据集：

我们还通过添加概述和创建扩充策略的向导，让用户可以轻松创建扩充策略。

要查找扩充策略的概述，请导航至“堆栈管理”⇒“索引管理”，在这里您将看到一个名为扩充策略的选项卡：

以下是上述查询中使用的扩充策略：“servers-to-project”：

您可以通过单击创建扩充策略，轻松开始创建新的扩充策略。创建并执行一个扩充策略后，便可在 Discover 中的 ES|QL 查询中进行使用。

在此处深入了解扩充策略，在此处深入了解 ES|QL 中的 ENRICH 命令。