在 7.13 版中，我们对几个关键聚合进行了一些令人振奋的性能改进。我们希望应用这些改进后，让您能够更快地与 Elasticsearch、Kibana 和所有 Elastic 解决方案进行交互。

在<a href="/cn/blog/how-we-made-date-histogram-aggregations-faster-than-ever-in-elasticsearch-7-11">上一节</a>中，我提到了一些关于 <code>date_histogram</code> 的速度改进。所以我也迫不及待地想看看是否可以将同样的原则应用于其他聚合。在过去的几个月里，我大部分时间都在忙于开发<a href="/cn/blog/introducing-elasticsearch-runtime-fields">运行时字段</a>，但最终我抽时间研究了一下 <a href="/guide/en/elasticsearch/reference/7.12/search-aggregations-bucket-terms-aggregation.html">terms</a> 聚合。
 <h2>是时候谈谈 terms 了！</h2>在 <code>date_histogram</code> 聚合方面，我们通过在内部将其重写为 <code>filters</code> 聚合，获得了巨大的性能提升。将 <code>terms</code> <a href="https://github.com/elastic/elasticsearch/pull/68871">重写</a>为 <code>filters</code>&nbsp;产生了更为复杂的结果。我经常会看到惊人的速度提升 (454ms -&gt; 131ms)。请查看<a href="https://github.com/elastic/elasticsearch/pull/68871">链接的 PR</a>，详细了解一下“经常”具体是指多频繁。但是，现在我们已经将聚合重写为 filters，我们可以更进一步了！&nbsp;
我们<a href="https://github.com/elastic/elasticsearch/pull/69377">实现了</a>另一项令我非常兴奋的优化。这是一条非常好的捷径，它让人觉得对原始代码不公平。这项优化包含了出色的代码！而且运行起来很好用！但是，新代码根本不收集命中信息。它只是从索引元数据中读取计数。这是一种不需要执行搜索的搜索。知道了吧，我们必须存储包含每个术语的文档计数，以便能够将其发送到<a href="/guide/en/elasticsearch/reference/7.x/index-modules-similarity.html">相似度</a>来计算分数。而且，如果大约有七个先决条件成立（见下图），那么计数正好是原始代码给出的答案。所以我们只是读取计数，而不是执行搜索。130 毫秒的请求时间缩短到了 37 毫秒。这对于能够使用这种优化的请求是相当常见的。特别是对于那些已经存在一段时间的分片尤为明显。这一点非常重要，因为这些分片通常最终会出现在旋转型磁盘上，甚至是<a href="/guide/en/elasticsearch/reference/7.12/searchable-snapshots.html">可搜索d快照</a>，这两者的 IO 速度都比高级 SSD 上的“热”分片要慢。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbf29277637877f9d/60b519d19919771ac50cddf8/blog-7-13-aggs-1.png" data-sys-asset-uid="bltbf29277637877f9d" alt="blog-7-13-aggs-1.png">
3.5 倍的速度提升并不是它的全部。我所做的其他大多数改进都是为了加快*收集*速度。因此，聚合的运行时间仍然与分片上的文档数量有关。根据您的查询，您会看到一些 <code>O(docs_in_index)</code>、一些 <code>O(log docs_in_index)</code> 和一些 <code>O(matching_docs)</code>。但是这个优化是 O(1)。换句话说，无论您在索引中放入多少文档，它都会在相同的时间内返回。可以说八九不离十。我们必须对每个<a href="/guide/en/elasticsearch/reference/7.12/indices-segments.html">段</a>的统计数据求和，如果索引中有更多的文档，那么就会有更多的段。段数与文档数大致成对数增长。但是，与读取元数据相关的常量因素非常低，我希望您不会注意到。因此，实际上，运行时与文档数量无关。
我们将 3,300 万个<a href="https://github.com/elastic/rally-tracks/tree/master/noaa">气候测量值</a> (5.9GB) 的索引时间从 130 毫秒缩短到了 37 毫秒。如果实际情况一切顺利，您将在更大的数据集上看到更大的提升。您可能会问，为什么要收集气候数据？因为我喜欢啊，而且谁让我是运行性能测试的人呢。
 <h2>别走开，精彩继续</h2>在上一节中，我们谈到了将 <code>date_histogram</code> 重写为 <code>filters</code>。具体来说，它变成了一个包含 <a href="/guide/en/elasticsearch/reference/current/query-dsl-range-query.html"><code>range</code></a> 查询的 <code>filters</code> 聚合。这就是我们优化的内容 — <code>range</code> 查询。但是 Elasticsearch 很棘手。有时，当您要求它构建一个 <code>range</code> 查询时，它会构建一个 <a href="/guide/en/elasticsearch/reference/current/query-dsl-exists-query.html"><code>exists</code></a> 查询。如果该字段的所有值都在 <code>range</code> 内，它就会这样做。我们可以对 <code>exists</code> 查询使用类似于 <code>terms</code> 查询的<a href="https://github.com/elastic/elasticsearch/pull/71180">优化</a>。这一点在 7.13 版中没有成行，但它将会在&nbsp;7.14 发行版中。🚂
当 <code>date_histogram</code> 或 <code>terms</code> 具有子聚合（如 <code>max</code> 或 <code>avg</code>，甚至是其他的 <code>terms</code> 聚合）时，7.13 版会<a href="https://github.com/elastic/elasticsearch/pull/69806">应用</a>其中的一些优化。我们不能对元数据使用任何真正不公平的优化，因此您不会看到任何 8ms 聚合或类似内容。但是通过这一改变，我们在过去几个版本中所做的许多优化可以应用到更多的地方。我们的<a href="https://benchmarks.elastic.co/">基准测试</a>发现了这样一个改进。下图显示了从 320 毫秒下降到 270 毫秒左右的过程。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blteb4892b63aa076a9/60b519e73f701e265e4e88b1/blog-7-13-aggs-2.png" data-sys-asset-uid="blteb4892b63aa076a9" alt="blog-7-13-aggs-2.png" style="display: block; margin: auto; width:500px;">
基准测试中 50 毫秒的下降相当于 15% 的聚合性能提升。这 15% 很可能表明，我们能够将这些经过优化的顶级收集机制用于子聚合。子聚合本身需要相同的时间，这在某种程度上“稀释”了我们通过加快顶级聚合速度而获得的性能增益。&nbsp;
 <h2>试过 filters 吗？</h2>到目前为止，我只谈到了 <code>terms</code> 和 <code>date_histogram</code> 的性能。特别介绍了我们如何加快这两个聚合的速度，方法就是：将它们作为 <code>filters</code> 运行，然后加快 <code>filters</code> 的聚合速度。<code>filters</code> 曾经是我们最慢的聚合之一。当然，如果不能走快速路径，它仍然是最慢的。我们只是在将 <code>terms</code> 或 <code>date_histogram</code> 作为 filters 运行时不采用这条路径。就这么简单！
但是，如果您出于某种原因*需要* <code>filters</code> 聚合怎么办？<code>filters</code> 的“快速路径”比慢速路径快大约 20 倍。现在，如果 <code>filters</code> 是最顶层的聚合，并且您不使用<a href="/guide/en/elasticsearch/reference/current/search-aggregations-bucket-filters-aggregation.html#other-bucket">其他</a>存储桶，那么就可以获得快速路径。在执行我上面提到的<a href="https://github.com/elastic/elasticsearch/pull/69806">子聚合更改</a>之前，您*还*必须确保 <code>filters</code> 聚合下没有聚合。
 <h2>计划中的计划</h2>现在，当 <code>terms</code> 或 <code>date_histogram</code> 不是搜索中最顶层的聚合时，这些高级的优化都不起作用。但从这个角度看，这是合乎逻辑的下一步。然后，我们就可以优化 <code>date_histogram</code> 内的 <code>terms</code>，或者 <code>terms</code> 内的 <code>terms</code>。拭目以待！
以上全部改进现已在 Elasticsearch 7.13.0 中发布 — <a href="https://cloud.elastic.co/registration">只需在 Elastic Cloud 上点几下鼠标即可</a>。

blog-banner-warp-speed-stars.jpg

blog-thumb-warp-speed-stars.jpg

New in Elasticsearch 7.13: Even faster aggregations

Elasticsearch 7.13 版新增功能：更快的聚合

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Software Engineer

Nik Everett

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Nik Everett

Software Engineer, Elastic

Elasticsearch 7.13 版新增功能：更快的聚合