了解如何开始使用最新的 Elastic 和 Microsoft Azure 集成，从而简化各项操作并最大限度地掌控您的 Azure 环境。

我们最近宣布，<a href="https://www.elastic.co/cn/blog/experience-elasticsearch-microsoft-azure-portal">用户可以在 Azure 门户中查找、部署和管理 Elasticsearch</a>。这项新集成的入门体验非常简单，所有操作都可使用 Azure 门户和您熟悉的工具完成，您无需注册外部服务或配置账单信息，便可轻松部署 Elastic。 
在这篇博文中，您将了解如何在 Azure 上创建和管理 Elasticsearch 资源，以及如何自动将 Azure 日志和指标采集到 Elastic 中。请参阅我们的<a href="https://www.elastic.co/guide/en/cloud/current/ec-azure-marketplace-native.html">文档</a>，了解更多详细信息。
 <h3>从 Azure 控制台开始</h3>首先，登录 <a href="https://portal.azure.com">Azure</a> 门户。我们将系统介绍在 Azure 上创建 Elasticsearch 资源所需的步骤。在幕后，这个过程将使用 Elastic Cloud 配置一个平台订阅。
<ol>
	<li aria-level="1">确保您的 Azure 帐户在要部署 Elasticsearch 的订阅上配置了所有者访问权限。您可以阅读 <a href="https://docs.microsoft.com/en-us/azure/cost-management-billing/manage/add-change-subscription-administrator#assign-a-subscription-administrator">Microsoft Azure 文档</a>，以了解有关 Azure 订阅的更多信息。</li>
</ol><ol start="2">
	<li aria-level="1">从 Azure 搜索栏中搜索 <code>Elasticsearch</code>。或者，您也可以从这个<a href="https://portal.azure.com/#blade/Microsoft_Azure_Marketplace/GalleryItemDetailsBladeNopdl/id/elastic.ec-azure-pp">市场列表</a>中访问该集成。</li>
	<li aria-level="1"><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6482bdb25c932ce5/60a6b2b54adeb65c03d75564/search_bar.png" data-sys-asset-uid="blt6482bdb25c932ce5" alt="Screenshot of Azure portal search bar" style="display: block; margin: auto;"></li>
</ol><ol start="3">
	<li aria-level="1">单击 Add（添加），开始创建 Elasticsearch 资源。</li>
</ol><ol start="4">
	<li aria-level="1">输入所需的资源详细信息：</li>
</ol><ul>
	<li aria-level="1">Subscription（订阅）— 这个平台购买的订阅将位于 Azure 订阅项下。</li>
	<li aria-level="1">Resource group（资源组）— 资源组与 Elasticsearch 资源相关联</li>
	<li aria-level="1">Resource name（资源名称）— Elasticsearch 资源的名称</li>
	<li aria-level="1">Region（区域）— Elasticsearch 将部署到的区域。之后，还会陆续增加其他 Azure 区域。更多详情，请查看我们的<a href="https://www.elastic.co/guide/en/cloud/current/ec-azure-marketplace-native.html">文档</a>。</li>
	<li aria-level="1">Size（大小）— Elasticsearch 资源的大小。默认集群大小为 480GB 的存储空间和 16GB 的 RAM。创建资源后，您可以修改集群的大小。</li>
	<li aria-level="1">Pricing plan（定价套餐）— Elasticsearch 采用按需付费的定价模式。</li>
	<li aria-level="1">Price（价格）— 基于区域和部署大小的大致价格（创建资源后可编辑）。有关完整的价格列表，请参阅 <a href="https://cloud.elastic.co/pricing">Elastic Cloud 定价计算器</a>。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt452b884e92b42499/60a6d70feab8ca74ace852ab/Create_Elastic_R_(1).png" data-sys-asset-uid="blt452b884e92b42499" alt="Screenshot of how to create an Elastic resource" style="display: block; margin: auto;"></li>
</ul><ol start="5">
	<li aria-level="1">配置日志和指标。使用这些标志，可将 Azure 订阅活动日志和资源日志自动采集到您的 Elasticsearch 集群中。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0d68d246a02de40f/60a6d728a450c25ac83cf247/Create_Elastic_R.png" data-sys-asset-uid="blt0d68d246a02de40f" alt="Screenshot of how to create an Elastic resource" style="display: block; margin: auto;"></li>
</ol><ol start="6">
	<li aria-level="1">指定资源标签 — 与任何其他 Azure 资源都类似。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt00291734fc78835f/60a6d7af6a7d7e6562204c21/Create_Elastic_R_(2).png" data-sys-asset-uid="blt00291734fc78835f" alt="Screenshot of how to create an Elastic resource" style="display: block; margin: auto;"></li>
</ol><ol start="7">
	<li aria-level="1">复查您的信息并选择 Review + create（复查 + 创建）。这将部署 Elasticsearch。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltbb4938a1a15e6ecc/60a6cdd5b29743655f6324fe/Screenshots_-_En.png" data-sys-asset-uid="bltbb4938a1a15e6ecc" alt="Screenshot for creating an Elastic resource" style="display: block; margin: auto;"></li>
</ol>祝贺，您已成功在 Azure 门户中部署了 Elasticsearch！稍等几分钟，您就会在门户中看到 Elasticsearch 资源概述页面。您可能还会注意到您的 Azure 帐户中有一个 Elastic 订阅。Elasticsearch 资源也将显示在您的整合式 Azure 账单上。&nbsp;
 <h3>在 Azure 中管理 Elasticsearch</h3>至此，您的 Elasticsearch 资源已经配置完毕，接下来让我们仔细看看 Elasticsearch 资源概述页面。您已经熟悉了我们上面提到的各个字段，但这个页面还显示了其他一些值得注意的细节：
<ul>
	<li aria-level="1">Status（状态）— Elasticsearch 资源的状态。如果您的集群运行顺利，您将看到 <code>Healthy</code>。</li>
	<li aria-level="1">Version（版本）— 部署的 Elasticsearch 版本。默认情况下，Azure 会部署可用的最新版本。如果您要部署较旧的版本，请参阅下面的 Advanced settings（高级设置）。</li>
	<li aria-level="1">Advanced settings（高级设置）— 这是转至 Elastic Cloud 控制台的链接，方便您根据需要对资源进行其他更改。您可以在 Elastic Cloud 控制台中执行的操作包括：
	<ul>
		<li aria-level="2">重新调整集群大小</li>
		<li aria-level="2">启用自动扩展</li>
		<li aria-level="2">升级到较新版本的 Elasticsearch</li>
		<li aria-level="2">设置流量筛选器以确保连接安全</li>
	</ul></li>
</ul><ul>
	<li aria-level="1">Elasticsearch endpoint（Elasticsearch 终端）— 这是 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/rest-apis.html">Elasticsearch API</a> 的终端。</li>
	<li aria-level="1">Deployment URL（部署 URL）— 帮助您开始使用 Elastic 的 Kibana 链接。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltc29869b698f3dc28/60a6cf9d0a03095ac9585af1/Screenshots_-_En_(1).png" data-sys-asset-uid="bltc29869b698f3dc28" alt="Screenshot of overview page" style="display: block; margin: auto;"></li>
</ul><h3>探索 Elastic 解决方案</h3>您现在可以探索 Elastic 针对搜索、可观测性、安全和分析用例提供的所有解决方案。要开始使用，请在 Azure 中的 Elasticsearch 概述页面单击 Kibana。选择您的 Azure 帐户，通过单点登录直接进入 Elastic。
在 Elastic 中，您可以按照产品内的指南来配置集成、采集数据并开始探索数据，以获得有意义的见解。此外，您还可以利用公测版中提供的 Fleet 来优化数据采集过程。只需在左侧菜单中导览到 Fleet，然后选择 Integrations（集成），即可查看可以采集的各种类型的数据。
<h3><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2fffbe16304696c1/60a6d0756a7d7e6562204bd0/Home_-_Elastic_(1).png" data-sys-asset-uid="blt2fffbe16304696c1" alt="Screenshot of Kibana"> </h3><h3>Azure 日志和指标</h3>通过最新的 Elastic 集成，您可以自动将 Azure 日志和指标采集到 Elastic 中。集成点有以下两个：
Azure 订阅日志和资源日志
<a href="https://docs.microsoft.com/en-us/azure/azure-monitor/essentials/activity-log-schema">Azure 订阅日志</a>提供有关任何订阅级别事件的详细信息。<a href="https://docs.microsoft.com/en-us/azure/azure-monitor/essentials/resource-logs-categories">Azure 资源日志</a>描述这些服务或资源的操作。这两种日志结合在一起，即可获得 Azure 平台的运行概况，帮助分析师和管理员更好地审计 Azure 中的活动。通过这项 Elastic 集成增强功能，只需单击几下，即可轻松将这些日志从 Azure 导出到 Elastic 中，无需手动部署代理或配置采集工作负载。
要开始采集订阅和资源日志：
<ol>
	<li aria-level="1">前往 Logs & metrics（日志和指标）选项卡。您可以通过 Create Elastic Resource（创建 Elastic 资源）流程访问该选项卡，也可以从概述页面中的现有 Elasticsearch 资源进入。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt2f9dd4647a4a58a6/60a6f23fa450c25ac83cf2f2/Create_Elastic_R.png" data-sys-asset-uid="blt2f9dd4647a4a58a6" alt="Screenshot of how to create an Elastic resource" style="display: block; margin: auto;"></li>
</ol><ol start="2">
	<li aria-level="1">单击订阅活动日志和/或资源日志旁边的复选框。</li>
</ol><ol start="3">
	<li aria-level="1">或者，您可以指定标记规则，以在日志收集中包含或排除特定资源。默认情况下，如果未指定标记规则，则会采集所有支持资源的日志。</li>
</ol><ol start="4">
	<li aria-level="1">选择 Save（保存）（或完成资源创建）。日志数据很快就会开始出现在 Elastic 中。</li>
</ol><ol start="5">
	<li aria-level="1">要查看您的日志数据，请登录 Kibana，您可以从 Azure 中的 Elasticsearch 概述页面访问相应数据。进入 Kibana 后，您可以查看 Discover（发现）选项卡，以查看原始日志数据。Dashboard（仪表板）选项卡会显示一些为 Azure 数据预配置的现成仪表板。</li>
</ol><img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt0f9cae41ae35d52a/60abe125b29743655f633371/kibana-screenshot-1.png" data-sys-asset-uid="blt0f9cae41ae35d52a" alt="Screenshot of logs data in Kibana" style="display: block; margin: auto;">
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt546802b8e5da1134/60abe144a5998d6af956724a/kibana-screenshot-2.png" data-sys-asset-uid="blt546802b8e5da1134" alt="Screenshot of logs data in Kibana" style="display: block; margin: auto;">
请注意，这项集成中的日志收集取决于是否支持 Azure 服务，以及部署 Azure 服务的区域。更多详情，请参阅我们的<a href="https://www.elastic.co/guide/en/cloud/current/ec-azure-marketplace-native.html">文档</a>。
虚拟机日志和指标
来自<a href="https://azure.microsoft.com/en-ca/services/virtual-machines/">虚拟机</a>的系统日志可以轻松发送到 Elastic 进行更深入的分析。通过 Elastic，您可以对虚拟机数据执行搜索、可视化、获得告警和进行故障排除。
要开始体验，请按照以下步骤操作：
<ol>
	<li aria-level="1">前往 Elastic 资源中的 Virtual machines（虚拟机）选项卡。<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt6c327b387a8ade7d/60a6d28a0a03095ac9585af9/os-hotmail3_-_Mi_(1).png" data-sys-asset-uid="blt6c327b387a8ade7d" alt="Screenshot of virtual machines overview" style="display: block; margin: auto;"></li>
</ol><ol start="2">
	<li aria-level="1">选择要监测的虚拟机，然后单击 Install Extension（安装扩展）。这一操作将会在您的虚拟机上安装 Elastic VM 扩展，用于部署 <a href="https://www.elastic.co/guide/en/fleet/current/fleet-overview.html#elastic-agent">Elastic Agent</a> 以收集系统日志和指标。</li>
</ol><ol start="3">
	<li aria-level="1">安装扩展后，日志和指标将开始流入 Elastic。在 View data（查看数据）列下，您可以找到两个便捷链接，单击即可前往 Elastic，以便您查看数据：</li>
</ol><ul>
	<li aria-level="1">Logs（日志）：这个链接会将您转到 Elastic 中的日志流，以便您查看和搜索日志数据。</li>
	<li aria-level="1">Metrics（指标）：这个链接会将您转到预先筛选的仪表板，可总体查看虚拟机的运行状况。</li>
</ul><ol start="4">
	<li aria-level="1">您可以使用 <a href="https://www.elastic.co/guide/en/fleet/current/agent-policy.html">Fleet</a> 直接在 Elastic 中进一步管理 Elastic Agent 及其收集的数据。</li>
</ol>至此，您的平台日志和虚拟机数据已在 Elastic 中，不妨再探索一下 Elastic 都提供了哪些功能：
<ul>
	<li aria-level="1">采集环境中的<a href="https://www.elastic.co/cn/integrations">其他数据</a></li>
	<li aria-level="1">通过<a href="https://www.elastic.co/guide/en/machine-learning/current/xpack-ml.html">异常检测</a>发现数据中的异常模式</li>
	<li aria-level="1">将日志和指标数据与系统痕迹整合在一起，以进行<a href="https://www.elastic.co/guide/en/apm/index.html">应用程序性能监测</a></li>
	<li aria-level="1">使用 <a href="https://www.elastic.co/guide/en/security/current/es-overview.html">Elastic 安全</a>通过威胁检测和终端防御来保护您的环境</li>
	<li aria-level="1">使用<a href="https://www.elastic.co/guide/en/enterprise-search/current/index.html">企业搜索</a>构建高度定制的个性化搜索体验</li>
</ul> <h3>整合式账单</h3>在整合式 Microsoft 发票上，您的所有 Elastic 使用量将在一个行项目中显示，并会累积到您的 Azure 支出承诺中。您可以从 <a href="https://cloud.elastic.co/account/usage">Elastic 成本分析页面</a>按区域和部署探究您的 Elastic 使用费。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt8969ece53004060a/60a6d1fd77e996669f49ddec/8480671-2144fa7b9e4534ade59a42a87d9c1581.png" data-sys-asset-uid="blt8969ece53004060a" alt="Screenshot of billing and usage overview" style="display: block; margin: auto;">
<h3>如何获得支持</h3>Elastic 为这项集成提供支持。我们随时为您提供帮助，您可以通过 Azure 门户，单击 Elasticsearch 资源概述中的新支持请求（New support request），与我们取得联系。单击后您会转到 Elastic Cloud 控制台，您可以在其中为 Elastic 支持团队创建支持案例。
<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt9d2e33082a77971f/60a6d187c8faf774ab45f8b9/os-hotmail3_-_Mi.png" data-sys-asset-uid="blt9d2e33082a77971f" alt="Screenshot of how to contact support" style="display: block; margin: auto;">
<h3>立即试用</h3>我们介绍了如何<a href="https://portal.azure.com/#blade/Microsoft_Azure_Marketplace/GalleryItemDetailsBladeNopdl/id/elastic.ec-azure-pp">在 Azure 上开始使用 Elasticsearch (Elastic Cloud)</a>，并探索了原生日志和指标监测功能，让您对这项令人兴奋的集成有一个大致的了解。您可以通过 Azure 门户进行部署，进一步了解各项功能。
要了解更多信息，请查看我们的<a href="https://www.elastic.co/guide/en/cloud/current/ec-azure-marketplace-native.html">文档</a>。有问题或反馈？请发送电子邮件至 <a href="mailto:azure-co-sell@elastic.co">azure-co-sell@elastic.co</a> 联系我们。

cloud-azure-blog-banner.png

blog-thumb-cloud-azure.png

How to deploy and manage Elastic on Microsoft Azure

如何部署和管理 Microsoft Azure 上的 Elastic

随着您的基础设施的增长，成本也会越来越高。我们将会向您展示 Elasticsearch 服务如何让您在节省成本的同时灵活地进行扩展。

数千家客户都在使用 Elastic Cloud 上的官方 Elasticsearch Service (ESS)，他们不仅在其中运行 Elasticsearch，还运行我们的专属产品，例如 <a href="/cn/log-monitoring">Elastic Logs</a>、<a href="/cn/apm">Elastic APM</a>、<a href="/cn/siem">Elastic SIEM</a> 等。在运行方面拥有七年多经验，ESS 是唯一提供完整 Elasticsearch 体验的托管型服务，包括开发公司提供的所有功能、所有解决方案，以及支持；同时 ESS 还能在运行和部署方面提供诸多优势来辅助这些产品。

在<a href="/cn/blog/remove-the-hidden-network-costs-for-your-logs-metrics-and-apm-data-by-using-elasticsearch-service">前一篇博文</a>中，我们针对使用与您的服务、基础设施或日志设备不在同一地区的 SaaS 解决方案，解释了存在的隐藏网络成本，而这些成本会导致费用骤增。在本篇博文中，我们会重点讲解 Elastic Cloud 上的 Elasticsearch 服务如何让您灵活选择各种策略，助您在工作负载增加时控制成本。

存储和分析您的应用程序所生成的日志、指标、APM 跟踪信息和安全事件时，都需要用到基础设施。但凡工作负载有增长，尤其是可观测性和安全用例的工作负载出现增长时，所需基础设施就要增加，而这会致使成本上升。ESS 提供了多种方式来帮助您管理自身数据，以便您在延长有用数据的保留期的同时仍能控制成本，而且还能让您提供同样实用的 Elastic Stack 功能：整合不同来源的数据、可视化选项、告警、异常检测，等等。

我们将会针对时序型数据（例如可观测性和安全用例）查看有哪些节约成本的机会。为向您演示，我们将会使用 Elastic Stack 最常见的用例之一：基础设施监测。Elastic Stack 包括 <a href="/cn/beats">Beats</a>，这是一系列存在于您的客户端中的轻量型代理，能够将数据传输到您的集群。<a href="/cn/beats/metricbeat">Metricbeat</a> 在很多团队中使用都很广泛，可用来发送系统指标（例如 CPU 使用率、磁盘 IOPS，或者 Kubernetes 上所运行应用程序的容器遥测数据）。

随着使用的应用程序越来越多，您的监测需求也会增长，而这就要求您提供更多存储空间来储存所生成的指标。当今，团队在管理大规模时序数据时的策略之一便是定义保留期限。我们今天会研究 ESS 中提供的能提高存储效率的更多选项，而且这些选项都开箱即用。

<h2>场景</h2>
为连续起见，我们将会针对下面的集群深入探讨能节省成本的策略：监测 1000 台主机，每个代理会针对每个指标采集 100 字节的数据，每 10 秒钟会采集 100 个指标，数据保留期为 30 天。我们还会为集群中的数据存储一个副本以实现<a href="/guide/en/cloud/current/ec-planning.html">高可用性</a>，从而防止在节点发生故障时数据丢失。我们用数学算式计算一下需要多少存储空间：

<table><colgroup><col></colgroup>
<tbody>
<tr>
	<td>
		<code>1000 台主机 * 100 字节 * 100 个指标 * 60/10 次/分钟 * 60*24*30（超过 30 天）* 2（需保存一个副本）</code>
		
		<code>= 5184000000000 字节，即 5.184TB</code>
		
	</td>
</tr>
</tbody>
</table>
如采用此法存储这些指标，我们需要的存储空间为 5.2TB。为简单起见，我们这里将会忽略 Elasticsearch 集群运行所需的空间。

总结如下：

<table style="width:100%">
<tbody>
<tr>
	<td>监测的主机数
	</td>
	<td>1,000
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>每天采集的数据量 (GB)
	</td>
	<td>86.4GB
	</td>
</tr>
<tr>
	<td>保留期限
	</td>
	<td>30 天
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>副本数目
	</td>
	<td>1
	</td>
</tr>
<tr>
	<td>所需存储（包括副本）
	</td>
	<td>5.184TB
	</td>
</tr>
</tbody>
</table>
<h2>借助热温部署和索引生命周期管理，提高存储效率
</h2>
在诸如日志和指标等可观测性用例中，数据的使用率会随着时间的流逝而递减。一般情况下，团队会利用近期的数据来快速调查系统事件、安全告警，或者网络流量为何骤增。随着数据的时间越来越久，虽然仍保存在集群中并和集群中其他部分一样占用相同的计算能力、内存和存储资源，但是它们的查询频率会越来越低。这就产生了两种截然不同的数据访问模式，然而集群仅仅针对快速采集和频繁查询进行了优化，并未针对不经常访问的数据的存储方式进行优化。

Elasticsearch 服务中的<a href="/cn/blog/deploying-a-hot-warm-logging-cluster-on-the-elasticsearch-service">热温架构</a>派上用场了。此部署选项会在同一个 Elasticsearch 集群中提供两个硬件配置文件。热节点处理所有新输入的数据，并且存储速度也较快，以便确保快速地采集和检索数据。温节点的存储密度则较大，如需在较长期限内保留数据，不失为一种具有成本效益的方法。

在 Elasticsearch 服务中，针对热节点，我们通常会按照 1:30 的内存硬盘比来配置本地附加型 SSD，而对于温节点，则会按照 1:160 来配置高密度 HDD。这一强大架构与另一个重要功能相辅相成，即：<a href="/guide/en/elasticsearch/reference/current/index-lifecycle-management.html">索引生命周期管理</a> (ILM)。ILM 能够让您自动管理一段时间内的索引，它会根据特定条件（例如索引规模、文档数量或者索引）简化将数据从热节点转移到温节点的过程。

通过结合使用这两项功能，您能够在集群中设置两个不同的硬件配置文件，然后索引自动化工具便会在不同级别的节点之间传输数据。

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/blt87a7937a28252849/5db2fe272140ec675d690487/ESS-hot-warm-moving-tiers-blog.png" data-sys-asset-uid="blt87a7937a28252849" alt="热温部署" style="display: block; margin: auto;">

现在，我们要迁移到热温部署并配置 ILM 策略。在 ESS 中，您可以创建新的<a href="/guide/en/cloud/current/ec-getting-started-templates-hot-warm.html">热温部署</a>，还可以选择恢复来自其他集群的快照。如果已经拥有高 I/O 部署，您可以十分轻松地<a href="/guide/en/cloud/current/ec-migrate-templates.html">迁移到热温部署</a>，只需向集群中添加温节点即可。通过使用 ILM 策略，我们会将数据在热节点中保存七天，然后将这些数据转移到温节点。

说一下底层的工作原理，当数据转移到温节点阶段后，您便不能再向索引中写入内容了。这又为我们节省成本提供了另一个机会，因为我们可以选择不在温节点中保存任何副本。如果温节点发生故障，我们可以基于最近截取的快照进行恢复，而无需使用副本。

此法有一个缺陷：从快照进行恢复时，速度通常较慢，所以在发生故障时，此法会导致您的故障解决时间变长。然而，很多时候这种情况是可以接受的，因为温节点中包含的通常是查询不太频繁的数据，所以在实际项目中影响比较有限。

最后，当数据存储时间到达 30 天后，我们会将数据删除，从而与我们原始的数据保留政策相一致。使用和上面类似的数学算式，下面是这种方法的汇总信息：

<table style="width:100%">
<tbody>
<tr style="background-color:#E8F6FE;">
	<td>
	</td>
	<td style="text-align: center;">传统集群
	</td>
	<td style="text-align: center;">热温 + ILM
	</td>
</tr>
<tr>
	<td>监测的主机数
	</td>
	<td>1,000
	</td>
	<td>1,000
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>每天采集的数据量 (GB)
	</td>
	<td>86.4GB
	</td>
	<td>86.4GB
	</td>
</tr>
<tr>
	<td>保留期限
	</td>
	<td>30 天
	</td>
	<td>
		热：7 天
		 
		温：30 天
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>所需副本数量
	</td>
	<td>1
	</td>
	<td>
		热节点：1
		 
		温节点：0
	</td>
</tr>
<tr>
	<td>存储要求
	</td>
	<td>5.184TB
	</td>
	<td>
		热：1.2096TB（带副本）
		 
		温：1.9872TB（无副本）
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>所需集群规模（约值）
	</td>
	<td>232GB RAM（6.8TB 的 SSD 存储）
	</td>
	<td>
		热：58GB RAM，带 SSD
		 
		温：15GB RAM，带 HDD
	</td>
</tr>
<tr>
	<td>每月集群成本
	</td>
	<td>$3,772.01
	</td>
	<td>$1,491.05
	</td>
</tr>
</tbody>
</table>
这一方法将每月成本削减了高达 60%，同时您仍能拥有可搜索的弹性数据。您可以对 ILM 策略进行微调以便找到理想的滚动期限，从而最大程度利用温节点上的存储优势。

<h2>通过数据汇总节省更多存储空间</h2>
如要节省存储空间，还可以考虑另外一个选项：<a href="/cn/blog/how-to-create-manage-and-visualize-elasticsearch-rollup-data-in-kibana">数据汇总</a>。汇总 (rollup) API 能够将数据“汇总”为 Elasticsearch 中的单份文档，让您以更节省空间的方式对数据进行汇总和存储。然后，您便可将原始数据归档或删除，从而节省存储空间。

创建“汇总”时，您需要选择在未来分析时会感兴趣的所有字段，然后基于汇总后的数据生成一个新索引。对主要处理数值型数据的用例进行监测时，这种方法尤为有用，因为此类数据可以很轻松地按照更粗的粒度（例如分钟、小时甚至天）进行汇总，同时仍能显示一段时间内的趋势。汇总后的索引在 Kibana 中的所有地方都能使用，您可以将它轻松地添加到既有仪表板中，从而避免造成任何分析工作的中断。这些都可以直接在 Kibana 中进行配置。

<img src="https://images.contentstack.io/v3/assets/bltefdd0b53724fa2ce/bltecada94734b9a556/5e55331906f84d0d618daa52/ess-cost-savings-rollups-blog.jpg" data-sys-asset-uid="bltecada94734b9a556" alt="创建“汇总”作业" style="display: block; margin: auto;">

继续使用上面的场景，回想一下，我们需要 5.2 TB 的存储空间来存储 1,000 个主机 30 天的指标，其中包括一个副本集以确保高可用性。然后描述了一个使用热温部署模板的场景。现在我们要使用“数据汇总”API 来配置一个“汇总”作业，此作业会在数据到达七天后执行，这样我们稍微牺牲一些粒度，便可获得多得多的可用存储空间。

我们对“数据汇总”作业进行如下设置：将每 10 秒一次的指标数据汇总为逐小时的汇总文档。这样的话，我们仍能按小时查询和可视化较早的指标，而且这些指标能够在 Kibana 可视化和 Lens 中使用，从而揭示趋势和数据中的其他关键时刻。接下来，我们要删除刚才汇总之前的原始文档，这能够在集群中省出大量存储空间。使用数学算式进行计算后，我们能够得出针对所汇总的数据我们需要多少存储空间。

<table><colgroup><col></colgroup>
<tbody>
<tr>
	<td>
		<code>1000 台主机 * 100 字节 * 100 个指标 * 60/3600 次/分钟 * 60*24*23（超过 23 天）</code>
		
		<code>= 5520000000 字节，即 5.52GB</code>
		
	</td>
</tr>
</tbody>
</table>
这些汇总后文档的原始数据已超过七天，所以如使用“热温 + ILM”的方法，它们会存储在我们热温集群里的温节点中。现在，我们可以将 1.99 TB 的数据完全删除。右边一列显示的是新方法得出的结果：

<table style="width:100%">
<tbody>
<tr style="background-color:#E8F6FE;">
	<td>
	</td>
	<td style="text-align: center;">传统集群
	</td>
	<td style="text-align: center;">热温 + ILM
	</td>
	<td style="text-align: center;">热温 + ILM，搭配汇总数据
	</td>
</tr>
<tr>
	<td>监测的主机数
	</td>
	<td>1,000
	</td>
	<td>1,000
	</td>
	<td>1,000
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>每天采集的数据量 (GB)
	</td>
	<td>86.4GB
	</td>
	<td>86.4GB
	</td>
	<td>86.4GB
	</td>
</tr>
<tr>
	<td>保留期限
	</td>
	<td>30 天
	</td>
	<td>
		热：7 天
		 
		温：30 天
	</td>
	<td>
		热：7 天
		 
		温：30 天
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>粒度
	</td>
	<td>10 秒
	</td>
	<td>10 秒
	</td>
	<td>
		前 7 天：10 秒
		 
		7 天后：1 小时
	</td>
</tr>
<tr>
	<td>所需副本数量
	</td>
	<td>1
	</td>
	<td>
		热节点：1
		 
		温节点：0
	</td>
	<td>
		热节点：1
		 
		温节点：0
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>存储要求
	</td>
	<td>5.184TB
	</td>
	<td>
		热：1.2096TB（带副本）
		 
		温：1.9872TB（无副本）
	</td>
	<td>
		热：1.2096TB（带副本）
		 
		温：5.52GB（无副本，有汇总数据）
	</td>
</tr>
<tr>
	<td>所需集群规模（约值）
	</td>
	<td>232GB RAM（6.8TB 的 SSD 存储）
	</td>
	<td>
		热：58GB RAM，带 SSD
		 
		温：15GB RAM，带 HDD
	</td>
	<td>
		热：58GB RAM，带 SSD
		 
		温：2GB RAM，带 HDD
	</td>
</tr>
<tr style="background-color:#F6F7FA;">
	<td>每月集群成本
	</td>
	<td>$3,772.01
	</td>
	<td>$1,491.05
	</td>
	<td>$1,024.92
	</td>
</tr>
</tbody>
</table>
节约的成本可谓十分之大。如果在既有热温集群的基础上采用数据汇总，我们可将成本降低 31%。如果将最后一个场景与仅包含单一硬件级别的传统集群相比，结果更加引人注目，您能够将成本锐减 73%！

<h2>你的部署你做主</h2>
每种方法都有利有弊。您可以灵活地微调各个策略，让其能够最大程度上符合您的需求。

通过 ILM 策略，您能够基于索引规模、文档数量或文档新旧程度来定义滚动期间，然后便可将数据转移到热温集群中的温节点。温节点能够高效地存储大量数据，帮助您节省计算资源成本。由于温节点的查询时间比热节点要长，所以对于不常查询的数据，这是一种优选方法。

数据汇总功能能够将数据汇总到较粗粒度的文档中，所以当数据较久，您不再需要较细粒度的原始文档时，这种方法十分有用。然后，您便可以删除源文件，从而帮助节省存储成本。您可以定义将数据汇总到多粗的粒度，以及何时进行汇总。您需找到正确的平衡点，以便汇总后的数据仍能继续为您提供关键洞见，例如一段时间内的趋势，或者流量骤增导致的系统行为。

您现在已经熟悉了如何使用开箱即用型策略优化 Elasticsearch 集群中的指标类工作负载，那么您要如何利用节省下来的存储空间呢？Elastic Stack 适用于各种各样的丰富用例：日志、APM 跟踪信息、审计事件、终端数据，等等。

Elastic Cloud 上的 Elasticsearch Service 不但提供 Elastic Stack 的全部功能，而且您还能从中获取由开发公司提供的运行方面的专业知识。如尚未准备好扩展至新用例，您可以借助存储优化机会来继续使用您的集群。以相似的成本，您可以延长数据的保留期，存储更多内容；或者，您还可以轻点几下鼠标来在不牺牲数据可见性的前提下缩小集群规模，从而节约成本。

希望开始使用 Elastic Cloud 上的 Elasticsearch 服务？<a href="/cn/cloud/elasticsearch-service/signup">参加 14 天的免费试用活动，快速部署一个集群</a>。

blog-cloud-piggy-bank-banner.jpg

blog-cloud-piggy-bank-thumb.jpg

Cost-saving strategies for the Elasticsearch Service: Data storage efficiency

Elasticsearch 服务的节省成本策略：数据存储效率

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Principal Product Manager

Osman Ishaq

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Osman Ishaq

Principal Product Manager, Elastic

如何部署和管理 Microsoft Azure 上的 Elastic

Elasticsearch 服务的节省成本策略：数据存储效率