Elastic Cloud on Kubernetes 入门:部署

尽管仍在 α 测试阶段,近期有关 Elastic Cloud on Kubernetes (ECK) 的公告还是在 Elasticsearch 社区和 Kubernetes 社区引发了人们浓厚的兴趣。ECK 由 Elastic Stack 的开发人员开发和提供支持,是在 Kubernetes 上部署 Elastic 的首选方式。本系列博文共有两篇,旨在带您逐步完成下面的过程:

  1. 在 Kubernetes 集群(Minikube 或 GKE)中部署 ECK
  2. 在 ECK 中部署 Elastic Stack
  3. 在 ECK 中对 Elasticsearch 和 Kibana 进行缩放和升级
  4. 部署一个由 Elastic APM 检测的范例应用程序,并将 APM 数据发送至由 ECK 托管的 Elasticsearch 集群
  5. 将 Metricbeat 作为 DaemonSet 部署到 Kubernetes 中,并将 Metribeat 安全地连接至由 ECK 托管的 Elasticsearch 集群

按照博文进行操作后,您将会拥有一套如下图所示的系统。在第一篇博文中,我们专注于部署 ECK 和 Elastic Stack。

ECK 部署关系图

您还可以参考快速入门页面或产品页面,以了解有关 ECK 的最新信息。

创建您的 k8s 集群

您必须准备好一个 Kubernetes 集群,然后才能部署 ECK 和 Elastic Stack。在本篇博文中,Minikube 或 Google Kubernetes Engine (GKE) 都可以。我们还支持其他 Kubernetes 分发包,例如 OpenShift、Amazon EKS 和 Microsoft AKS。由于我们要部署 ECK、Elasticsearch、Kibana、APM Server 和一个范例应用程序,我建议您将集群配置为 16 GB 内存和 4 核处理器。您也可以将 Kubernetes 集群配置为 12 GB 内存,但 16 GB 肯定能为您带来流畅的使用体验。

Minikube

如果您准备使用 Minikube,请按照安装说明进行安装。安装完毕后,使用所需的资源对 Minikube 进行配置并将其启动:

minikube config set memory 16384 
minikube config set cpus 4
minikube start

借助 Kubernetes 仪表板,您能够十分便捷地对 Kubernetes 集群进行监测和管理。您通过一条命令便可为 Minikube 启用仪表板:

minikube dashboard

会自动打开一个浏览器窗口,并显示 Kubernetes 仪表板。就这么简单——您可以进行下一步了。

Google Kubernetes Engine (GKE)

如想使用 GKE,请按照 Google 文档来配置您的集群。我的 GKE 集群包括一个节点,该节点的配置为 15 GB 内存,4 个 vCPU。您可以选择小一些的集群,但是内存不得小于 12 GB。而且,如要使用 GKE,您需要 gcloud 命令行工具

您的 GKE 集群设置完毕并运行后,使用下方命令来连接至您的集群并设置所需的权限。对于 GKE,您必须拥有集群管理员权限。确保将 project name(项目名称)、zone name(区域名称)、cluster name(集群名称)和 user ID(用户 ID)替换为您的信息:

gcloud config set project elastic-sa 
gcloud config set compute/zone us-central1-a
gcloud config set container/cluster aquan
gcloud auth login
gcloud container clusters get-credentials aquan --zone us-central1-a --project elastic-sa
kubectl create clusterrolebinding cluster-admin-binding --clusterrole=cluster-admin --user=adam.quan@elastic.co
kubectl create clusterrolebinding adam.quan-cluster-admin-binding --clusterrole=cluster-admin --user=adam.quan@elastic.co

最后,我们将要使用 Kubernetes 命令行工具与 Minikube 或 GKE 进行交互。按照指南安装 kubectl。确保您所安装的 kubectl 为 1.11 或更新版本。

至于本篇博文所使用的项目,您可从这个 GitHub 存储库下载。

部署 Elasticsearch Operator

只需一条命令便可部署 ECK,您相信吗?就是这样——只需运行下方命令便可部署最新的 ECK 0.9.0(截至撰写本文时)。无比简单快捷。

kubectl apply -f https://download.elastic.co/downloads/eck/0.9.0/all-in-one.yaml

部署完成后,您可以使用下方命令监测来自 Operator 的日志并确保一切顺利。片刻之间,便能部署完并运行 ECK 。

kubectl -n elastic-system logs -f statefulset.apps/elastic-operator

部署 Elastic Stack

既然现在 ECK 已在运行,我们可以开始部署 Elastic Stack 了,也是仅需一条命令。查看 apm_es_kibana.yaml 并了解配置 Kibana 和 APM Server 有多么简单;配置完后,Kibana 和 APM Server 便可使用 elasticsearchRef 彼此进行通信。

您可以通过很多方法对部署进行自定义,例如:

  • Pod 模板
  • 节点配置
  • 虚拟内存
  • 自定义 HTTP 证书
  • 安全设置

使用下方命令部署堆栈:

kubectl apply -f apm_es_kibana.yaml

通过 kubectl 或者 Kubernetes 仪表板了解 Elasticsearch、Kibana 和 APM Server 的状态,并确保所有均为绿色和可用状态:

kubectl get elasticsearch,kibana,apmserver

所有三个组件均变为绿色即表示您的 Elasticsearch 集群已部署完毕并正常运行,可以向其中采集数据了。ECK 可帮助我们完成很多任务。稍停一下,我们看一下 ECK 到底对我们的集群进行了哪些操作:

  • 为 ECK 开启了安全功能。通过 ECK 部署的所有 Elastic Stack 资源均默认受到安全保护。内置的基本身份验证用户 elastic 已通过 TLS 进行配置,而且往返于 Elasticsearch 集群的以及 Elasticsearch 集群内的网络流量均通过 TLS 受到安全保护。
  • 证书:默认情况下,会针对每个集群使用一个自签名 CA 证书。还可以配置自定义 HTTPS 证书。
  • 默认服务暴露:会自动为您的集群和 Kibana 创建一项 ClusterIP 服务。如有需要,您当然可以将其配置为 LoadBalancer 类型。

现在 Elasticsearch、Kibana 和 APM Server 都已正常运行,我们从 Kibana 中看一下。

访问 Kibana

默认情况下,Kibana 会暴露为一项可从集群内部访问集群 IP 的服务,但 Kibana 不会暴露至互联网。然而,您可以使用下方的端口转发命令让您的笔记本电脑可以访问 Kibana:

kubectl port-forward service/kibana-sample-kb-http 5601

登录 Kibana 之前,我们需要获得默认 elastic 用户的凭据。您可以运行 kubectl get secret,然后检查密钥以找出密钥的 JSON 路径。下面是我们案例的正确密钥和路径:

echo `kubectl get secret elasticsearch-sample-es-elastic-user -o=jsonpath='{.data.elastic}' | base64 --decode`

Elastic 用户的密码已显示出来。将其复制并保存至记事本中。

现在,打开浏览器并连接至 https://localhost:5601。由于我们使用的是自签名证书,您将需要接受浏览器的安全警告。使用 Elastic 用户和您刚检索到的密码登录 Kibana。您将会来到 Kibana 主页。我们的集群已完全部署完毕啦!

缩放和升级

在 ECK 中缩放和升级 Elasticsearch 集群的过程十分简单,只需编辑部署配置并通过 kubectl 加以应用即可。

缩放

编辑您的部署清单 apm_es_kibana.yaml,在下面部分中将 elasticsearch 容器的内存大小从 3 GB 调整为 2 GB 即可:

        containers:
- name: elasticsearch
resources:
limits:
memory: 3Gi

保存文件并通过这条命令对节点进行缩放:

kubectl apply -f apm_es_kibana.yaml

立即切换至 Kubernetes 控制台,您在这里会看到创建了几个 Elasticsearch Pod。ECK 正在缩放 Elasticsearch 节点,而且实现了零中断。很快您就会发现新的 Pod 开始运行,而原始 Pod 也会消失。原始 Pod 的数据也畅通无阻地转移了过来。

您当然还可以通过其他方式对集群规模进行缩放,例如向其中添加更多节点。无论采用什么方式,通过简单的一条 kubectl apply 命令就能搞定。

正在创建 Elasticsearch 集群

升级

现在,我们将集群升级至 7.2.0,只需简单地在部署清单文件 apm_es_kibana.yaml 中将 Elasticsearch、Kibana 和 APM Server 的版本从 7.1.0 更改为 7.2.0 即可。保存并通过下面的命令应用升级:

kubectl apply -f apm_es_kibana.yaml

相似地,从 Kubernetes 控制台中您可以看到 ECK 正在流畅地对 Elasticsearch、Kibana 和 APM Server 进行升级,而且实现了零中断。

升级过程完成后,验证并确认您所运行 Elastic Stack 的版本是 7.2.0。您现在完全相信 ECK 的强大能力了吧?希望如此。

总结

希望您喜欢 Elastic Cloud on Kubernetes 的快速入门过程,并且认识到这一过程有多么简单。在本篇博文的第 2 部分,我们将会部署一个由 APM 检测的简单应用程序,并让其将 APM 数据发送至我们由 ECK 托管的集群。我们还会在 Kubernetes 中部署 Metricbeat,以将指标数据发送至集群。