2017年1月31日 发布

Elastic Stack 5.2.0 发布内容

作者 Medcl Zeng

本周三,Elastic 发布了 ElasticStack 的全新版本5.2.0,让我们 一起来看看这些更新的亮点(Elastic Stack 包括 Elasticsearch、Logstash、Kibana、Beats):

Elasticsearch 5.2.0 主要亮点:

  1. 新增数字和日期范围字段类型:非常方便对范围类型进行交并集的查询。比如你的数据是日历类型的数据,每天都有一些会议信息而会议的开始和结束时间都不同。如果你想看本周那天有空,可以使用 range fields 很方便的进行查询。了解更多
  2. 新增分片分配解释 API:这项新增功能会告知分片失败的具体原因。如分片损坏、磁盘写满还是配置错误,都能进行快速运维。了解更多
  3. 对 keyword 类型标准化:5.0将 string 拆成了 text 和 keyword两种类型,text 支持分词,而 keyword 则不分词默认支持 doc values。不过有时候你还需要对 keyword 类型进行一些标准化处理,如都转成小写,那现在可以使用 normalizers 参数来指定标准化的 filter。
  4. Terms 聚合的分区:Terms 聚合默认返回10个 term。以前如果你需要返回全部的 term 列表那是不可能的任务(基于内存压力),现在你可以通过将请求分区,以多次请求的方式来取回这些数据。了解更多
  5. 字段折叠:在搜索时可以按某个字段的值进行折叠,在每个折叠的值内进行排序选取 topN。了解更多

Logstash 5.2.0 主要亮点:

  1. 新的监控 UI:现在 X-Pack 也能监控 Logstash 了,X-Pack 基础免费版就包括:
    Kibana Dashboard

    Kibana Dashboard

  2. 更多的监控 API,新增3个类型的统计信息:cgroup、持久化队列和 output新增持续时间字段。
  3. 离线插件管理:在很多没有公网的部署环境,都需要离线安装。因为以前的离线安装不够完善,因此个别插件的依赖链会出现下载不完整的问题。为了解决这个问题,我们基本上重新设计了整个工作流程,使用了新的方式来打包插件和他所有的依赖。了解更多

Kibana 5.2.0 主要亮点:

  1. 支持 Elasticsearch Tribe 节点:在 “admin” 集群的基础上,引入了新的 “data” 集群。 “data” 集群可以理解成 Kibana 后面的数据来源,也可以是 tribe 节点,而 “admin” 集群是存放在 Kibana 的可视化信息。 Kibana 索引的地方,默认 data 和 admin 集群都是在同一个集群,且不能是 tribe 节点。目前还有一些细节正在处理,如 console 还不能很好的工作。
  2. 增加新的可视化类型:热点图(heatmap),可以很方便的按区间和按时间来显示数据的范围分布,如下图:
    Kibana Dashboard
  3. 开始进行国际化的支持:感谢 IBM 团队的努力,目前已经提供了基础的框架支持。
  4. 地图服务的改进:Elastic 自己的 Tile 地图服务已经上线几个月了,我们现在能提供10个级别的缩放,而 X-Pack 基础用户更可以达到12个级别的缩放。我们正在尝试18个级别的缩放,并且从5.2开始,我们能让这些级别动态调整,不用发布新的 Kibana。
  5. 监控容器中的 Elasticsearch:现在我们可以监控容器里面 Elasticsearch 的实例运行状况,如CPU 利用率、GC、堆栈使用情况等:
    Kibana Dashboard

Beats 5.2.0 主要亮点:

  1. 新增 Beat - Heartbeat:这是一个新的正式官方 beat 成员,用于可用性监控,和所有的 beat 一样都是轻量级的。 Heartbeat 可以用于很多场景,比如安全。举例来说,如果你不希望暴露某个端口时而该端口对外开启了,使用 Heartbeat ,就可以触发通知。又可以用于服务/网站可用性检测,服务下线了也可以及时感知。目前支持: ICMP 、 TCP 和 HTTP 类型的监控。注意: Heartbeat 现在还处于 beat 阶段,暂不推荐用于生产环境。
  2. Metricbeat 可跟踪网络连接:从5.2开始, Metricbeat 导出了 linux 系统的应用程序的网络连接信息。每个进程打开的 TCP 套接字,本地及远程的 IP 都包含在内,基于它,你可以进行如下的图分析:
    Kibana Dashboard
  3. 收集 Prometheus 导出的指标:从5.2开始,监控系统普罗米修斯的收集模块导出的数据可以提供给 Metricbeat 然后索引进 Elasticsearch 。