Elastic Stack 功能

Elastic Stack 包含各种功能(之前统一称为 X-Pack),从企业级安全性和开发人员友好型 API,到 Machine Learning 和图表分析,非常全面;借助这些功能,您能够对所有类型的数据进行大规模采集、分析、搜索和可视化。

由创始团队倾心打造的托管型 Elasticsearch 和 Kibana

快速部署 Elasticsearch Service 吧,现可免费试用 14 天。无需提供信用卡。

开始免费试用

管理和运行

管理和运行

可扩展性和弹性

Elasticsearch 运行在一个分布式的环境中,从设计之初就考虑到了这一点,目的只有一个,让您永远高枕无忧。我们的集群可以随着您需求的增长而增长 — 只需再添加节点即可。

集群和高可用性

集群指一个或多个节点(服务器)的集合,它们共同存储您的全部数据并在所有节点上都提供联合索引和搜索功能。Elasticsearch 集群的一大特征是具有主分片和副本分片,可在节点发生故障时自动实现故障切换。当主分片遇到故障时,副本分片会取而代之。

了解集群和 HA

自动节点恢复

当节点离开集群时(无论出于何种原因,有意为之还是其他情况),主节点会进行应对,具体做法是使用副本来替代节点并对分片进行再平衡。这些操作的目的是通过确保尽快完全复制每个分片,保护集群不会损失数据。

了解节点分配

自动数据再平衡

您的 Elasticsearch 集群中的主节点会自动决定将哪个分片分配给哪个节点,以及何时需要在节点间移动分片以重新平衡集群。

了解自动数据再平衡

水平可扩展性

随着使用量的增加,Elasticsearch 可以进行扩展。添加更多数据和更多用例,当您开始遇到资源不足问题时,只需向集群中再添加一个节点以提高容量和可靠性即可。而且当您向集群中添加更多节点时,集群会自动分配副本分片,所以您可以从容应对未来变化。

了解如何进行水平扩展

机架意识

您可以将定制节点属性作为意识属性,从而让 Elasticsearch 在分配分片时将实体空间配置考虑在内。如果 Elasticsearch 知道哪些节点在同一个实体服务器上、同一个机架上,或者位于同一个区内,Elasticsearch 就能相应地分配主分片和副本分片,从而将万一发生故障时丢失所有分片副本的风险降至最低。

了解分配意识

跨集群复制

通过跨集群复制 (CCR) 功能,用户能够将远程集群中的索引复制到本地集群中。这一功能可用于常见的生产用例中。

了解 CCR
  • 灾难恢复:如果主集群发生故障,备用集群可以作为热备份。

  • 地理邻近度:可以在本地满足读取需求,从而降低网络延时。

跨数据中心复制

长期以来,对于 Elasticsearch 上的任务关键型应用程序而言,跨数据中心复制一直都是一项硬性要求,之前通过利用其他技术这一问题在部分程度上得到了解决。现在,通过 Elasticsearch 内的跨集群复制功能,再也无需依赖其他技术来跨数据中心、跨地区或者跨 Elasticsearch 集群来复制数据了。

了解跨数据中心复制

管理和运行

监测

您可以利用 Elastic Stack 的 Monitoring 功能来监视 Elastic Stack 的运行情况。密切关注 Elastic Stack 的运行情况,从而确保您充分发挥 Elastic Stack 的作用。

全堆栈监测

通过 Elastic Stack 的 Monitoring 功能,您能够获取有关 Elasticsearch、Logstash 和 Kibana 的深入洞见。由于所有的监测指标都存储在 Elasticsearch 中,所以您能够轻松在 Kibana 中对数据进行可视化。

了解 Elastic Stack 的 Monitoring 功能
    screenshot-monitoring-clusters-dashboard-feature-page.jpg

多堆栈监测

借助集中式监测集群来简化您的工作流,在单个地方记录、跟踪和比较多个 Elastic Stack 集群部署的运行和性能情况。

了解多堆栈监测

可配置保留政策

您可以使用 Elastic Stack 来控制要将监测数据保留多久。默认为 7 天,但您可调整为任何时长。

了解保留政策

堆栈发生问题时自动告警

借助 Elastic Stack 强大的 Alerting 功能,您可以自动获知集群中的任何更改——所有 Elasticsearch、Kibana 和 Logstash 中的集群状态、授权过期情况或其他监测指标。

了解自动堆栈告警
    screenshot-monitoring-cluster-alerts-feature-page.jpg

管理和运行

管理

Elastic Stack 提供了大量的管理工具、UI 和 API,让您可以完全控制数据、用户、集群操作等方面。

索引生命周期管理

通过索引生命周期管理 (ILM),用户能够定义并自动执行政策,进而控制某个索引在四个阶段中分别应该停留多长时间,还可以定义并自动执行在各个阶段针对索引所采取的行动集合。由于可以将数据置于不同的资源等级,所以这样能够更好地帮助节省运行成本。

了解 ILM
  • 热节点:主动进行更新,也可查询

  • 温节点:不再进行更新,但仍可查询

  • 冷/冻节点:不再进行更新,也很少查询(尽管仍可以搜索,但速度会很慢)

  • 删除:不再需要

数据层

数据层是通过节点角色属性将数据划分为热、温和冷节点的形式化方法,该属性自动定义节点的索引生命周期管理策略。通过分配热节点、温节点和冷节点角色,可以大大简化将数据从成本较高、性能较高的存储移到成本较低、性能较低的存储的过程,并促进整个过程的自动化,所有这些都不会影响您获得洞见的能力。

了解数据层
  • 热节点:在大多数性能实例上主动进行更新和查询
  • 温节点:在性能较低的实例上查询数据的频率较低

  • 冷节点:只读、很少被查询、显著减少存储而不降低性能,由可搜索快照提供支持

快照和还原

快照指基于正在运行的 Elasticsearch 集群制作的备份。您可以对单个索引或整个集群进行快照,然后将快照存储在共享文件系统上的存储库中。我们同时还提供插件来为远程存储库提供支持。

了解快照和恢复

可搜索快照

可搜索快照使您能够直接查询快照,相比一次典型的从快照完成还原所需的时间,用时极短,因为仅需读取每个快照索引的必要部分即可完成请求。可搜索快照与冷层一起使用,可以在基于对象的存储系统(如 Amazon S3、Azure Storage 或 Google Cloud Storage)中备份副本分片,同时仍提供对它们的完全搜索访问权限,从而显著降低数据存储成本。

了解可搜索快照

快照生命周期管理

作为后端的快照管理工具,快照生命周期管理 (SLM) API 能够允许管理员定义对 Elasticsearch 集群进行快照的频率。通过专属 UI,SLM 能够让用户为 SLM 政策配置保留期,自动创建/删除快照,并自动预先安排好快照事宜——这能够确保以合理频率对特定集群进行快照,从而按照客户的 SLA 进行恢复。

了解 SLM

基于快照的对等恢复

如果环境中的节点到节点数据传输成本高于从快照恢复数据的成本,Elasticsearch 就可以利用这项功能,在数据可用时从最近的快照中恢复副本并重新定位主分片,从而降低集群的运营成本。

了解基于快照的对等恢复

数据汇总

保存历史数据以进行分析是一项十分有用的实践,但人们经常会由于存档大量数据带来的巨大财务成本而不这么做。因此,保留期限的长短由财务现实决定,而不会取决于大量历史数据的帮助作用。汇总功能为人们提供了一种汇总和存储历史数据的方法,这样人们仍可用其来进行分析,但是成本与存储原始数据相比却要小得多。

了解数据汇总
    screenshot-rollups-management-ui-feature-page.jpg

数据流

数据流能够让您以便捷、可扩展的方式来采集、搜索和管理持续生成的时序数据。

深入了解数据流

CLI 工具

Elasticsearch 提供了大量工具,供人们配置安全性并使用命令行来执行其他任务。

探索不同的 CLI 工具

升级助手 UI

升级助手 UI 能够帮您为升级至最新 Elastic Stack 版本做好准备。在 UI 内,该助手可识别您的集群或索引中需要弃用的设置,并引导您完成解决问题的全过程,包括重新索引。

了解升级助手
    screenshot-management-upgrade-assistant-8-0-feature-page.jpg

升级助手 API

通过升级助手 API,您能够检查 Elasticsearch 集群的升级状态,并对在之前重大版本中创建的索引进行重新索引。这一助手能够帮助您为下一次 Elasticsearch 重大版本升级做好准备。

了解升级助手 API

用户和角色管理

通过 API 或者在 Kibana 的“管理”中创建并管理用户和角色。

了解用户/角色管理
    screenshot-kibana-management-security-feature-page.jpg

Transforms

Transforms 是两维的表格式数据结构,可以让索引后的数据更加易于分解。Transforms 能够执行聚合,对您的数据进行透视,形成以实体为中心的新索引。通过对数据进行转化和汇总,您便有可能通过其他方法(包括将其作为其他 Machine Learning 分析的数据源)对这些数据进行可视化和分析。

了解 Transforms

管理和运行

Alerting

Elastic Stack 的 Alerting 功能可让您充分利用 Elasticsearch 查询语言,当数据发生令您感兴趣的变化后,您能够发现这些变化。换言之,如果您能够在 Elasticsearch 中查询某些数据,就能够创建相应的告警。

高可用性、可扩展警报

这么多大大小小的公司/组织信得过使用 Elastic Stack 来满足他们的告警需求,肯定有其原因。通过可靠且安全地采集任何来源、任何格式的数据,分析师可以实时搜索、分析和可视化关键数据,而且完成所有这一切时都能使用定制、可靠的告警。

了解告警

通过电子邮件、Webhook、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、Slack 和 xMatters 传送的通知

利用针对电子邮件、IBM Resilient、Jira、Microsoft Teams、PagerDuty、ServiceNow、xMatters 和 Slack 的内置集成功能关联告警。通过 Webhook 输出与任何其他第三方系统进行集成。

了解告警通知选项
    screenshot-alerting-actions-integrations-connectors-710-656x369.png

Alerting UI

通过一个 UI 来查看、创建和管理所有告警,让您对告警拥有充分掌控权。获取实时更新,了解哪些告警正在运行以及采取了哪些行动,做到了如指掌。

了解如何在 Kibana 中配置告警
    screenshot-alerting-management-interface-710-748x421.png

告警抑制和降噪

稍后提醒告警规则可在用户定义的期间内抑制通知和操作。在处理意外出现的问题时或在已知的中断时间内,您永远不会因为忘记将规则取消静音而错过一个行动。

了解告警抑制和降噪

    Discover 的搜索阈值告警

    Discover 中的搜索阈值规则基于 Elasticsearch 查询,它会按照给定的时间间隔分析文档,以检查具有指定条件的文档是否达到了阈值,并在达到阈值时触发告警。如果用户希望触发通知或自动创建事件,他们可以创建并分配相应的操作。

    了解 Discover 的搜索阈值告警

    管理和运行

    Stack 安全性

    Elastic Stack 的安全功能会向正确的人员授予正确的访问权限。IT、运营和应用程序团队能够依赖这些功能来管理善意用户并阻隔恶意破坏人员;与此同时,Elastic Stack 中存储的数据始终享有可靠的安全保障,公司高管和客户都能高枕无忧。

    安全设置

    某些设置很敏感,所以依赖文件系统许可来保护它们的值不外泄是不足够的。对于这一用例,Elastic Stack 组件会提供密钥库来防止在未经授权的情况下访问敏感的集群设置。用户还可以选择对 Elasticsearch 和 Logstash 密钥库进行密码保护,从而进一步增强安全性。

    详细了解安全设置

    加密通信

    通过流量加密,以及使用 SSL/TLS、节点身份验证证书等等,可以有效阻止针对 Elasticsearch 节点数据的网络攻击。

    了解加密通信

    数据静态加密支持

    虽然 Elastic Stack 不能直接实施数据静态加密,但我们建议在所有主机上都配置磁盘级别加密。此外,快照目标也必须确保对数据进行静态加密。

    基于角色的访问控制 (RBAC)

    借助基于角色的访问控制 (RBAC),您能够通过为角色分配权限以及为用户或群组分配角色来为用户授权。

    了解 RBAC
      screenshot-security-users-roles-feature-page.jpg

    基于属性的访问控制 (ABAC)

    Elastic Stack 的 Security 功能同时还提供基于属性的访问控制 (ABAC) 机制,通过该机制,您能够使用属性来限制搜索查询和聚合中文档的访问权限。这一功能可让您在角色定义中实施访问政策,这样用户只有在拥有全部必备属性时,才能读取特定文档。

    了解 ABAC

    匿名访问控制(用于公开分享)

    从地图到仪表板,再到任何 Kibana 保存的对象,您现在可以创建专门的链接,让任何人都可以访问其中的资产,而不会被提示输入凭据。

    了解匿名访问

    字段和文档级别安全性

    字段级安全性能够限制用户有权访问的字段。具体而言,其能限制从基于文档的只读 API 中可以访问哪些字段。

    了解字段级安全性

    文档级安全性能够限制用户有权访问的文档。具体而言,其能限制从基于文档的只读 API 中可以访问哪些文档。

    了解文档级安全性

    审计日志

    您可以启用审计来跟踪安全相关事件(例如身份验证失败以及遭拒的连接请求)。对这些事件进行日志记录能够让您监测自己集群中的可疑活动,并在遭受攻击时提供证据。

    了解审计日志

    IP 筛选

    您可以针对应用程序客户端、节点客户端或者传输客户端(而不仅局限于尝试加入集群的其他节点)应用 IP 筛选。如果某节点的 IP 地址在黑名单中,Elasticsearch 安全功能虽允许其连接至 Elasticsearch,但会立即断开连接且不会处理任何请求。

    IP 地址或范围

    xpack.security.transport.filter.allow: "192.168.0.1"
    xpack.security.transport.filter.deny: "192.168.0.0/24"
    

    白名单

    xpack.security.transport.filter.allow: [ "192.168.0.1", "192.168.0.2", "192.168.0.3", "192.168.0.4" ]
    xpack.security.transport.filter.deny: _all
    

    IPv6

    xpack.security.transport.filter.allow: "2001:0db8:1234::/48"
    xpack.security.transport.filter.deny: "1234:0db8:85a3:0000:0000:8a2e:0370:7334"
    

    主机名

    xpack.security.transport.filter.allow: localhost
    xpack.security.transport.filter.deny: '*.google.com'
    
    了解 IP 筛选

    Security Realm

    Elastic Stack 的 Security 功能会使用 Realm 或者一个或多个基于令牌的身份验证服务来验证用户身份。Realm 可基于身份验证令牌来解决问题并验证用户身份。Security 功能提供大量内置 Realm。

    了解 Security Realm

    单点登录 (SSO)

    通过将 Elasticsearch 作为后端服务,Elastic Stack 支持通过 SAML 单点登录方式 (SSO) 登录 Kibana。通过 SAML 身份验证,可以允许用户使用外部身份提供商服务(例如 Okta 或 Auth0)登录 Kibana。

    了解 SSO

    第三方安全性集成

    如果 Elastic Stack 中提供的开箱即用型 Security 功能不支持您使用的身份验证系统,您可以创建一个自定义 Realm 来验证用户身份。

    了解第三方安全性

    FIPS 140-2 模式

    Elasticsearch 提供一种符合 FIPS 140-2 规范的模式,此模式可以在已启用的 JVM 中运行。通过使用 FIPS 批准/NIST 推荐的加密算法,可以确保遵守处理标准。

    了解 FIPS 140-2 遵从性

    Section 508 法案

    如果您的 Elastic Stack 部署需要满足 Section 508 合规性标准,我们的 Security 功能可以满足您的需求。

    了解不同的合规性方案

    标准 (GDPR)

    按照 GDPR 指南,您的数据很有可能会归为个人数据。了解您可以如何使用 Elastic Stack 的功能(从基于角色的访问控制到数据加密)来保护自己的 Elasticsearch 数据,从而满足 GDPR 的安全和处理要求。

    阅读 GDPR 白皮书

    管理和运行

    部署

    从公共云到私有云,我们都能够让您轻松地运行和管理 Elastic Stack。

    下载并安装

    轻松入门,历来如此。只需下载并安装存档形式的 Elasticsearch 和 Kibana,也可使用文件包管理工具进行下载和安装。您瞬间即可对数据进行索引、分析和可视化。而且,使用默认分发包的话,您还可以通过 30 天的免费试用计划体验白金级功能,例如 Machine Learning、Security、图表分析等等。

    下载 Elastic Stack

    Elastic Cloud

    Elastic Cloud 是我们不断壮大的 SaaS 产品套件系列,旨在让您轻松地在云中部署、操作和扩展 Elastic 产品和解决方案。从易用的托管式和受管式 Elasticsearch 体验到功能强大、直接可用的搜索解决方案,Elastic Cloud 都是一个跳板,能够助您轻松利用 Elastic。免费试用任何 Elastic Cloud 产品,14 天内免费 — 无需提供信用卡。

    开始使用 Elastic Cloud

    Elastic Cloud Enterprise

    通过 Elastic Cloud Enterprise (ECE),您可以配置、管理和监测任何规模、任何基础架构中的 Elasticsearch 和 Kibana,同时通过单个控制台管理一切。您可以选择要在哪里运行 Elasticsearch 和 Kibana:物理硬件、虚拟环境、私有云、公有云中的私有区域,或者只是普通的公有云(例如,Google、Azure 和 AWS)。所有这些我们都支持。

    欢迎试用 ECE,30 天内免费

    Elastic Cloud on Kubernetes

    基于 Kubernetes Operator 模式,Elastic Cloud on Kubernetes (ECK) 扩展了 Kubernetes 的基本编排功能,支持在 Kubernetes 上设置和管理 Elasticsearch 和 Kibana。使用 Elastic Cloud on Kubernetes 后,对于在 Kubernetes 中运行 Elasticsearch,这可简化在部署、升级、快照、扩展、高可用性和安全性等方面的流程。

    使用 Elastic Cloud on Kubernetes 进行部署

    Helm Charts

    使用官方 Elasticsearch 和 Kibana Helm Charts 在几分钟内即可部署完成。

    了解官方的 Elastic Helm Charts

    Docker 容器化

    使用 Docker Hub 中的官方容器在 Docker 上运行 Elasticsearch 和 Kibana。

    在 Docker 上运行 Elastic Stack

    管理和运行

    客户端

    Elastic Stack 让您能够以自己最舒适的方式处理数据。我们为您提供灵活支持,包括 REST 风格的 API、语言客户端、强大的 DSL,以及其他工具(甚至包括 SQL),确保您不会受到局限。

    REST API

    Elasticsearch 提供全面且强大的基于 JSON 的 REST API,供您用来与自己的集群进行交互。

    了解 REST API
    • 查看您的集群、节点、索引运行状况、状态以及统计数据。

    • 管理您的集群、节点、索引数据和元数据。

    • 对您的索引执行 CRUD(创建、读取、更新和删除)和搜索操作。

    • 执行高级搜索操作,例如分页、排序、筛选、脚本、聚合,等等。

    语言客户端

    Elasticsearch 使用的是 RESTful 风格的标准 API 和 JSON。此外,我们还构建和维护了很多其他语言的客户端,例如 Java、Python、.NET、SQL 和 PHP。与此同时,我们的社区也贡献了很多客户端。这些客户端使用起来简单自然,而且就像 Elasticsearch 一样,不会对您的使用方式进行限制。

    探索可用的语言客户端

    Console

    Console 是 Kibana 中的一项开发工具,您在其中能够以类似 cURL 的语法来编辑请求并发送到 Elasticsearch,并随后查看对您的请求的响应。

    了解 Console
      screenshot-kibana-console-feature-page.jpg

    Elasticsearch DSL

    Elasticsearch 提供一套基于 JSON 的完整查询 DSL(域特定语言),可用来定义查询。查询 DSL 为全文本搜索(包括词汇和短语匹配、模糊匹配、通配符、regex、嵌套查询、地理查询等等)提供了强大的搜索选项。

    了解 Elasticsearch DSL
    GET /cn/_search
    {
        "query": {
            "match" : {
                "message" : {
                    "query" : "this is a test",
                    "operator" : "and"
                }
            }
        }
    }
    

    Elasticsearch SQL

    Elasticsearch SQL 这项功能可以允许针对 Elasticsearch 实时执行类似 SQL 的查询。无论使用的是 REST 界面、命令行,还是 JDBC,所有客户端都能在 Elasticsearch 中以原生方式使用 SQL 进行数据搜索和聚合。

    了解 Elasticsearch SQL
      screenshot-sql-search-feature-page.jpg

    事件查询语言 (EQL)

    由于能够查询与特定条件相匹配的事件序列,事件查询语言 (EQL) 可谓专门为安全分析等用例构建的工具。

    了解 EQL

    JDBC 客户端

    Elasticsearch SQL JDBC 驱动程序是一个适用于 Elasticsearch 的 JDBC 驱动程序,功能全面丰富。这是一个 Type 4 驱动程序,所以它不依赖于任何平台,是一个直接连到数据库的独立且纯粹的 Java 驱动程序,可以将 JDBC 调用转化为 Elasticsearch SQL。

    了解 JDBC 客户端

    ODBC 客户端

    Elasticsearch SQL ODBC 驱动程序是一个适用于 Elasticsearch 的 3.80 ODBC 驱动程序,功能丰富。这是一个核心层级的驱动程序,提供可通过 Elasticsearch SQL ODBC API 访问的全部功能,将 ODBC 调用转换为 Elasticsearch SQL。

    了解 ODBC 客户端

    面向 Elasticsearch 的 Tableau 连接器

    借助面向 Elasticsearch 的 Tableau 连接器,Tableau Desktop 和 Tableau Server 的用户能够轻松访问 Elasticsearch 中的数据。

    下载 Tableau 连接器

    采集和扩充

    采集和扩充

    数据源

    无论您拥有什么类型的数据,Beats 都是采集数据的得力工具。将 Beats 和您的容器一起置于服务器上,或者将 Beats 作为函数加以部署,然后便可在 Elasticsearch 中集中处理数据。如果需要更加强大的处理性能,Beats 还能将数据发送到 Logstash 进行转换和解析。

    操作系统

    收集您 Linux 审计框架的数据,监控文件完整性。Auditbeat 实时采集这些事件,然后发送到 Elastic Stack 其他部分做进一步分析。

    了解 Auditbeat

    用于密切监控基于 Windows 的基础设施上发生的事件。Winlogbeat 能够以一种轻量型的方式,将 Windows 事件日志实时地流式传输至 Elasticsearch 和 Logstash。

    了解 Winlogbeat

    网络服务器和代理

    Filebeat 和 Metricbeat 为您提供了多种方式来监测自己的 Web 服务器和代理服务器,包括针对 NGINX、Apache、HAProxy、IIS 等的模块和预配置仪表板。

    探索可用的 Filebeat 模块
    screenshot-filebeat-modules-nginx-feature-page.jpg

    数据存储和队列

    Filebeat 和 Metricbeat 包含内置模块,这些模块能够简化从数据存储、数据库和队列系统(例如 MySQL、MongoDB、PostgreSQL、Microsoft SQL 等等)采集、解析和可视化常见日志格式和系统指标的过程。

    了解可用的 Metricbeat 模块
    screenshot-filebeat-modules-mysql-feature-page.jpg

    云服务

    通过单一管理平台跟踪 Amazon Web Services、Google Cloud 和 Microsoft Azure 等各种云服务的性能和可用性,以推动大规模的高效分析。此外,通过 Functionbeat,您能够非常简便地观测包括 Kinesis、SQS 和 CloudWatch 日志在内的无服务器云架构。

    了解云集成
    diagram-functionbeat-architecture.svg

    容器和编排

    监测您的应用程序日志,随时关注 Kubernetes 指标和活动,并且分析 Docker 容器的性能。使用专门针对基础架构操作而构建的单个应用,便可对所有这些内容进行可视化和搜索。 

    了解容器监测
    • MetricbeatFilebeat 的自动发现功能让您随时了解环境中的变化。

    • 通过使用 Docker 和 Kubernetes API 挂钩函数,实现模块和日志路径添加的自动化,并调整监测设置。

    网络数据

    HTTP、DNS 和 SIP 等网络信息能够让您密切监测应用程序延迟和错误、响应时间、SLA 性能、用户访问模式和趋势,等等。深挖这些数据,了解流量的网络传输状态。

    了解 Packetbeat
    screenshot-siem-network-view.jpg

    安全数据

    检测威胁的关键可能来自任何地方。因此,实时了解环境中发生的事情十分重要。Agent 和 Beats 采集了大量的商业和 OSS 安全数据源,从而可以进行大规模的监测和检测。

    使用 Elastic 安全保护您的数据
    screenshot-hosts-events-graph.png

    运行状态数据

    无论您要测试同一台主机上的服务,还是要测试开放网络上的服务,Heartbeat 都能轻松生成运行状态数据和响应时间数据。

    了解 Heartbeat
    screenshot-metrics-sensor-telemetry.png

    文件导入

    使用 File Data Visualizer(文件数据可视化工具),您可以向 Elasticsearch 中上传 CSV、NDJSON 或日志文件。File Data Visualizer 会使用文件结构 API 来识别文件格式和字段映射关系,然后您便可选择将数据导入至索引。

    了解文件数据导入过程
    screenshot-file-data-visualizer-start-feature-page.png

    采集和扩充

    数据扩充

    Elastic Stack 提供各种各样的分析器、分词器、筛选器以及索引时间扩充选项,助您将原始数据转化为有价值的信息。

    处理器

    在真正索引文档之前,使用采集节点对文档进行预处理。采集节点会拦截批量或索引请求,对其进行转化,然后再将这些文档传回索引或批量 API 中。采集结点提供超过 25 种不同的处理器,包括附加、转化、日期、分解、丢弃、失败、grok、连接、移除、设置、拆分、排序、删除字符等等。

    了解采集处理器

    分析器

    分析指将文本(例如任何电子邮件的正文)转换为分词或词语(会添加到倒排索引中用于搜索)的过程。分析过程由分析器完成,所用分析器既可以是内置型的,也可以是使用分词器和筛选器针对每个索引单独定义的定制分析器。

    了解数据分析器

    示例:标准分析器 (默认)

    输入:"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

    输出:the 2 quick brown foxes jumped over the lazy dog's bone

    分词器

    分词器会接收字符流,然后将字符流拆分成单独的分词(通常为单独的词语),并输出分词流。分词器还负责记录每个词语的顺序或位置(以用于短语和词语邻近度查询),也会记录词语所代表的的原始词汇的起始和结束字符偏移量(以用于高亮显示搜索片段)。Elasticsearch 提供大量的内置分词器,这些分词器可用来创建定制分析器。

    了解分词器

    示例:空格分词器

    输入:"The 2 QUICK Brown-Foxes jumped over the lazy dog's bone."

    输出:The 2 QUICK Brown-Foxes jumped over the lazy dog's bone.

    筛选器

    分词筛选器可接受来自分词器的分词流,还能编辑分词(例如变为小写字母)、删除分词(例如移除停用词),或者添加分词(例如同义词)。Elasticsearch 有很多内置的分词筛选器,这些筛选器可用来创建定制分析器。

    了解分词筛选器

    字符筛选器用来在将字符流发送到分词器之前先对字符流进行预处理。字符筛选器会将接收的原始文本视为字符流,并且可以通过添加、删除或更改字符来转化字符流。Elasticsearch 有很多内置的字符筛选器,这些筛选器可用来创建定制分析器。

    了解字符筛选器

    语言分析器

    以您自己的语言搜索。Elasticsearch 提供逾 30 个语言分析器,包括很多使用非拉丁字符集的语言,例如俄语、阿拉伯语和中文。

    探索可用的语言筛选器

    Grok

    Grok 模式类似正则表达式,可以支持能够重复使用的别名表达式。使用 Grok 从文档内的单一文本字段中提取结构化字段。这一工具非常适用于下列内容:syslog 日志、Web 服务器日志(例如 Apache、MySQL 日志),以及通常为人类(而非计算机)使用而编写的日志格式。

    了解 Grok
    screenshot-grok-debugger-feature-page.jpg

    字段转化

    如果使用数据馈送,您可以添加脚本以在进行分析之前对数据进行转换。数据馈送包括可选的 script_fields 属性,您在这里可以指明脚本,这些脚本可对自定义表达式进行评估并返回脚本字段。通过这一功能,您能够进行多种转化。

    了解字段转化
    • 添加数值字段

    • 合并和转化字符串,以及删除其中的字符

    • 分词替换

    • 正则表达式匹配与合并

    • 按域名对字符串进行拆分

    • 转化 geo_point 数据

    外部查询

    使用 Logstash 外部查询插件,在采集时便对日志数据进行扩充。轻松为日志行提供辅助内容,赋予它们更多上下文信息,例如客户端 IP 地址、DNS 查询结果,甚至来自临近日志行的数据等信息。Logstash 有各种各样的查询插件可供选择。

    了解 Logstash 外部查询

    Match enrich 处理器

    match 采集处理器能够允许用户在采集时查询数据并指明从哪个索引中提取已扩充数据。这可帮助到需要向数据中添加元素的 Beats 用户,他们现在无需从 Beats 转换到 Logstash,可以直接参考采集管道。用户还能够使用处理器对数据进行标准化,从而取得更好的分析效果,并完成更多常见查询。

    了解 match enrich 处理器

    Geo-match enrich 处理器

    geo-match enrich 处理器十分实用,能够让用户改善搜索和汇总功能,因为借助这一工具,用户无需以地理坐标形式定义查询和汇总,便能利用自己的地理数据。与 match enrich 处理器类似,用户可以在采集时查询数据并找到需从中提取已扩充数据的最佳索引。

    了解 geo-match enrich 处理器

    采集和扩充

    模块和集成

    无论您想用何种方式将数据采集到 Elastic Stack,都没有问题!REST 风格的 API、语言客户端、采集节点、轻量型采集器、Elastic Agent 或者 Logstash,统统都可供您使用。您不会受限于语言列表,而且由于我们的开源性质,您甚至在采集的数据类型方面也有无尽选择。如果您需要采集专有的数据类型,我们可以提供相应的库和步骤,让您创建自己独有的采集方法。而且,如果愿意的话,您还可以反哺社区,分享您的方法,让后来者避免无谓的重复。

    客户端和 API

    Elasticsearch 使用的是 RESTful 风格的标准 API 和 JSON。此外,我们还构建和维护了很多其他语言的客户端,例如 Java、Python、.NET、SQL 和 PHP。与此同时,我们的社区也贡献了很多客户端。这些客户端使用起来简单自然,而且就像 Elasticsearch 一样,不会对您的使用方式进行限制。

    探索可用的语言客户端和 API

    采集节点

    Elasticsearch 提供大量的节点类型,其中有一种便是专门针对数据采集的。采集节点可以执行预处理管道(由一个或多个采集处理器构成)。取决于采集处理器所执行操作的类型以及所需的资源,比较合理的一种做法可能是设立专门的采集节点,让它们仅执行此项具体任务。

    了解采集节点

    Elastic Agent

    Elastic Agent 是单一的统一代理,您可以将它部署到主机或容器来收集数据并将数据发送到 Elastic Stack。您可以使用它为每个主机添加对日志、指标和其他类型数据的监测。Elastic Agent 控制的主机可以使用 Endpoint Security 集成,通过监测主机的安全相关事件来提供保护,同时允许通过 Kibana 中的 Elastic 安全应用来调查安全数据。

    了解 Elastic Agent

    Beats

    Beats 是开源数据采集器,您可以将其作为代理安装在服务器上,从而将运行数据发送到 Elasticsearch 或 Logstash。Elastic 提供各种 Beats 来采集各类常见日志、指标以及其他各种数据类型。

    了解 Beats

    社区贡献的采集器

    如果您有特定的用例需要解决,我们鼓励您创建一个社区 Beat。我们创建了一个基础架构来简化这一流程。libbeat 库完全以 Go 写成,可以提供一个 API,所有 Beat 都可使用该 API 向 Elasticsearch 输送数据、配置输入选项、实施日志以及完成其他操作。

    阅读 Beats 开发者指南

    现在社区贡献的 Beats 有 100 多个,所以现在能提供专门针对下列内容的代理:Cloudwatch 日志和指标、GitHub 活动、Kafka 主题、MySQL、MongoDB Prometheus、Apache、Twitter,不可胜数。

    探索社区开发的可用 Beats

    Logstash

    Logstash 是一个开源的数据采集引擎,具有实时管道传输功能。Logstash 能够将来自单独数据源的数据动态集中到一起,对这些数据加以标准化并传输到您所选的地方。清理并民主化您的全部数据,将其用于多样化的高级下游分析和可视化用例。

    了解 Logstash

    Logstash 插件

    您可以向 Logstash 中添加您自己的输入、编解码器、筛选器或者输出插件。可以独立于 Logstash 核心组件来开发和部署插件。而且您还可以编写自己的 Java 插件来搭配 Logstash 使用。

    了解如何为 Logstash 贡献内容

    Elasticsearch-Hadoop

    Elasticsearch for Apache Hadoop(亦称 Elasticsearch-Hadoop 或 ES-Hadoop)是一个免费开源、单体可执行的独立小型库,支持 Hadoop 作业与 Elasticsearch 进行交互。有了这一工具,您可以轻松构建动态的嵌入式搜索应用来处理 Hadoop 数据,还可以使用全文本、空间地理查询和聚合来执行深入的低延时分析。

    了解 ES-Hadoop

    插件和集成

    Elasticsearch 是一款免费开源且不区分语言的应用程序,您可以使用插件和集成选项轻松扩展 Elasticsearch 的功能。通过各种插件,您能够以定制方式增强核心 Elasticsearch 功能,而多种集成选项能够让您更轻松地使用 Elasticsearch 的外部工具或模块。

    探索可用的 Elasticsearch 插件
    • API 扩展插件

    • 告警插件

    • 分析插件

    • 发现插件

    • 采集插件

    • 管理插件

    • 映射工具插件

    • 安全插件

    • 快照/恢复存储库插件

    • 存储库插件

    采集和扩充

    管理

    在 Kibana 中统一管理您的采集方法。

    Fleet

    Fleet 在 Kibana 中提供了一个基于 Web 的 UI,用于添加和管理常用服务和平台的集成,以及管理一组 Elastic Agent。我们的集成不仅提供了一种添加新数据源的简便方法,而且还附带了众多开箱即用型的资源,比如仪表板、可视化和管道,用于从日志中提取结构化字段。

    了解 Fleet

    Logstash 集中化管道管理

    使用 Kibana 中的管道管理 UI 来控制多个 Logstash 实例。说到 Logstash,只需启用配置管理并注册 Logstash,即可使用集中管理型管道配置。

    了解 Logstash 集中化管道管理
    screenshot-monitoring-logstash-feature-page.jpg

    数据存储

    数据存储

    灵活性

    Elastic Stack 是一套强大的解决方案,几乎适用于任何用例。尽管 Elastic Stack 最为人们所熟知的是高级搜索功能,但其灵活设计也使得它成为满足很多不同需求(包括文档存储、时序分析和指标,以及地理空间分析)的理想工具。

    数据类型

    Elasticsearch 针对文档中的字段支持大量不同的数据类型,而且这些数据类型中的每一种都拥有各自的多个子类型。这能够让您以十分高效和有效的方式存储、分析和利用任何数据。Elasticsearch 已针对某些数据类型进行优化,这些数据类型包括:

    了解 Elasticsearch 中的数据类型
    • 文本

    • 形状

    • 数字

    • 向量

    • Histogram

    • 日期/时序

    • 扁平字段

    • 地理地点/地理形状

    • 非结构化数据 (JSON)

    • 结构化数据

    全文本搜索(倒排索引)

    Elasticsearch 使用的是一种名为倒排索引的结构,这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引包含一个由所有文档中出现的唯一词语构成的列表,对于每一个词语而言,则为该词语所在文档的列表。如要创建倒排索引,我们首先要将每个文档的内容字段拆分成单独的词语(我们称为词汇或分词),然后创建一个包含所有唯一词汇的有序列表,再然后列出每个词语出现在哪个文档中。

    了解倒排索引

    文档存储库(针对非结构化数据)

    即使是非结构化数据,Elasticsearch 也能进行采集和分析(但进行结构化后可提高速度)。这一设计使得人们可以轻松上手,同时也使得 Elasticsearch 成为一个有效的文档存储库。尽管 Elasticsearch 不是 NoSQL 数据库,其仍能提供类似功能。

    了解动态映射

    时序/分析(列式存储库)

    借助倒排索引,查询能够快速地查找搜索词语,但是排序和聚合却需要一套不同的数据访问模式。这些查询不会查找词语并寻找文档,相反它们需要能够查找文档并找到存在于文章字段中的词语。文档值是 Elasticsearch 中的磁盘数据结构,是在文档索引时创建的,正是这一结构使得此数据访问模式成为可能,允许以列式方式进行搜索。这一点使得 Elasticsearch 在处理时序和指标分析时表现十分突出。

    了解文档值

    地理空间(BKD 树)

    Elasticsearch 使用 Lucene 内的 BKD 树来存储地理空间数据。这样便能够高效地同时分析地理地点(经纬度)和地理形状(矩形和多边形)。

    数据存储

    安全

    Elasticsearch 支持用户通过多种方式确保数据不会丢失或遭窃。

    数据静态加密支持

    虽然 Elastic Stack 不能直接实施数据静态加密,但我们建议在所有主机上都配置磁盘级别加密。此外,快照目标也必须确保对数据进行静态加密。

    字段级和文档级 API 安全性

    字段级安全性能够限制用户有权访问的字段。具体而言,其能限制从基于文档的只读 API 中可以访问哪些字段。

    了解字段级安全性

    文档级安全性能够限制用户有权访问的文档。具体而言,其能限制从基于文档的只读 API 中可以访问哪些文档。

    了解文档级安全性

    数据存储

    管理

    Elasticsearch 能够让您完全管理自己的集群以及其中的节点、自己的索引以及其中分片,而且更重要的是,您能够管理其中存储的所有数据。

    集群式索引

    集群指一个或多个节点(服务器)的集合,它们共同存储您的全部数据并在所有节点上都提供联合索引和搜索功能。通过此架构,您能够非常轻松地进行水平扩展。Elasticsearch 提供全面且强大的 REST API 和 UI,供您用来管理自己的集群。

    了解集群式索引

    数据快照和还原

    快照指基于正在运行的 Elasticsearch 集群制作的备份。您可以对单个索引或整个集群进行快照,然后将快照存储在共享文件系统上的存储库中。我们同时还提供插件来为远程存储库提供支持。

    了解快照和恢复

    纯源数据快照

    通过使用源内容存储库,您能够创建规模极小的纯源快照,其节省的磁盘空间可高达 50%。纯源快照包含存储的字段和索引元数据。它们不包括索引或文档值结构,而且恢复后也不能进行搜索。

    了解纯源快照

    汇总索引

    保存历史数据以进行分析是一项十分有用的实践,但人们经常会由于存档大量数据带来的巨大财务成本而不这么做。因此,保留期限的长短由财务现实决定,而不会取决于大量历史数据的帮助作用。汇总功能为人们提供了一种汇总和存储历史数据的方法,这样人们仍可用其来进行分析,但是成本与存储原始数据相比却要小得多。

    了解数据汇总
    screenshot-rollups-management-ui.jpg

    搜索和分析

    搜索和分析

    全文本搜索

    Elasticsearch 以其强大的全文本搜索功能而闻名。速度之所以这么快,因为 Elasticsearch 核心采用的是倒排索引;它功能之所以这么强大,是因为采用了可调相关性评分、高级查询 DSL 以及可提升搜索能力的诸多功能。

    倒排索引

    Elasticsearch 使用的是一种名为倒排索引的结构,这一结构的设计可以允许十分快速地进行全文本搜索。倒排索引包含一个由所有文档中出现的唯一词语构成的列表,对于每一个词语而言,则为该词语所在文档的列表。如要创建倒排索引,我们首先要将每个文档的内容字段拆分成单独的词语(我们称为词汇或分词),然后创建一个包含所有唯一词汇的有序列表,再然后列出每个词语出现在哪个文档中。

    了解倒排索引

    运行时字段

    运行时字段是一种在查询时评估的字段(读时模式)。您可以随时引入或修改运行时字段(包括对文档编制了索引后),并且可以将运行时字段定义为查询的一部分。运行时字段和索引字段均通过相同的接口公开给查询,因此一个字段在某数据流的有些索引中可以是运行时字段,而在该数据流其他索引中可以是索引字段,而查询不需要知道这一点。索引字段可提供最优查询性能,运行时字段则可在对文档编制索引后允许灵活地更改数据结构,因此与索引字段形成了优势互补。

    了解运行时字段

    查找运行时字段

    查找运行时字段可让您灵活地将查找索引中的信息添加到主索引的结果中,具体方式是在这两个索引上定义一个关联各文档的键。与运行时字段一样,这项功能在查询时使用,可以灵活地进行数据扩充。

    了解运行时字段

    通过跨集群搜索 (CSS) 功能,任何节点都可以作为跨多个集群的联合式客户端。跨集群复制节点不会加入远程节点;相反,它会以一种轻量型方式连接至远程集群,从而执行联合式搜索请求。

    了解 CCS

    相关性评分

    相似度(相关性评分/排名模型)定义对匹配文档进行评分的方式。默认情况下,Elasticsearch 使用 BM25 相似度,但同时还提供很多其他相似度选项;BM25 相似度是一种基于 TF/IDF 的高级相似度,其中包含针对短字段(例如名称)的内置 tf 标准化。

    了解相似度模型

    向量搜索 (ANN)

    凭借 Lucene 9 新发布的近似最近邻搜索功能或基于 HNSW 算法的 ANN 支持,新的 _knn_search API 终端通过向量相似度,促进了可扩展性和性能更优的搜索体验。为实现这一点,它在查全率和性能之间进行了权衡,也就是说,在查全率上做一些微小的妥协,针对非常大的数据集大幅提升性能(与现有的向量相似度蛮力法相比)。

    进一步了解向量搜索

    查询 DSL

    全文本搜索要求一种强大的查询语言。Elasticsearch 提供一套基于 JSON 的完整查询 DSL(域特定语言),可用来定义查询。创建简单查询以匹配词汇和单元,或者开发复杂查询来将多个查询整合到一起。此外,在查询时可以应用筛选器,以便先移除文档再计算相关性分数。

    了解 Elasticsearch 搜索 DSL

    借助非同步搜索 API,用户能够在后台运行耗时很长的查询,跟踪查询进度,并检索提供的部分结果。

    了解非同步搜索

    Highlighter

    通过 Highlighter(高亮显示工具),您能够从搜索结果的一个或多个字段中高亮显示内容片段,以便向用户展示查询匹配之处。当您请求高亮显示时,响应内容会包含每一条搜索匹配结果中的高亮元素,其中包括高亮字段和高亮片段。

    了解 Highlighter

    自动补全 (auto-complete)

    补全提示器可提供 auto-complete/search-as-you-type(自动完成/输入即搜索)功能。这项导航功能能够在用户输入时引导用户找到相关结果,从而提高搜索精准度。

    了解自动补全

    更正(拼写检查)

    词语提示器是拼写检查的根基,此工具可根据编辑距离提示词语。其首先会分析所提供的提示文本,然后才会建议词语。会为每个所分析的提示文本分词提供建议词语。

    了解更正

    提示器 (did-you-mean)

    短语提示器通过在词语提示器的基础上构建更多逻辑,向搜索体验中加入 did-you-mean(您指的是 XXX 吗)功能,让用户能够选择改正后的整个短语,而不再是基于 ngram 语言模型计算权重后的单个分词。在实际应用中,此提示器就基于固定搭配和频率应该选择哪个分词,能够做出更好的决策。

    了解提示器

    Percolator

    标准做法是通过查询来找到存储在索引中的文档,但是 Percolator(过滤器)却颠覆了这种做法,您可用其来将文档与索引中所存储的查询进行匹配。percolate 查询自身即包含文档,这些文档将会用作查询与所存储的查询进行匹配。

    了解 Percolator

    查询剖析器/优化器

    剖析 API 可以提供搜索请求中有关单独组件执行情况的详细时间信息。它能够让您从详尽层面深入了解搜索请求的执行过程,以便您可以理解为何某些请求的处理速度慢,进而采取措施加以改进。

    了解剖析 API

    基于许可的搜索结果

    通过字段级安全性文档级安全性,可以对搜索结果进行限制,从而仅包含用户有权访问的结果。具体而言,其能限制从基于文档的只读 API 中可以访问哪些字段和文档。

    取消查询

    “取消查询”是 Kibana 中的一项实用功能,能够通过减少不必要的处理过载来帮助提升集群的整体性能。如果用户更改/更新他们的查询或刷新浏览器页面,则不会自动取消 Elasticsearch 请求。

    搜索和分析

    分析

    数据搜索只是个开始。借助 Elastic Stack 强大的分析功能,您能够更深入地挖掘所搜索的数据,找到其中所蕴含的洞见。无论要对结果进行聚合,想确定文档间的关系,还是希望基于阈值创建告警,所有这些都需要有强大的搜索功能做支撑。

    聚合

    聚合框架可以基于搜索查询帮助提供聚合后的数据。该框架的基础是称为聚合的简单构建基块,人们可以对这些构建基块进行编辑以生成有关数据的复杂汇总。可以将聚合看做一个工作单元,用来针对一组文档创建分析信息。

    了解聚合
    • 指标聚合

    • 桶聚合

    • 管道聚合

    • 矩阵聚合

    • Geohexgrid 聚合

    • 随机采样器聚合

    Graph 探索

    通过 Graph 探索 API,您能够提取并汇总 Elasticsearch 索引中文档和词语的相关信息。了解此 API 行为的最好方法就是使用 Kibana 中的 Graph 来探索彼此间的联系。

    了解 Graph 探索 API
    screenshot-kibana-graph-feature-page.jpg

    阈值告警

    创建阈值告警,以定期检查 Elasticsearch 中的数据在给定时间段内何时超出或低于某个特定阈值。X-Pack 中的告警功能可让您充分利用 Elasticsearch 查询语言,当数据发生令您感兴趣的变化后,您能够发现这些变化。

    了解阈值告警
    screenshot-alerting-threshold-alert.png

    搜索和分析

    Machine Learning

    Elastic Machine Learning 功能可以自动对 Elasticsearch 数据的行为(例如趋势、周期等等)进行实时建模,从而更快地发现问题,简化问题根源分析,降低误报率。

    推理

    通过推理,您不仅可以将监督型 Machine Learning 进程(例如回归或分类)用作批量分析,而且还可用于持续分析。通过推理,您可以针对入站数据应用已训练的 Machine Learning 模型。

    了解推理

    语言识别

    语言识别是一个经训练的模型,可用来确定文本的语言。您可以在推理处理器中应用语言识别模型。

    了解语言识别

    时序型预测

    Elastic Machine Learning 针对您的数据的正常行为创建基线之后,您可以使用这些信息来推测未来行为。然后,即可创建一套预测方法,来估计未来特定日期的时序值,或者预估未来出现某个特定时序值的几率。

    了解预测
    screenshot-machine-learning-feature-page.jpg

    时序型数据异常监测

    Elastic Machine Learning 功能通过为数据中的正常行为创建准确基线并且识别数据中的异常模式,可实现时序型数据分析的自动化。通过使用专有的 Machine Learning 算法,可以检测到异常情况,对其进行评分,并将其与数据中具有重大统计意义的影响因素联系在一起。

    了解异常检测
    • 与临时偏离数值、计数或频率有关的异常情况

    • 统计学意义上的罕见事件

    • 群体中某一成员的异常行为

    异常情况警报

    对于那些难以通过设置规则和阈值来定义的变化,可以通过结合非监督型机器学习功能来找出异常行为。然后使用告警框架中的异常分数,在出现问题时获得通知。

    了解告警

    群体/实体分析

    使用 Elastic Machine Learning 功能创建“典型”用户、设备或其他实体在特定时间段内的配置文件,然后在用户、设备或其他实体的行为异于群体时即可将这些异常对象找出来。

    了解群体/实体分析
    screenshot-kibana-machine-learning-feature-page.jpg

    日志消息分类

    应用程序日志事件通常并无结构可依,而且还包括变量数据。Elastic Machine Learning 功能会探究消息的静态部分,将相似消息聚集在一起,并将它们归到消息类别中。

    了解日志消息分类

    根本原因指示

    检测到异常后,Elastic Machine Learning 功能可以轻松识别对此有重大影响的属性。例如,如果交易量异常下降,您可以迅速找到导致此问题的故障服务器或错误配置的交换机。

    了解根本原因指示
    screenshot-machine-learning-root-cause-feature-page.jpg

    数据可视化工具

    Data Visualizer(数据可视化工具)通过分析日志文件或现有索引中的指标和字段,帮助您更好地理解自己的 Elasticsearch 数据,并识别可进行 Machine Learning 的潜在字段。

    了解 Data Visualizer
    screenshot-machine-learning-visualizer-feature-page.jpg

    多指标异常浏览器

    使用多个检测器创建复杂的 Machine Learning 作业。多指标作业先会基于您在作业中定义的两个检测器对输入数据流进行分析、为其行为建模并且执行分析,然后您便可使用“异常浏览器”来查看结果。

    了解如何分析多指标作业
    screenshot-ml-multi-job-anomaly-explorer-feature-page.jpg

    离群值检测 API

    非监管型离群值检测功能通过四种基于距离和密度的 Machine Learning 方法来查找与众不同的数据点。通过使用“创建数据帧分析作业”API,便可针对离群值检测过程创建数据帧分析作业。

    了解离群值检测 API

    模型快照管理

    如果发生计划外系统中断,或者如果在异常检测中发现有一些其他事件会导致出现令人误解的结果,您可以将模型快速恢复至所需的快照。

    深入了解模型快照

    搜索和分析

    Elastic APM

    已经在 Elasticsearch 中存储日志和系统指标?使用 Elastic APM 可扩展到应用程序指标。通过四行代码即可纵观全局,快速解决问题,并对您推送的代码充满信心。

    APM 服务器

    APM 服务器会从 APM 代理处接收数据,然后再将这些数据转换为 Elasticsearch 文档。它是通过暴露 HTTP 服务器端点(代理会将所收集的 APM 数据流式传输到此端点)来实现这一点的。APM 服务器对来自 APM 代理的事件进行验证和处理之后,服务器会将数据转换为 Elasticsearch 文档,并将这些文档存储在相应的 Elasticsearch 索引中。

    了解 APM 服务器

    APM 代理

    APM 代理是以您服务所用的相同语言编写的开源库。您可以像安装任何其他库一样,将 APM 代理安装到您的服务中。它们可以检测您的代码并在运行时收集性能数据和错误。这些数据会缓存一小段时间,然后发送到 APM 服务器。

    了解 APM 代理

    APM 应用

    查找并修复代码中存在的问题归根结底就是搜索。通过 Kibana 中的专用 APM 应用,您能够识别瓶颈并在代码层面准确定位到存在问题的地方。因此,您能够编写更好、更高效的代码,进而帮助您加快“开发-测试-部署”周期,让您的应用程序运行更快,客户体验更佳。

    了解 Elastic APM
    screenshot-apm-ui.jpg

    分布式跟踪

    纳闷您的请求是如何流经整个基础架构的?通过分布式跟踪将所有内容整合到一起,清晰查看您的各项服务之间的交互情况。查找路径中哪个位置发生了延时问题,然后准确定位到需加以优化的组件。

    了解分布式跟踪
    screenshot-apm-distributed-tracing-feature-page.jpg

    告警集成

    随时了解代码的运行表现。可以选择在遇到问题时接收电子邮件通知,也可以选择在一切运行正常时接收 Slack 通知。

    了解告警
    screenshot-alerting-apm.png

    服务地图

    服务地图能够以可视方式向您展示服务的连接状况,并提供整体的事务类指标,例如平均事务时长、请求率和错误率,以及 CPU 和内存的使用情况。

    详细了解服务地图

    Machine Learning 集成

    从 APM 应用直接创建 Machine Learning 任务。通过 Machine Learning 功能(此功能可自动对您的数据建模)快速找到异常行为。

    了解 APM 中的 ML 集成
    screenshot-machine-learning-apm-helper-feature-page.jpg

    探索并进行可视化

    探索并进行可视化

    可视化

    基于存储在 Elasticsearch 索引中的数据创建可视化。Kibana 可视化基于 Elasticsearch 查询创建而成。通过使用一系列 Elasticsearch 聚合功能来提取和处理数据,您能够创建图表并清晰看到需要了解的趋势以及涨跌情况。

    仪表板

    Kibana 仪表板会展示一系列可视化和搜索。您可以排列和编辑这些仪表板的内容并相应调整大小,然后保存仪表板以便分享。您可以在多个仪表板之间创建定制深入分析,甚至可以创建对 Web 应用程序的深入分析,以便采取行动和做出决策。

    了解 Kibana 中的仪表板
    screenshot-dashboard-log-web-traffic-79.png

    Canvas

    Canvas 是一种全新方法,能够让您以炫酷方式向人们展示数据。Canvas 将数据与颜色、形状、文本以及您自己的想象力结合在一起,让您在或大或小的屏幕上动态展示达到完美像素要求的多页数据。

    了解 Canvas
    screenshot-canvas-demos-v2-1000x562-feature-page.jpg

    用户体验

    用户体验数据反映了真实的用户体验。量化和分析 Web 应用程序的感知性能。

    进一步了解“用户体验”应用
    user-experience-tab.png

    Kibana Lens

    Kibana Lens 是一个直观易用的 UI,能够通过拖放体验简化数据可视化过程。无论想探索数十亿条日志,还是希望从网站流量中找出趋势,通过 Lens,您只需轻点几下鼠标便可从数据中收获洞见,之前无需拥有任何 Kibana 经验!

    了解 Kibana Lens
    screenshot-lens-switch-chart-index-landing-page.png

    时序可视化生成器

    时序可视化生成器 (TSVB) 是一个时序数据可视化工具,利用了 Elasticsearch 聚合框架的全部威力,可将无数的聚合和管道聚合整合在一起,从而以富有成效的方式展示复杂数据。

    了解 TSVB
    screenshot-kibana-timeseries-feature-page.jpg

    图表分析

    图表分析功能能够让您发现 Elasticsearch 索引中项目彼此间的联系。您可以探究索引词语间的联系,并看看哪些联系对您的用处最大。这一功能在多类应用程序中都有很大用处,从欺诈检测到推荐引擎,都离不开它。

    了解图表分析
    screenshot-kibana-graph-feature-page.jpg

    地理空间分析

    对 Elastic Stack 的很多用户而言,“哪里”是一个至关重要的问题。无论您希望保护自己的网络免受攻击,还是调查为何特定地点的应用程序响应时间长,或者只是打个网约车回家,地理空间数据和搜索都发挥着重要的作用。

    了解地理空间分析和地图
    screenshot-maps-geospatial-search-feature-page.jpg

    容器监测

    您的应用程序和环境在不断演变,Elastic Stack 亦要如此。监测和搜索在您的应用程序、Docker 和 Kubernetes 内发生的事情,并对这些事情进行可视化,而且一切均在一个位置集中完成。

    了解容器监测
    screenshot-infrastructure-ui.png

    Kibana 插件

    使用社区贡献的插件模块,向 Kibana 中添加更多功能。提供适用于各种应用、扩展、可视化以及更多内容的开源插件。插件包括:

    探索可用的 Kibana 插件
    • Vega 可视化

    • Prometheus 导出器

    • 3D 图表与图形

    • 日历可视化

    • 还有更多

    数据导入教程

    通过我们易于理解的教程,学习如何向 Elasticsearch 中加载数据集,定义索引模式,发现并探索数据,创建可视化和仪表板,等等。

    了解数据导入教程
    screenshot-kibana-homepage-feature-page.jpg

    Kibana 运行时字段编辑器

    Kibana 运行时字段编辑器采用 Elasticsearch 的运行时字段功能,让分析师能够实时添加自己的定制字段。在索引模式、Discover 和 Kibana Lens 中,用户可以使用此编辑器创建、编辑或移除运行时字段。

    深入了解 Kibana 运行时字段编辑器

    探索并进行可视化

    分享与合作

    只需选择适合您的分享选项,即可轻松地将 Kibana 可视化分享给您选择的任何人:您的团队成员、您的老板、老板的老板、您的客户、合规经理或承包商。嵌入仪表板,分享链接,或者导出为 PDF、PNG 或 CSV 文件并作为附件发送给别人。或者对您的仪表板和可视化进行整理,将其归到各个 Kibana Spaces 中。

    嵌入式仪表板

    在 Kibana 中,您可以轻松地与 Kibana 仪表板分享直接链接,还可在网页中嵌入仪表板以将其作为 iframe,既可以作为动态仪表板,也可以作为当前时间点的静态快照。

    了解如何嵌入和分享仪表板

    纯仪表板模式

    使用内置角色 kibana_dashboard_only_user 来限制用户登录到 Kibana 时可以看到的内容。kibana_dashboard_only_user 已预配置为 Kibana 的只读权限。当打开仪表板时,用户的视觉体验将会受到限制。所有编辑和创建控件都会予以隐藏。

    了解纯仪表板模式

    工作区

    通过 Kibana 中的 Spaces,您能够将仪表板和其他已保存对象划分到不同的类别,方便您的管理。进入特定工作区 (Space) 后,您便可立即看到其中所包含的仪表板和其他已保存对象。此外,如若启用 Security 功能,您可以控制哪些用户有权访问哪些单独的工作区,以享受更进一层的安全保障。

    了解 Spaces
    screenshot-kibana-space-selector-feature-page.jpg

    Kibana Spaces 的定制横幅广告功能

    定制横幅广告有助于用户辨别适用于不同角色、团队、职能等对象的 Kibana Spaces。针对每个 Kibana Spaces 量身打造特别公告和讯息,帮助用户快速识别自己所在的 Space。

    深入了解 Kibana Spaces 的定制横幅广告功能

    CSV 导出文件

    将 Discover 中的已保存搜索导出到 CSV 文件,并搭配外部文本编辑器加以使用。

    了解如何导出已保存搜索
    screenshot-reporting-csv-feature-page.jpg

    标记

    轻松创建标记,并将它们添加到仪表板,通过可视化实现高效的内容管理。

    screenshot-kibana-tags-7-11-b.png

    PDF/PNG 报告

    能够为任何 Kibana 可视化或仪表板快速生成报告,并将报告保存为 PDF 或 PNG 格式。您可以即需即取报告、预约报告、根据特定条件触发报告,并自动将报告分享给他人。

    了解报告
    screenshot-reporting-generate-pdf-feature-page.jpg

    探索并进行可视化

    Elastic Maps

    借助 Maps 应用,您能够对地理数据快速进行大规模的实时分析。借助 Maps 的多项功能(例如在一张地图中包含多个图层和索引,绘制原始文件,动态的客户端样式,以及跨多个图层的全局搜索),您能够轻松理解和监测自己的数据。

    地图图层

    在 Kibana 内使用 Maps 应用将来自多个索引的图层添加到单一视图中。由于这些图层均位于同一张地图上,您可以实时对全部图层进行搜索和筛选。选项包括等值线图层、热点图图层、磁贴图层、向量图形,甚至还有针对具体用例的图层,例如针对 APM 数据的可观测性。

    了解地图图层
    screenshot-maps-multiple-sources-cool-feature-page.jpg

    向量磁贴

    向量磁贴可将您的地图划分成多个磁贴,而且与其他替代方法相比,它可以提供卓越的性能和流畅的缩放体验。所有新的多边形图层都会默认启用“使用向量磁贴”设置。如果您更想使用以 10,000 条记录为限的方法,则可以在图层设置中更改缩放选项。

    详细了解 Elastic Maps 中的向量磁贴
    screenshot_elastic_maps_vector_tiles.jpg

    定制区域地图

    在您选择的图纸上使用定制位置数据,即可创建区域地图(边界向量形状使用渐变色的主题地图)。

    了解区域地图
    screenshot-maps-location-intelligence-feature-page.jpg

    Elastic 地图服务(缩放级别)

    通过提供基础地图磁贴、形状文件以及对地理数据进行可视化所必需的关键功能,Elastic Maps Service 为 Kibana 中的所有地理空间可视化(包括 Maps 应用)提供支持。使用 Kibana 的默认分发包,您在地图上最多可以缩放 18 级。

    了解 Elastic Maps Service
    screenshot-elastic-maps-service-zoom-still-feature-page.jpg

    Elastic Maps Server

    Elastic Maps Server 将 Elastic Maps Service 的基础地图和边界应用到本地基础架构中。

    了解 Elastic Maps Server

    GeoJSON 上传

    GeoJSON Upload 功能不仅简单易用,而且十分强大。通过直接采集到 Elasticsearch 中,该功能可使地图创建者将包含点、形状和内容的 GeoJSON 文件拖放到地图中,以实现即时可视化。在跟踪数据驱动的对象移动时,使用 GeoJSON 定义的边界启用电子邮件或 webapp 告警。

    了解 GeoJSON Upload
    screenshot-geojson-import-feature-page.jpg

    地理位置告警

    当实体进入、离开或越过边界时会触发通知。当有实体停留在指定边界内时,可监测实体的位置。

    了解地理位置告警

    Shapefile 上传

    使用 Maps 应用程序中内置的这个简单易用但功能强大的上传工具将 shapefile 加载到 Elastic 中。轻松加载本地开放数据和边界,以进行分析和比较。

    了解 shapefile 上传

      探索并进行可视化

      Elastic Logs

      Elastic Stack 针对各种常见数据源提供了开箱即用的支持,并有各种默认仪表板可供启用,就是这么好用。利用 Filebeat 和 Winlogbeat 发送日志,索引至 Elasticsearch,然后用几分钟时间即可在 Kibana 中全部实现可视化。

      日志采集器 (Filebeat)

      Filebeat 将为您提供一种轻量型方法,用于转发和汇总日志与文件,让简单的事情不再繁杂。Filebeat 内置有多种模块(auditd、Apache、NGINX、System、MySQL 等等),可针对常见格式的日志大大简化收集、解析和可视化过程,只需一条命令即可。

      了解 Filebeat

      Logs 仪表板

      通过范例 Filebeat 仪表板,您能够在 Kibana 中轻松地探索日志数据。通过这些预配置仪表板,便可快速入门,之后还可进行定制以满足您的需求。

      了解 Logs 仪表板
      screenshot-container-monitoring-screenshot-carousel-application-feature-page.jpg

      日志速率异常检测

      日志速率分析由 Machine Learning 提供支持,可以自动高亮显示日志速率超出正常水平的时段,以便您快速识别和检查日志异常。

      深入了解日志异常

      Logs 应用

      Logs 应用可以在小巧的定制显示器中提供实时的日志 tail 操作信息。日志文件已关联至 Metrics 应用中的指标,可让您更轻松地诊断问题。

      了解 Logs 应用
      screenshot-logs-ui-feature-page.jpg

      探索并进行可视化

      Elastic Metrics

      通过 Elastic Metrics,轻松跟踪整体指标,例如 CPU 使用率、系统负载、内存使用率,以及网络流量,这能够帮助您评估服务器、容器和服务的整体运行状况。

      指标采集器 (Metricbeat)

      Metricbeat 是一个轻量型采集器,您可以将其安装在服务器上,以定期从操作系统以及服务器上所运行的服务中收集指标。Metricbeat 能够以一种轻量型的方式,输送各种系统和服务统计数据,从 CPU 和内存,到 Redis 和 Nginx,不一而足。

      了解 Metricbeat

      Metrics 仪表板

      通过范例 Metricbeat 仪表板,您能够在 Kibana 中轻松地开始监测服务器。通过这些预配置仪表板,便可快速入门,之后还可进行定制以满足您的需求。

      了解 Metrics 仪表板
      screenshot-metricbeat-modules-system-feature-page.jpg

      面向 Metrics 的告警集成

      借助实时反馈为您的指标创建阈值告警——在 Kibana 中的 Metrics 应用中便能直接完成创建;然后按照您所选的方式(文档、日志、Slack、简单的 Webhook 等等)收到通知。

      详细了解告警

      面向 Metrics 的 Machine Learning 集成

      直接从 Metrics UI 中通过一键式异常检测查找常见的基础架构问题。

      进一步了解 Machine Learning

      Metrics 应用

      指标能流式传输到 Elasticsearch 后,您便可使用 Kibana 中的 Metrics 应用对指标进行监测并实时发现问题。

      了解 Metrics 应用
      screenshot-infrastructure-ui.png

      探索并进行可视化

      Elastic 运行状态监测

      借助由开源 Heartbeat 提供支持的 Elastic 运行状态监测,您可以将可用性数据与由日志、指标和 APM 提供的丰富上下文信息结合在一起,从而更轻松地连点成线,确定活动之间的联系,并快速解决问题。

      运行状态监测 (Heartbeat)

      Heartbeat 是一个轻量型守护进程,您可以将其安装在远程服务器上来定期检查服务状态并确定它们是否可用。Heartbeat 会采集服务器数据,这些数据随后会在 Kibana 中的 Uptime 仪表板和应用中进行展示。

      了解 Heartbeat

      Uptime 仪表板

      通过范例仪表板,您能够轻松地在 Kibana 中对服务状态进行可视化。通过这些预配置仪表板,便可快速入门,之后还可进行定制以满足您的需求。

      了解 Uptime 仪表板
      screenshot-uptime-host-availability.png

      面向 Uptime 的告警集成

      在 Uptime 应用中直接根据您的可用性数据轻松创建基于阈值的告警;然后按照您所选的方式(文档、日志、Slack、简单的 Webhook 等等)收到通知。

      证书监测

      查看您的 SSL 或者 TLS 证书何时到期,或者在它们即将到期时收到通知,并且让您的服务直接显示在 Uptime 应用中。

      合成监测

      模拟涵盖多步骤操作的用户体验,例如电商店铺的结账流程。在整个操作的每个步骤当中,捕获详细的状态信息,以确定问题区域,进而打造卓越的数字体验。

      进一步了解合成测试

      运行状态监测应用

      Kibana 中的 Uptime 应用设计用于帮助您快速识别和诊断网络/环境中的异常状况和其他连接问题。通过这个实用界面,轻松监测主机、服务、网站、API 等等。

      了解 Uptime 应用
      screenshot-uptime-service-monitoring.png

      探索并进行可视化

      Elastic Security

      Elastic Security 助力安全团队防御、检测威胁,并对威胁做出响应。它可以防御主机上的勒索软件和恶意软件,自动检测威胁和异常情况,并通过直观的工作流、内置的案例管理以及与 SOAR 和工单平台的集成来简化响应过程。

      Elastic Common Schema

      使用 Elastic Common Schema (ECS) 统一分析来自不同来源的数据。通过 ECS,用户可以更加广泛地应用检测规则、Machine Learning 作业、仪表板以及其他安全内容,可以更加具有针对性地创建搜索,还能更轻松地记住字段名称。

      观看视频了解 Elastic Common Schema
      screenshot-security-host-events-monitoring-7-14.jpg

      主机安全分析

      Elastic Security 实现了 Elastic Agent 和 Elastic Beats 提供的终端数据的交互式分析,以及 Carbon Black、CrowdStrike 和 Microsoft Defender for Endpoint 等技术。使用会话视图探索 shell 活动,并使用分析器探索各个流程。

      了解主机安全分析
      screenshot-security-session-manager-clean.png

      网络安全分析

      Elastic 安全能够为网络安全监测团队提供交互式地图、图表、事件表格等等。它支持众多的网络安全解决方案,既包括 Suricata 和 Zeek 等 OSS 技术,也包括来自 Cisco ASA、Palo Alto Networks 和 Check Point 等厂商的设备,还包括诸如 AWS、Azure、GCP 和 Cloudflare 等云服务。

      了解网络安全分析
      screenshot-security-network-view.jpg

      用户安全分析

      Elastic Security 擅长实体分析。该解决方案提供了对用户活动的可见性,可帮助从业人员解决内部威胁、帐户接管、特权滥用和相关向量等问题。整个环境范围内的收集均支持安全监测,其中用户数据通过精心设计的可视化和表格进行呈现。用户背景信息会在猎捕或调查流程中显示,可快速获取进一步的详细信息。

      1-security-user-detail.png

      时间线事件浏览器

      使用时间线事件浏览器,分析师能够进行以下操作:查看、筛选、关联事件以及为事件添加备注;通过收集数据来揭示攻击的根本原因和影响范围;对调查人员进行校准;以及打包信息以供即时和长期参考。

      了解时间线事件浏览器
      screenshot-security-timeline-network-7-14.jpg

      案例管理

      内置案件工作流能够强化对检测和响应的控制能力。借助 Elastic 安全,分析师通过外部系统便可开立和更新案件,为案件添加标签和评论,以及关闭和整合案例。借助面向 IBM Resilient、Jira、Swimlane 和 ServiceNow 的开源 API 和预构建支持,与既有工作流保持一致。

      了解案例
      screenshot-security-case-comment.jpg

      检测引擎

      检测引擎会执行基于技术的威胁检测,并对可能造成高价值破坏的异常提供告警。由 Elastic 安全研究工程师开发和测试的预构建规则,能够帮助用户实现快速采用。对于符合 Elastic Common Schema (ECS) 格式要求的任何数据,均可以创建自定义规则。

      了解检测
      screenshot-security-detection-rules-cloud-more-7.10.png

      Machine Learning 异常检测

      集成式 Machine Learning 可自动完成异常检测,提高检测性能并优化跟踪工作流。我们预构建的 Machine Learning 作业集能够帮助用户实现快速采用。告警和调查工作流会利用 ML 的结果。

      了解 Machine Learning
      screenshot-security-detection-ml-jobs.jpg

      行为勒索软件防御

      Elastic 安全通过在 Elastic Agent 上执行的行为分析来预防勒索软件。这项功能通过分析来自底层系统进程的数据来阻止针对 Windows 系统的勒索软件攻击,并且对一系列广泛的勒索软件家族同样有效。

      illustration-endpoint-security-stop-malware-1284x926.png

      恶意行为防护

      Elastic Agent 的恶意行为防护可以阻止终端的高级威胁,为 Linux、Windows 和 macOS 主机提供了一个新的保护层。恶意行为防护功能通过对执行后行为的动态防御,进一步加强对现有恶意软件和勒索软件的防御能力,从而阻止高级威胁的发生。

      反恶意软件

      无署名的恶意软件防御功能可立即阻止 Linux、Windows 和 macOS 主机上的恶意可执行文件。这项功能由同样会收集安全数据并支持基于主机的检查和响应的 Elastic Agent 提供。基于 Kibana 的管理精简了部署和管理过程。

      了解反恶意软件
      screen-recording-security-endpoint-admin-activate.gif

      主机内存保护

      Elastic Agent 上的内存保护可阻止许多用于通过 shellcode 进行进程注入的技术,还阻止了很多子技术,例如线程执行劫持、异步过程调用、进程挖空和进程分身。

      内存威胁防护

      内存威胁防护可阻止高级威胁经常用于规避传统防御的技术,例如 Shellcode、线程执行劫持、异步过程调用、进程挖空和进程分身。

      osquery 集中管理

      通过 Elastic 安全,用户能够轻松地在每个终端上部署 osquery,从而精简跨 Linux、Windows 和 macOS 主机的搜寻和主机检查流程。有了该解决方案,用户可以直接访问丰富的主机数据,并使用预构建或定制 SQL 查询进行检索,以在 Elastic 安全中进行分析。

      了解 Elastic Agent 的 osquery 功能
      1-blog-elastic-security-7-13.gif

      基于主机的网络活动分析

      使用 Elastic Agent 从无限量主机上收集网络活动。通过分析这些活动,可揭示网络边界内外无法被防火墙检测到的流量,帮助安全团队处理水坑攻击、数据泄露和 DNS 攻击等恶意行为。网络数据包分析器集成包含 Npcap 的免费商业许可。Npcap 是一个得到广泛部署的 Windows 数据包监听库,无论是什么操作系统,都可以在每台主机上实现网络可见性。

        云工作负载会话审计

        通过 eBPF 支持的轻量型代理来保护混合云工作负载和云原生应用程序。借助预构建的检测规则和 Machine Learning 模型自动发现运行时威胁。通过类终端视图进行调查,因为此视图能够呈现丰富的上下文。

        screenshot-security-session-manager-clean.png

        KSPM 数据收集和 CIS 态势调查结果

        获得有关多云环境中安全态势的可见性。查看调查结果,根据 CIS 控制措施对调查结果进行对标,并遵照修复建议来快速进行改善。