此博客将会通过六个不同的步骤，让您看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。

<p>Beats 是一个用来构建轻量级数据汇集的开源平台，可用于将各种类型的数据发送至Elasticsearch 与 Logstash。其中，Packetbeat 用于监控局域网内服务器之间的网络流量信息，Filebeat 收集服务器上的日志信息，还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息。除此以外，你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat，目前 Beats&nbsp;社区已经有超过25个 <a href="https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html">Community Beats</a> 了。
</p><p>我们还提供一个 Beat generator（Beat 生成器）来帮你快速构建属于你自己的 Beat。通过这篇博客你将会看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。今天我们创建的是一个叫做 <a href="https://github.com/kimjmin/lsbeat">lsbeat</a> 的 Beat，lsbeat 非常类似 Unix 系统下的命令行 <code>ls</code>，我们用 lsbeat 来索引目录和文件信息。本篇文章环境基于 Unix 系统，如果你是 Windows 或是其它系统，相关操作可能需要根据实际情况进行调整。
</p><h2>第一步 - 配置 Golang 环境</h2><p>Beats 是用 Golang写的，显然，要创建和开发一个 beat，Golang 环境必不可少。关于这方面的文章很多，建议查看这篇 Golang 的安装向导：<a href="https://golang.org/doc/install">install Golang</a>。当前 Beats 需要的最低版本是 Golang 1.6。另外请确保正确设置了你的 <code>$GOPATH</code> 环境变量。
</p><p>还有 Golang Glide 会被进行包用来依赖管理，所以也需要确保正确安装，最低版本是 Glide 0.10.0，安装说明点<a href="https://github.com/Masterminds/glide">这里</a>。
</p><p>让我们先来看看 lsbeat 将会用到的一段代码吧.这是一个简单的 golang 程序，通过命令行接收一个目录参数，然后列出该目录下的文件和子目录信息。
</p><pre class="prettyprint">package main
import (
    "fmt"
    "io/ioutil"
    "os"
)
func main() {
    //apply run path "." without argument.
    if len(os.Args) == 1 {
        listDir(".")
    } else {
        listDir(os.Args[1])
    }
}
func listDir(dirFile string) {
    files, _ := ioutil.ReadDir(dirFile)
    for _, f := range files {
        t := f.ModTime()
        fmt.Println(f.Name(), dirFile+"/"+f.Name(), f.IsDir(), t, f.Size())
        if f.IsDir() {
            listDir(dirFile + "/" + f.Name())
        }
    }
}
</pre><p>后面我们将使用到这段代码和 <code>listDir</code> 函数。
</p><h2>第二步 - 生成项目</h2><p>要生成一个你自己的 Beat，就要用到 <a href="https://github.com/elastic/beats/tree/master/generator/beat">beat-generator</a> 了，首先你必须安装 <a href="https://github.com/audreyr/cookiecutter">cookiecutter</a>。安装的详细说明看 <a href="http://cookiecutter.readthedocs.org/en/latest/installation.html">这里</a>。安装好 cookiecutter 之后，我们要给自己的 Beat 起一个好听的名字，最好是小写的英文字母，我们今天这个例子就叫 <code>lsbeat</code> 吧。
</p><p>生成项目模板之前，我们需要下载 Beats generator 包文件，就在 <a href="https://github.com/elastic/beats">beats</a> 仓库。安装好  <a href="https://golang.org/dl/">Golang</a>之后，你就可以很方便的使用 <code>go get</code> 命令来下载 Beats generator 包文件了。 当你执行下面的这个命令后，所有的源码文件都会下载到 <code>$GOPATH/src</code> 目录。
</p><pre class="prettyprint">$ go get github.com/elastic/beats
</pre><p>在 GOPATH 下创建一个以你自己github账号名称命名的目录，并切换过去，然后执行 cookiecutter 命令并指向 Beat Generator 源码路径。
</p><pre class="prettyprint">$ cd $GOPATH/src/github.com/{user}
$ cookiecutter $GOPATH/src/github.com/elastic/beats/generate/beat
</pre><p>Cookiecutter 接下来会问你几个问题，比如项目名称，我们输入：lsbeat；你的 github 用户名，输入你自己的 github 账户；还有两个关于beat和beat_path应该会自动识别，默认回车就好；最后的问题，你可以输入你的姓和名。
</p><pre class="prettyprint">project_name [Examplebeat]: lsbeat
github_name [your-github-name]: {username}
beat [lsbeat]:
beat_path [github.com/{github id}]:
full_name [Firstname Lastname]: {Full Name}
</pre><p>现在应该已经创建好了一个名为 lsbeat 的目录，并且里面应该会生成一些文件，让我们一起来看一下吧，结构如下：
</p><pre class="prettyprint">$ cd lsbeat
$ tree
.
├── CONTRIBUTING.md
├── LICENSE
├── Makefile
├── README.md
├── beater
│   └── lsbeat.go
├── config
│   ├── config.go
│   └── config_test.go
├── dev-tools
│   └── packer
│       ├── Makefile
│       ├── beats
│       │   └── lsbeat.yml
│       └── version.yml
├── docs
│   └── index.asciidoc
├── etc
│   ├── beat.yml
│   └── fields.yml
├── glide.yaml
├── lsbeat.template.json
├── main.go
├── main_test.go
└── tests
    └── system
        ├── config
        │   └── lsbeat.yml.j2
        ├── lsbeat.py
        ├── requirements.txt
        └── test_base.py
</pre><p>我们刚刚已经生成好了一个原始的 Beat 模板了，但是你还需要获取相关的依赖和设置好 git 仓库。
</p><p>首先，你需要拉取依赖的相关包信息。我们的这个例子是 lsbeat，我们先做一些基本的配置，回头再看看详细看看其它的模板和配置文件，只需要执行 make setup 就可以自动获取依赖。
</p><pre class="prettyprint">$ make setup
</pre><p>当你创建好了自己的 Beat 之后，记得上传到 github 仓库，并和社区进行分享哦，如下：
</p><p><img src="https://api.contentstack.io/v2/assets/5787f6d6c0bc38f452f8188d/download?uid=bltc6313851494a95b5" data-sys-asset-uid="bltc6313851494a95b5" alt="Screenshot">
</p><p>要 push lsbeat 到你的 git 仓库，只需要执行如下命令：</p><pre class="prettyprint">$ git remote add origin git@github.com:{username}/lsbeat.git
$ git push -u origin master
</pre><p>恭喜你，现在你已经完成了一个 Beat ，并且发布了第一个版本到了 Github，不过里面还没有什么具体内容，现在让我们进一步看看里面的代码吧。
</p><h2>第四步 - 配置</h2><p>执行过上面一系列命令之后，项目里将会自动创建名为 <code>lsbeat.yml</code> 和 <code>lsbeat.template.json</code> 的配置文件。所有的基本配置项都已经生成在了里面。
</p><p>lsbeat.yml：</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 1s
</pre><p>Period 参数包含在每一个生成的 Beats 里面，它表示 lsbeat 将会每隔 1 秒钟轮询一次。这里我们修改 period 时间间隔为 10 秒，还可以在修改 etc/ 目录下面的 beat.yml 文件。所以这里新增一个 path 参数表示我们具体要监听哪个目录。
</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "."
</pre><p>参数添加好了之后，我们只需要运行 make update 命令就能让这些修改应用到配置文件&nbsp;lsbeat.yml。
</p><pre class="prettyprint">$ make update
$ cat lsbeat.yml
</pre><pre class="prettyprint">################### Lsbeat Configuration Example #########################
############################# Lsbeat ######################################
lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "."
###############################################################################
</pre><p>修改完 yml 文件，记得修改 config/config.go 文件，添加一个&nbsp;path 参数。
</p><pre class="prettyprint">package config
import "time"
type Config struct {
    Period time.Duration `config:"period"`
    Path   string        `config:"path"`
}
var DefaultConfig = Config{
    Period: 10 * time.Second,
    Path:   ".",
}
</pre><p>同时我们修改 period 默认时间间隔为 10 秒，默认监听的是当前目录 (.) 。
</p><h2>第五步 - 添加代码</h2><p>每一个 Beat 都需要实现<a href="https://www.elastic.co/guide/en/beats/libbeat/master/beater-interface.html" target="_blank">Beater 接口</a>，里面定义了 Run() 和 Stop() 函数。我们可以定义一个名为 Lsbeat 的结构体，然后用这个对象实现 Beater 接口，再添加字段 lastIndexTime 来保存最后运行的时间戳信息。
</p><pre class="prettyprint">type Lsbeat struct {
    done   chan struct{}
    config config.Config
    client publisher.Client
    lastIndexTime time.Time
}
</pre><p>另外，每个 Beat 还需要实现 New() 方法来接收 Beat 配置信息和返回 Lsbeat 的具体实例。
</p><pre class="prettyprint">func New(b *beat.Beat, cfg *common.Config) (beat.Beater, error) {
    config := config.DefaultConfig
    if err := cfg.Unpack(&config); err != nil {
        return nil, fmt.Errorf("Error reading config file: %v", err)
    }
    ls := &Lsbeat{
        done:   make(chan struct{}),
        config: config,
    }
    return ls, nil
}
</pre><p>在我们的 lsbeat 例子中，我们要做的就是扩展默认的 Run() 函数来导出指定目录的文件和子目录信息。
</p><p>在修改 Run() 函数之前，我们先在 lsbeat.go 增加 listDir() 函数。这就是我们前面最开始测试的那段代码，把收集目录和文件信息的简单例子稍微修改一下。另外我们还要生成以下字段信息：
</p><ul>
	<li><code>"@timestamp":  common.Time(time.Now())</code></li>
	<li><code>"type":        beatname</code></li>
	<li><code>"modtime":     common.Time(t)</code></li>
	<li><code>"filename":    f.Name()</code></li>
	<li><code>"path":    dirFile + "/" + f.Name()</code></li>
	<li><code>"directory": f.IsDir()</code></li>
	<li><code>"filesize":    f.Size()</code></li>
</ul><p>第一次运行的时候，我们将索引所有的文件和目录信息，然后我们定期检查是否有新文件被创建或者修改，再索引这些新创建的文件和目录。每次定期检查的时间戳都会保存在 lasIndexTime 变量，完整代码如下：
</p><pre class="prettyprint">func (bt *Lsbeat) listDir(dirFile string, beatname string) {
    files, _ := ioutil.ReadDir(dirFile)
    for _, f := range files {
        t := f.ModTime()
        path := filepath.Join(dirFile, f.Name())
        if t.After(bt.lastIndexTime) {
            event := common.MapStr{
                "@timestamp": common.Time(time.Now()),
                "type":       beatname,
                "modtime":    common.Time(t),
                "filename":   f.Name(),
                "path":       path,
                "directory":  f.IsDir(),
                "filesize":   f.Size(),
            }
            bt.client.PublishEvent(event)
        }
        if f.IsDir() {
            bt.listDir(path, beatname)
        }
    }
}
</pre><p>记住在最开始需要导入 "io/ioutil" 包。
</p><pre class="prettyprint">import (
    "fmt"
    "io/ioutil"
    "time"
)
</pre><p>现在，让我们看看如何在 Run() 函数里面调用 listDir() 函数，并且保存时间戳到 lasIndexTime 变量。
</p><pre class="prettyprint">func (bt *Lsbeat) Run(b *beat.Beat) error {
    logp.Info("lsbeat is running! Hit CTRL-C to stop it.")
    bt.client = b.Publisher.Connect()
    ticker := time.NewTicker(bt.config.Period)
    for {
        now := time.Now()
        bt.listDir(bt.config.Path, b.Name) // call listDir
        bt.lastIndexTime = now             // mark Timestamp
        logp.Info("Event sent")
        select {
        case &lt;-bt.done:
            return nil
        case &lt;-ticker.C:
        }
    }
}
</pre><p>函数 Stop() 用来中断 run 的循环执行，保持默认生成的就行。
</p><pre class="prettyprint">func (bt *Lsbeat) Stop() {
    bt.client.Close()
    close(bt.done)
}
</pre><p>到这里，编码部分基本就完成了。我们接下来添加新字段到 mapping 中，修改文件 etc/fields.yml。
</p><pre class="prettyprint">- key: lsbeat
  title: LS Beat
  description: 
  fields:
    - name: counter
      type: integer
      required: true
      description: &gt;
        PLEASE UPDATE DOCUMENTATION
    #new fiels added lsbeat
    - name: modtime
      type: date
    - name: filename
      type: text
    - name: path
    - name: directory
      type: boolean
    - name: filesize
      type: long
</pre><p>重新应用新的配置。
</p><pre class="prettyprint">$ make update
</pre><p>字段 file_name 将使用 nGram 分词，我们还需要在文件 lsbeat.template.json 的 "settings" 节点添加一个自定义的 analyzer。
</p><pre class="prettyprint">{
  "mappings": {
        ...
  },
  "order": 0,
  "settings": {
    "index.refresh_interval": "5s",
    "analysis": {
      "analyzer": {
        "ls_ngram_analyzer": {
          "tokenizer": "ls_ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ls_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": "2",
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  },
  "template": "lsbeat-*"
}
</pre><h2>第六步 - 编译和运行</h2><p>现在我们可以进行编译和运行，只需要执行 make 命令就可以编译出可执行文件 lsbeat (lsbeat.exe on windows) 。
</p><pre class="prettyprint">$ make
</pre><p>修改 lsbeat.yml 文件，设置需要监听的目录，如："/Users/ec2-user/go"，记住是全路径。
</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "/Users/ec2-user/go"
</pre><p>同时确保&nbsp;Elasticsearch 和 Kibana 正常运行。现在就运行一下&nbsp;lsbeat 命令：</p><pre class="prettyprint">$ ./lsbeat
</pre><p>打开Kibana，通过调用 _cat 接口检视索引是不是创建了。</p><p><img src="https://api.contentstack.io/v2/assets/5787f7b662ff8c94777fc33e/download?uid=blt47d7e8421c87b1b7" data-sys-asset-uid="blt47d7e8421c87b1b7" alt="cat api">
</p><p>可以看到创建了一个名为 lsbeat-2016.06.03 的索引，并且已经包含了一些文档。现在对 filename 字段查询一下，由于使用的是 nGram 分词，使支持模糊匹配，因此需要使用 lsbeat&nbsp;关键字搜索。
</p><p><img src="https://api.contentstack.io/v2/assets/5787f7cdc0bc38f452f81a2e/download?uid=blte53a76e132c239b6" data-sys-asset-uid="blte53a76e132c239b6" alt="query.png">
</p><p>大功告成! 恭喜你，你已经完成了第一个属于你自己的 beat。
</p>

beats_full_width.png

beats_blog.png

Build your own Beat

创建一个你自己的 Beat

Articles By

Register to Attend

Sign In to Attend

Register to Watch

You'll also receive an email with related content

你将会收到一封相关内容的电邮。

Watch Now

Learn More

Contact Info

See All Posts

What to explore next...

Load more news

Load more press releases

Load More

Translate Content

本博客介绍了Kibana脚本字段的常见用例，并介绍了如何在新设置的弹性云实例中创建脚本字段。

<p>Kibana 提供了一些强大的方法，用于搜索和可视化 Elasticsearch 中存储的数据。为了实现可视化，Kibana 会搜索 Elasticsearch mapping 中定义的 field，并以图表的形式将它们作为选项呈现给用户。但是，如果你忘记在 schema 中将一个重要的值定义为单独的 field 会怎么样呢？或者，如果你想把两个 field 合并到一起该怎么办呢？这时就可以使用 Kibana 脚本化 field。
</p>
<p>其实，脚本化 field 最早出现于 Kibana 4 初期。当时只能依靠 Elasticsearch 中专门处理数字值的脚本语言 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-expression.html">Lucene Expressions</a>来定义它们。因此，只能在有限的用例子集中发挥脚本化 field 的功能。在 Kibana 5.0 中，Elasticsearch 引入了 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-painless.html">Painless</a>，这是一种安全而又强大的脚本语言，允许操作各种数据类型，Kibana 5.0 中的脚本化 field 因而变得更加强大。
</p>
<p>接下来，这篇博客将带你了解如何为常见用例创建脚本化 field。在此期间，我们将依托来自 <a href="https://www.elastic.co/guide/en/kibana/5.0/tutorial-load-dataset.html">Kibana 入门教程</a>的数据集，并使用在可以免费加速的 <a href="https://cloud.elastic.co/">Elastic Cloud</a>中运行的 Elasticsearch 和 Kibana 实例。
</p>
<p>下面的视频将带你了解如何在 Elastic Cloud 中快速启动个人 Elasticsearch 和 Kibana 实例以及如何向其中加载示例数据集。
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/6gWkzXXhT69tUa7uRtvJ96.jpg" data-uuid="6gWkzXXhT69tUa7uRtvJ96" data-v="4" data-type="inline">
</div>
<h2>脚本化 field 的工作原理</h2>
<p>Elasticsearch 允许每次请求时指定脚本化 field。Kibana 在此基础上进行了改进，在 Management（管理）区域定义一个脚本化 field，即可在后续用户界面的多个位置使用。请注意，尽管 Kibana 会将脚本化 field 与其在 <code>.kibana</code> index 中的其他配置存储在一起，但是此配置专属于 Kibana，而且 Elasticsearch 的 API 用户不会接触到 Kibana 脚本化 field。
</p>
<p>当你要在 Kibana 中定义脚本化 field 时，需要选择脚本语言，你可以从 Elasticsearch 节点上安装的所有启用了动态脚本的语言中进行选择。默认情况下，5.0 中有“expression”和“painless”可供选择，2.x 中则只有“expression”。你也可以安装其他脚本语言并为它们启用动态脚本，但是不建议这样做，因为无法将它们充分地进行 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting-security.html">沙盒封装</a>，因此已被弃用。
</p>
<p>脚本化 field 一次可以操作一个 Elasticsearch 文档，但是可以在这个文档中引用多个 field。因此，可以使用脚本化 field 将多个 field 合并或转换到一个单独的文档中，但是不能对多个文档执行计算（例如：时间序列运算）。Painless 和 Lucene expressions 都能够对存储在 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html">doc_values</a>中的 field 执行操作。因此在处理字符串数据时，需要将字符串存储到 <code>keyword</code>数据类型。基于 Painless 的脚本化 field 也不能直接操作 <code>_source</code>。
</p>
<p>在 Management（管理）区域定义脚本化 field 之后，用户可以借鉴与 Kibana 其他部分的其他 field 的交互方式，采用与之相同的方式与脚本化 field 进行交互。脚本化 field 将自动出现在 Discover（探索）field 列表中，并且将在 Visualize（可视化）中可用，用于创建可视化。Kibana 只需在查询时将脚本化 field 定义传递给 Elasticsearch，进行求值。得出的数据集将会与 Elasticsearch 返回的其他结果合并，并以表格或图表的形式呈现给用户。
</p>
<p>撰写这篇博客时，脚本化 field 的使用存在一些已知的限制。你可以将 Kibana 可视化生成器中可用的大部分 Elasticsearch 聚合应用到脚本化 field，最著名的 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-significantterms-aggregation.html">significant terms aggregation</a>（重要术语聚合）除外。你还可以通过 Discover（探索）、Visualize（可视化）和 Dashboard（仪表板）中的过滤栏过滤脚本化 field，但是正如我们下面所介绍的那样，你需要小心编写合适的脚本，确保能够返回定义良好的值。与此同时，务必参阅下面的“最佳实践”章节，确保使用脚本化 field 时不会破坏环境的稳定。
</p>
<p>下面的视频展示了如何使用 Kibana 创建脚本化 field。
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/SKHYsZcKZHq9u7GTNGWPaL.jpg" data-uuid="SKHYsZcKZHq9u7GTNGWPaL" data-v="4" data-type="inline">
</div>

<h2>脚本化 field 示例</h2>
<p>本小节展示了 Kibana 中一些常见场景下的 Lucene expressions 和 Painless 脚本化 field 示例。如上所述，这些示例以来自 <a href="https://www.elastic.co/guide/en/kibana/5.0/tutorial-load-dataset.html">Kibana 入门教程</a>的数据集为基础，并且假定你使用的是 Elasticsearch 和 Kibana 5.1.1，因为在之前的版本中，某些类型的脚本化 field 中存在一些与过滤和排序相关的已知问题。
</p>
<p>由于 Elasticsearch 5.0 默认启用 Lucene expressions 和 Painless，因此脚本化 fields 在大部分情况下应该都能够开箱即用。唯一例外的是那些需要对 fields 进行基于正则表达式的解析的脚本，这些脚本需要你在 <code>elasticsearch.yml</code>中设置下面的设置，为 Painless 打开正则表达式匹配： <code>script.painless.regex.enabled: true</code>
</p>
<h3>对单个 field 执行计算</h3>
<ul>
	<li><strong>示例</strong>：由字节计算出千字节</li>
	<li><strong>语言</strong>：expressions</li>
	<li><strong>返回类型</strong>：数字</li>
</ul>
<pre class="prettyprint"> doc['bytes'].value / 1024
</pre>
<p>注意：切记 Kibana 脚本化 fields 一次只能处理一个单独的文档，因此无法在脚本化 fields 中进行时间序列运算。
</p>
<h3>返回数字的日期运算</h3>
<ul>
	<li><strong>示例</strong>：将日期解析成小时时间</li>
	<li><strong>语言</strong>：expressions</li>
	<li><strong>返回类型</strong>：数字</li>
</ul>
<p>Lucene expressions 提供了大量开箱即用的 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-expression.html#_date_field_api">日期处理函数</a>。但是，由于 Lucene expressions 只能返回数字值，因此我们必须使用 Painless 来返回基于字符串的星期值（如下所示）。
</p>
<pre class="prettyprint"> doc['@timestamp'].date.hourOfDay
</pre>
<p>注意：上面的脚本将返回 1-24
</p>
<pre class="prettyprint">doc['@timestamp'].date.dayOfWeek
</pre>
<p>注意：上面的脚本将返回 1-7
</p>
<h3>合并两个字符串值</h3>
<ul>
	<li><strong>示例</strong>：合并源和目标或名字和姓氏</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint"> doc['geo.dest.keyword'].value + ':' + doc['geo.src.keyword'].value
</pre>
<p>注意：由于脚本化 field 需要操作<code>doc_values</code>中的 field，因此我们上面使用的是 <code>.keyword</code> 版本的字符串。
</p>
<h3>引入逻辑运算</h3>
<ul>
	<li><strong>示例</strong>：为所有超过 10000 字节的文档返回标签“big download”</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint"> if (doc['bytes'].value &gt; 10000) { 
    return "big download";
}
return "";
</pre>
<p>注意：引入逻辑运算时，确保每个执行路径都具有良好定义的返回语句和良好定义的返回值（而非 <code>null</code>）。例如，在 Kibana 过滤器中使用上述脚本化 field 时，如果最后没有返回语句或者语句返回 <code>null</code>，都会出现编译错误。另外还请注意，Kibana 脚本化 field 中不支持将逻辑运算分解成函数。
</p>
<h3>返回子串
</h3>
<ul>
	<li><strong>示例</strong>：返回 URL 中最后一个斜线后面的部分</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint"> def path = doc['url.keyword'].value;
if (path != null) {
    int lastSlashIndex = path.lastIndexOf('/');
    if (lastSlashIndex &gt; 0) {
    return path.substring(lastSlashIndex+1);
    }
}
return "";
</pre>
<p>注意：尽量避免使用正则表达式提取子串，因为 <code>indexOf()</code> 操作占用的资源更少，更不易出错。
</p>
<h3>使用正则表达式匹配字符串，并对匹配进行操作
</h3>
<ul>
	<li><strong>示例</strong>：如果在 field“referer”中找到子串“error”，则返回字符串“error”，否则返回字符串“no error”。</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint">if (doc['referer.keyword'].value =~ /error/) { 
return "error"
} else {
return "no error"
}
</pre>
<p>注意：简化的正则表达式语法对基于正则表达式匹配的条件句有用。
</p>
<h3>匹配字符串并返回该匹配
</h3>
<ul>
	<li><strong>示例</strong>：返回域，即 field “host”中最后一个点后面的字符串。</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint">def m = /^.*\.([a-z]+)$/.matcher(doc['host.keyword'].value);
if ( m.matches() ) {
   return m.group(1)
} else {
   return "no match"
}
</pre>
<p>注意：通过正则表达式 <code>matcher()</code> 函数定义对象，可以提取与正则表达式相匹配的字符组并将它们返回。
</p>
<h3>匹配数字并返回该匹配
</h3>
<ul>
	<li><strong>示例</strong>：返回 IP 地址的第一个八位组（存储为字符串）并将它视为一个数字。</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：数字</li>
</ul>
<pre class="prettyprint"> def m = /^([0-9]+)\..*$/.matcher(doc['clientip.keyword'].value);
if ( m.matches() ) {
   return Integer.parseInt(m.group(1))
} else {
   return 0
}
</pre>
<p>注意：在脚本中返回正确的数据类型是很重要的。正则表达式匹配返回的是字符串，即便匹配的是数字依然返回字符串，因此返回时应该显式地将它转换成整数。
</p>
<h3>返回字符串的日期运算
</h3>
<ul>
	<li><strong>示例</strong>：将日期解析成星期值再解析成字符串</li>
	<li><strong>语言</strong>：painless</li>
	<li><strong>返回类型</strong>：字符串</li>
</ul>
<pre class="prettyprint">LocalDateTime.ofInstant(Instant.ofEpochMilli(doc['@timestamp'].value), ZoneId.of('Z')).getDayOfWeek().getDisplayName(TextStyle.FULL, Locale.getDefault())
</pre>
<p>注意：由于 Painless 支持 Java 所有的原生类型，因此通过它可以获取与这些类型相关的原生函数，例如 <a href="https://docs.oracle.com/javase/8/docs/api/java/time/LocalDateTime.html#getDayOfWeek--">LocalDateTime()</a>，这在执行更加高级的日期运算时有用。
</p>
<h2>最佳实践
</h2>
<p>如你所见，Painless 脚本化语言提供了一些强大的方法，能够通过 Kibana 脚本化 field 从存储在 Elasticsearch 中的任意 field 提取出有用的信息。但是，能力越大，责任越大。
</p>
<p>接下来，我们将围绕 Kibana 脚本化 field 的使用，简要地介绍了一些最佳实践。
</p>
<ul>
	<li>始终使用开发环境测试脚本化 field。由于你在 Kibana 的 Management（管理）区域保存脚本化 field 之后，它们就会立即激活（例如：它们会出现该索引模式的 Discover（探索）界面，供所有用户使用），因此不应该直接在生产环境中开发脚本化 field。我们建议先在开发环境中试用你的语法，在模拟环境中评估脚本化 field 对实际数据集和数据卷的影响，然后才能将它们提升到生产环境。
	</li>
	<li>当你相信脚本化 field 能够为你的用户提供价值时，可以考虑对你的 ingest 进行修改，以便在索引时从 field 中提取新数据。这将节省 Elasticsearch 在查询时的处理工作量，并且将为 Kibana 用户实现更快的响应时间。你还可以使用 Elasticsearch 中的 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/docs-reindex.html">_reindex</a> API 重新索引现有数据。</li>
</ul>

blog-painless-fb.png

blog-painless-fb-thumb.jpg

Using Painless in Kibana scripted fields

在 Kibana 脚本化 fields 中使用 Painless

经过近一年的努力，包括5个Alphas，1个Beta和1个RC，我们很高兴地宣布Elastic Stack 5.0.0 正式发布。

<p>记得在 2016 年 2 月份，就在 Elastic{ON} 16 大会之后，我写了一篇标题为 <a href="https://www.elastic.co/blog/heya-elastic-stack-and-x-pack"><em>Heya, Elastic Stack and X-Pack</em></a> 的博客。经过了几乎整整一年的努力，中间发布了 5  个 Alpha，1 个 Beta 和一个 RC 版本，今天我们非常高兴的正式宣布发布 Elastic Stack 的 GA 正式版本。
</p>
<p>并且，于此同时，在我们在 <a href="https://www.elastic.co/cloud/as-a-service/signup">Elastic Cloud</a> 上面也同步进行了更新。所以如果你需要托管的 Elasticsearch 和 Kibana ，那么没有其它地方比这里更及时了。我们致力于让 Elastic Cloud 成为一个托管 Elasticsearch 的最佳场所。而在正式版发布之前，我们已经提供了 RC 版本方便你用于测试。
</p>
<p>我们的团队今天正在庆祝这一时刻，我希望你能加入我们。
</p>
<p>GA 版本今天已经可以下载了，如果要加入 Elastic 团队 11 月 3 号的线上活动，了解更多有关于本次发布和向工程师提问，请点击这里 <a href="https://www.elastic.co/live/v5">注册</a>！
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/tVWVLqbvAweDiKrXJBVdDh.jpg" data-uuid="tVWVLqbvAweDiKrXJBVdDh" data-v="4" data-type="inline">
</div>
<p>在开始探索发布详情之前，我想借此机会来回顾一下有哪些背后的事情让我们走到今天。
</p>
<h2>我们的社区</h2>
<p>最近的 Elastic{ON} Tour，在每场活动的开场我都会讨论我们公司过去几年的简短历史，而最近活动的高潮是当我宣布我们的累计下载总数达到了七千五百万。当我第一次开始这个项目的时候，我希望她能够被能够被广泛使用，而我们的社区的热情和激情总是不断的给我快乐和惊喜。
</p>
<h2>先驱者计划</h2>
<p>考虑到这一点，我想分享一下 <a href="https://www.elastic.co/blog/elastic-pioneer-program">先驱者计划</a> 的一些结果。该计划开始于一个简单的前提，你如何使用 Elastic Stack 对我们来说非常重要。不管是产品研发还是确保发布高质量的可用版本。我非常高兴的告诉大家自四月份发布的第一个Alpha版本，我们的社区一共提交了146个 issue。
</p>
<p>我们的社区是 Elastic 其中一个最宝贵的财产，而在这次发布中讨论的最多的就是为什么命名为 “Elastic Stack”。
</p>
<h2>The Elastic Stack</h2>
<div class="row">
	<div class="col-lg-12 col-md-12 col-sm-12 col-xs-12 product-type-wrapper">
		<div class="row">
			<div class="col-lg-8 col-md-8 col-sm-8 col-xs-12">
				<p>过去一年，我们收购了 Packetbeat 团队，然后 Beats 就诞生了。这是一个用于构建轻量级数据收集的开源平台，可用于日志、基础设施监控指标、网络流量等数据的收集，并且用以前所未有的简单方式来将数据发送至 Logstash 或 Elasticsearch。同时我们热爱那些已经习惯于将 ELK 作为代表我们软件栈的你们，只不过加上 Beats 以后，我们不知道如何将 “B” 和 E-L-K 组合在一起。（NOTE：过去用过ELKB）
				</p>
			</div>
			<div class="col-lg-4 col-md-4 col-sm-4 col-xs-12"><img src="https://api.contentstack.io/v2/uploads/575e4d31d8edd48f769379b9/download?uid=blt08fb2e862c57956e" data-sys-asset-uid="blt08fb2e862c57956e" alt="ELK Bee" style="max-width: 100%; width: 153px; height: 100px; margin: 0px 0px 20px 20px;" height="88" width="153">
			</div>
		</div>
	</div>
</div>
<p>但 Elastic Stack 远不只是一个名字。当我们开始发布一个周期，我们所做的开发提交、构建、测试和发布的是一整个软件栈。这个很重要，因为是从内部来保证兼容性。并且，对你来说，它可以帮助你提升部署速度，减少版本冲突，让开发者轻松的处理整个 Elastic Stack 兼容性的问题。
</p>
<h2>一场特性之旅</h2>
<p>在我开始这篇博客之前，我打算列举每个产品的一些主要特性。但是发现好像很难确定从哪里开始和结束。因为我们每个产品和技术领导已经创建了单独的博客来讨论各自产品的特性，没人比他们更适合介绍其中的故事。 我个人，更是对其中的一些特性感到非常兴奋，相较于简单的罗列，我会提供一些简短概要并且鼓励你去阅读每个产品详细的博客。
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/NqTNwGZSqRbAmPTCVQisef.jpg" data-uuid="NqTNwGZSqRbAmPTCVQisef" data-v="4" data-type="inline">
</div>
<ul>
	<li><strong>Ingest Node</strong> - Ingest Node 是 Elasticsearch 的一个节点类型，允许你对数据做一些加工。比如：grok、geoip、date 和其它索引（或重建）过程中的基本数据操作，通过访问 REST API 的时候指定一个参数 <code>“?pipeline=x”</code> 来使用由一系列处理器（processors）构造的管道。它可用帮你对文档进行预处理，原生在 Elasticsearch 内部，在索引之前做灵活的 Ingest 部署。这不代表要替换掉 Logstash，也不会移除对 Beats 的需要，只为你设计数据采集架构时提供一种更加灵活的可能性。</li>
	<li><strong>Elasticsearch 性能</strong> - 性能报告倾向于提供一个大纲，尤其是比较性的性能测试报告。基于此，我们花了很大力气来比较 5.0.0 与之前发布的版本。数据现在已经可用了，这个数据也是我们用来检查和确保我们正在做正确的事情来保证性能，我们如此的公开是来避免由性能测试数字引起的所谓秘密和怀疑。事实上，不止测试结果，我们还公布了我们的硬件和配置，我们开源了我们的工具链(叫做 <a href="https://github.com/elastic/rally">Rally</a>) 和测试记录本身(<a href="https://github.com/elastic/rally-tracks">Rally-Tracks</a>)。</li>
	<li><strong>Metricbeat</strong> - Metricbeat 替换 Topbeat 成为 Elastic Stack 里主要的收集度量指标的工具。和 Topbeat 一样，Metricbeat 收集和 “top” 类似的诸如机器及进程的资源（CPU、 memory、disk、network）统计信息。和 Topbeat 不同的是，Metricbeat 同时也收集其它系统的指标信息，如：Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、 Redis和 Zookeeper，并且在不久的将来还会支持更多应用和系统。</li>
	<li><strong>Logstash 监控 API</strong> - 这是一个新的监控特性提供 Logstash 管道及其插件在运行时的可视状态。这个组件收集 Logstash 处理你数据的各种操作性统计指标信息，所有的这些信息都可通过简单的 API 来进行查询。</li>
	<li><strong>Timelion</strong> -  以前以 re{Search} 项目介绍过，现在 Timelion 作为 Kibana 原生的核心组件可直接可用。Timelion 提供一个查询表达式和可视化类型让你探索基于时间的数据。</li>
</ul>
<p>再列举几个，诸如 BKD树、<code>scaled_float</code> 和 <code>half_float</code> ，我们投入了大量的精力到 <a href="https://www.elastic.co/guide/en/elasticsearch/resiliency/current/index.html">Elasticsearch 可靠性</a> 中，另外 Kibana 惊艳的重新设计（我从来不知道我们以前有这么讨厌这些边框直到移除）， Beats 支持的 Kafaka 输出等等。
</p>
<p>这是一个非常大的版本发布，务必要阅读相关独立的博客来了解更多范围内的改进。
</p>
<ul>
	<li><a href="https://www.elastic.co/blog/elasticsearch-5-0-0-released">Elasticsearch</a></li>
	<li><a href="https://www.elastic.co/blog/kibana-5-0-0">Kibana</a></li>
	<li><a href="https://www.elastic.co/blog/logstash-5-0-0-released">Logstash</a></li>
	<li><a href="https://www.elastic.co/blog/beats-5-0-0-released">Beats</a></li>
	<li><a href="https://www.elastic.co/blog/x-pack-5-0-0-released">X-Pack</a></li>
</ul>
<h2>X-Pack</h2>
<p>在 Elastic 我们热爱扩展。太多我们构建的东西我们给他们起了非常有趣的名字，如：Shield、Marvel 和 Watcher。作为提供给我们客户的额外的插件，独立闭源但没限制开源部分的能力的特性，随着后面又增加了Graph 和 Reporting，安装流程也变得困难和困惑。
</p>
<p>来和X-Pack 打个招呼吧!
</p>
<p>一个包含了 security、alerting、monitoring & management、reporting 和 graph 能力的 Elastic Stack 的插件。我们对 5.0 的工程不仅限于 Elastic Stack，同时也包括给X-Pack 添加如下：
</p>
<ul>
	<li>Kibana 里的管理和监控的UI界面</li>
	<li>Kibana 里创建用户和角色的UI界面</li>
	<li>非常简化的安装流程</li>
</ul>
<p>X-Pack 有试用版本，同时提供商业和免费（基本）授权证书选项。我们尤其兴奋的将 X-Pack 的某些特性开放出来免费使用，详细请见 <a href="https://www.elastic.co/subscriptions">Subscriptions</a> 页。
</p>
<h2>放在最后</h2>
<p>我敬畏发布此次版本所做的所有努力，来自我们社区和客户的共同参与，以及为了将来发布所做的一系列背地里的工作。一如既往，理解一个版本的最好方式就是去体验它。
</p>
<ul>
	<li><a href="https://www.elastic.co/downloads/elasticsearch">Elasticsearch 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/kibana">Kibana 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/x-pack">X-Pack 5.0.0 安装指南</a></li>
	<li><a href="https://www.elastic.co/downloads/logstash">Logstash 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/beats">Beats 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/hadoop">ES-Hadoop 5.0.0 下载</a></li>
</ul>

blog-es-banner.jpg

blog-es-thumb.jpg

Elastic Stack 5.0.0 Released

Elastic Stack 5.0 正式发布

Packetbeat是一个Go语言的程序，所以支持跨平台，因此使用Packetbeat来监控Cassandra有一个好处就是不要对应用做任何修改。

<p>Cassandra&nbsp;是一个优秀的&nbsp;NOSQL&nbsp;数据库，支持 kv 和列式存储，并且提供了&nbsp;CQL&nbsp;的类似&nbsp;SQL&nbsp;的查询语法。此博客主要介绍如何使用 Packetbeat 对Cassandra进行监控，&nbsp;Packetbeat 是&nbsp;Elastic&nbsp;开源的网络流量实时监控工具，目前支持了一些流行的应用软件，如 MongoDB、Redis、MySQL&nbsp;等。扩展起来也是非常方便的，而 Cassandra&nbsp;协议是最近刚加上去的。</p><p>Packetbeat 是一个&nbsp;Golang&nbsp;的程序，所以支持跨平台，没有环境依赖的问题。<br>
使用&nbsp;Packetbeat 来监控应用服务的好处就是不用对应用做任何修改。如果大家了解&nbsp;APM，常见的&nbsp;APM&nbsp;监控探测方式一般是以应用启动的时候加载一个探针让探针来动态获取运行时信息。而走网络请求抓包的方式连服务都不用重启，更不需要修改程序一行代码。</p><p>下载地址：<br>
<a href="/cn/downloads/beats/packetbeat">https://www.elastic.co/downloads/beats/packetbeat</a></p><p>这里以&nbsp;Mac&nbsp;环境为例，下载 beat1 版本的 Mac 发行版，然后解压。</p><p>解压之后，打开配置文件：packetbeat.yml，可以看到 Cassandra&nbsp;相关的配置节点。</p><pre class="prettyprint">  packetbeat.protocols.cassandra:
  #Cassandra port for traffic monitoring.
  ports: [9042]
 
  # If this option is enabled, the raw message of the request (`cassandra_request` field)
  # is included in published events. The default is true.
  #send_request: true
 
  # If this option is enabled, the raw message of the response (`cassandra_request.request_headers` field)
  # is included in published events. The default is true. enable `send_request` first before enable this option.
  #send_request_header: true
 
  # If this option is enabled, the raw message of the response (`cassandra_response` field)
  # is included in published events. The default is true.
  #send_response: true
 
  # If this option is enabled, the raw message of the response (`cassandra_response.response_headers` field)
  # is included in published events. The default is true. enable `send_response` first before enable this option.
  #send_response_header: true
 
  # Configures the default compression algorithm being used to uncompress compressed frames by name. Currently only `snappy` is can be configured.
  # By default no compressor is configured.
  #compressor: "snappy"
 
  # This option indicates which Operator/Operators will be ignored.
  #ignored_ops: ["SUPPORTED","OPTIONS"]
</pre><p>如果没有特殊设置，保持默认即可。如果你的程序在传输层使用了压缩，可以配置参数&nbsp;compressor（目前仅支持snappy）。另外默认会使所有的请求被捕捉，并会产生大量的日志，如果有你不需要的请求类型，可以设置&nbsp;ignored_ops&nbsp;来添加需要过滤的操作类型。</p><p>执行命令启动 Packetbeat，注意：需要使用&nbsp;sudo 来获取&nbsp;root 权限进行网络抓包。</p><pre class="prettyprint">     
sudo ./packetbeat -e -v
</pre><p>如果一切正常，应该就可以看到输出了&nbsp;Cassandra&nbsp;模块加载的信息，如下：</p><pre class="prettyprint">packetbeat git:(master) ✗ sudo ./packetbeat -e -v
2016/09/09 06:17:16.186525 logp.go:210: INFO Metrics logging every 30s
2016/09/09 06:17:16.186129 beat.go:264: INFO Home path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat] Config path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat] Data path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat/data] Logs path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat/logs]
2016/09/09 06:17:16.186832 beat.go:174: INFO Setup Beat: packetbeat; Version: 5.0.0-alpha6
2016/09/09 06:17:16.187793 output.go:167: INFO Loading template enabled. Reading template file: /Users/medcl/go/src/github.com/elastic/beats/packetbeat/packetbeat.template.json
2016/09/09 06:17:16.192045 output.go:178: INFO Loading template enabled for Elasticsearch 2.x. Reading template file: /Users/medcl/go/src/github.com/elastic/beats/packetbeat/packetbeat.template-es2x.json
2016/09/09 06:17:16.212983 client.go:106: INFO Elasticsearch url: http://localhost:9200
2016/09/09 06:17:16.213350 outputs.go:106: INFO Activated elasticsearch as output plugin.
2016/09/09 06:17:16.213536 publish.go:301: INFO Publisher name: Medcl.local
2016/09/09 06:17:16.214095 async.go:63: INFO Flush Interval set to: 1s
2016/09/09 06:17:16.214115 async.go:64: INFO Max Bulk Size set to: 50
2016/09/09 06:17:16.214742 procs.go:91: INFO Process matching disabled
2016/09/09 06:17:16.214923 protos.go:89: INFO registered protocol plugin: http
2016/09/09 06:17:16.214940 protos.go:89: INFO registered protocol plugin: memcache
2016/09/09 06:17:16.214950 protos.go:89: INFO registered protocol plugin: mysql
2016/09/09 06:17:16.214959 protos.go:89: INFO registered protocol plugin: redis
2016/09/09 06:17:16.214969 protos.go:89: INFO registered protocol plugin: amqp
2016/09/09 06:17:16.214979 protos.go:89: INFO registered protocol plugin: cassandra
2016/09/09 06:17:16.214988 protos.go:89: INFO registered protocol plugin: nfs
2016/09/09 06:17:16.214998 protos.go:89: INFO registered protocol plugin: pgsql
2016/09/09 06:17:16.215008 protos.go:89: INFO registered protocol plugin: thrift
2016/09/09 06:17:16.215017 protos.go:89: INFO registered protocol plugin: dns
2016/09/09 06:17:16.215036 protos.go:89: INFO registered protocol plugin: mongodb
2016/09/09 06:17:16.223996 beat.go:204: INFO packetbeat start running.
</pre><p>Packetbeat&nbsp;启动之后，我们就可以对 Cassandra&nbsp;服务端发送一些测试命令来测试是否能够截获。今天演示的所有的程序都运行在&nbsp;Mac&nbsp;本机，所以我们这里再启动一个&nbsp;Cassandra&nbsp;服务端，Cassandra&nbsp;解压运行就可以了。</p><p>我们使用&nbsp;Cassandra&nbsp;自带的命令行工具来支持 CQL&nbsp;请求。</p><pre class="prettyprint">➜  cassandra-3.7 ./bin/cqlsh    
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.7 | CQL spec 3.4.2 | Native protocol v4]
Use HELP for help.
cqlsh&gt; 
</pre><p>这里准备了几个测试命令，可以参考拷贝进去直接执行。</p><pre class="prettyprint">DROP KEYSPACE mykeyspace;

CREATE KEYSPACE mykeyspace
WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 1 };

USE mykeyspace;


CREATE TABLE users (
  userid int PRIMARY KEY,
    password text,
    name text,
    fname text,
    lname text,
    blog_title text,
    posted_at timestamp,
    entry_title text,
    content text,
    category int
);

INSERT INTO users (userid,  fname, lname)
  VALUES (1745, 'john', 'smith');
INSERT INTO users (userid,  fname, lname)
  VALUES (1744, 'john', 'doe');
INSERT INTO users (userid,  fname, lname)
  VALUES (1746, 'john', 'smith');

SELECT * FROM users;

CREATE INDEX ON users (lname);

SELECT * FROM users WHERE lname = 'smith';



BEGIN BATCH
  INSERT INTO users (userid, password, name) VALUES (1, 'ch@ngem3b', 'second user');
  UPDATE users SET password = 'ps22dhds' WHERE userid = 1;
  INSERT INTO users (userid, password) VALUES (2, 'ch@ngem3c');
  DELETE name FROM users WHERE userid = 2;
APPLY BATCH;


ALTER TABLE users WITH compression =
  { 'sstable_compression' : 'DeflateCompressor', 'chunk_length_kb' : 64 };


#error
CREATE INDEX ON users (lname);
USE mykeyspace_not_exists;
SELECTNOTCMD * FROM users;    
</pre><p>最末尾还有3个错误的命令，按道理应该也是可以正确捕捉到才对。</p><p>理论上，&nbsp;Packetbeat&nbsp;已经帮你把数据发送到&nbsp;Elasticsearch&nbsp;里面了，这里我们执行查询看一下。</p><pre class="prettyprint">GET packetbeat*/_search
{
  "took": 7,
  "timed_out": false,
  "_shards": {
    "total": 25,
    "successful": 25,
    "failed": 0
  },
  "hits": {
    "total": 1689677,
    "max_score": 1,
    "hits": [
      {
        "_index": "packetbeat-2016.08.25",
        "_type": "cassandra",
        "_id": "AVbCRg7vVdYPmFO6Js_q",
        "_score": 1,
        "_source": {
          "@timestamp": "2016-08-25T15:16:25.643Z",
          "beat": {
            "hostname": "Medcl.local",
            "name": "Medcl.local"
          },
          "bytes_in": 58,
          "bytes_out": 215,
          "cassandra": {
            "request": {
              "headers": {
                "flags": "Default",
                "length": 49,
                "op": "EXECUTE",
                "stream": 26752,
                "version": "4"
              }
            },
            "response": {
              "headers": {
                "flags": "Default",
                "length": 206,
                "op": "RESULT",
                "stream": 26752,
                "version": "4"
              },
              "result": {
                "rows": {
                  "meta": {
                    "col_count": 5,
                    "flags": "FLAG_5"
                  },
                  "num_rows": 1
                },
                "type": "rows"
              }
            }
          },
          "client_ip": "127.0.0.1",
          "client_port": 51295,
          "client_proc": "",
          "client_server": "Medcl.local",
          "ip": "127.0.0.1",
          "port": 9042,
          "proc": "",
          "responsetime": 0,
          "server": "Medcl.local",
          "status": "OK",
          "type": "cassandra"
        }
      }
    ]
  }
}    </pre><p>Packetbeat&nbsp;为常见协议准备了一些&nbsp;Dashboard，可以直接导入到&nbsp;Kibana&nbsp;里面使用。以下是 Kibana 里的&nbsp;Dashboard。</p><p><img src="https://api.contentstack.io/v2/uploads/58d484cb2e8e00790756cab7/download?uid=bltf12ea77895d8e0c2" data-sys-asset-uid="bltf12ea77895d8e0c2" alt="FireShot Capture 18 Packetbeat Cassandra"></p><p>可以很方便的看到当前请求的执行情况，每秒请求数，请求类型，返回类型，keyspace&nbsp;使用情况等。包括详细的错误日志和事件日志，对于分析&nbsp;Cassandra&nbsp;的使用情况进行性能诊断和故障分析都非常有用。</p>

<

2016

july

>

创建一个你自己的 Beat