此博客将会通过六个不同的步骤，让您看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。

<p>Beats 是一个用来构建轻量级数据汇集的开源平台，可用于将各种类型的数据发送至Elasticsearch 与 Logstash。其中，Packetbeat 用于监控局域网内服务器之间的网络流量信息，Filebeat 收集服务器上的日志信息，还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息。除此以外，你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat，目前 Beats&nbsp;社区已经有超过25个 <a href="https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html">Community Beats</a> 了。
</p><p>我们还提供一个 Beat generator（Beat 生成器）来帮你快速构建属于你自己的 Beat。通过这篇博客你将会看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。今天我们创建的是一个叫做 <a href="https://github.com/kimjmin/lsbeat">lsbeat</a> 的 Beat，lsbeat 非常类似 Unix 系统下的命令行 <code>ls</code>，我们用 lsbeat 来索引目录和文件信息。本篇文章环境基于 Unix 系统，如果你是 Windows 或是其它系统，相关操作可能需要根据实际情况进行调整。
</p><h2>第一步 - 配置 Golang 环境</h2><p>Beats 是用 Golang写的，显然，要创建和开发一个 beat，Golang 环境必不可少。关于这方面的文章很多，建议查看这篇 Golang 的安装向导：<a href="https://golang.org/doc/install">install Golang</a>。当前 Beats 需要的最低版本是 Golang 1.6。另外请确保正确设置了你的 <code>$GOPATH</code> 环境变量。
</p><p>还有 Golang Glide 会被进行包用来依赖管理，所以也需要确保正确安装，最低版本是 Glide 0.10.0，安装说明点<a href="https://github.com/Masterminds/glide">这里</a>。
</p><p>让我们先来看看 lsbeat 将会用到的一段代码吧.这是一个简单的 golang 程序，通过命令行接收一个目录参数，然后列出该目录下的文件和子目录信息。
</p><pre class="prettyprint">package main
import (
    "fmt"
    "io/ioutil"
    "os"
)
func main() {
    //apply run path "." without argument.
    if len(os.Args) == 1 {
        listDir(".")
    } else {
        listDir(os.Args[1])
    }
}
func listDir(dirFile string) {
    files, _ := ioutil.ReadDir(dirFile)
    for _, f := range files {
        t := f.ModTime()
        fmt.Println(f.Name(), dirFile+"/"+f.Name(), f.IsDir(), t, f.Size())
        if f.IsDir() {
            listDir(dirFile + "/" + f.Name())
        }
    }
}
</pre><p>后面我们将使用到这段代码和 <code>listDir</code> 函数。
</p><h2>第二步 - 生成项目</h2><p>要生成一个你自己的 Beat，就要用到 <a href="https://github.com/elastic/beats/tree/master/generator/beat">beat-generator</a> 了，首先你必须安装 <a href="https://github.com/audreyr/cookiecutter">cookiecutter</a>。安装的详细说明看 <a href="http://cookiecutter.readthedocs.org/en/latest/installation.html">这里</a>。安装好 cookiecutter 之后，我们要给自己的 Beat 起一个好听的名字，最好是小写的英文字母，我们今天这个例子就叫 <code>lsbeat</code> 吧。
</p><p>生成项目模板之前，我们需要下载 Beats generator 包文件，就在 <a href="https://github.com/elastic/beats">beats</a> 仓库。安装好  <a href="https://golang.org/dl/">Golang</a>之后，你就可以很方便的使用 <code>go get</code> 命令来下载 Beats generator 包文件了。 当你执行下面的这个命令后，所有的源码文件都会下载到 <code>$GOPATH/src</code> 目录。
</p><pre class="prettyprint">$ go get github.com/elastic/beats
</pre><p>在 GOPATH 下创建一个以你自己github账号名称命名的目录，并切换过去，然后执行 cookiecutter 命令并指向 Beat Generator 源码路径。
</p><pre class="prettyprint">$ cd $GOPATH/src/github.com/{user}
$ cookiecutter $GOPATH/src/github.com/elastic/beats/generate/beat
</pre><p>Cookiecutter 接下来会问你几个问题，比如项目名称，我们输入：lsbeat；你的 github 用户名，输入你自己的 github 账户；还有两个关于beat和beat_path应该会自动识别，默认回车就好；最后的问题，你可以输入你的姓和名。
</p><pre class="prettyprint">project_name [Examplebeat]: lsbeat
github_name [your-github-name]: {username}
beat [lsbeat]:
beat_path [github.com/{github id}]:
full_name [Firstname Lastname]: {Full Name}
</pre><p>现在应该已经创建好了一个名为 lsbeat 的目录，并且里面应该会生成一些文件，让我们一起来看一下吧，结构如下：
</p><pre class="prettyprint">$ cd lsbeat
$ tree
.
├── CONTRIBUTING.md
├── LICENSE
├── Makefile
├── README.md
├── beater
│   └── lsbeat.go
├── config
│   ├── config.go
│   └── config_test.go
├── dev-tools
│   └── packer
│       ├── Makefile
│       ├── beats
│       │   └── lsbeat.yml
│       └── version.yml
├── docs
│   └── index.asciidoc
├── etc
│   ├── beat.yml
│   └── fields.yml
├── glide.yaml
├── lsbeat.template.json
├── main.go
├── main_test.go
└── tests
    └── system
        ├── config
        │   └── lsbeat.yml.j2
        ├── lsbeat.py
        ├── requirements.txt
        └── test_base.py
</pre><p>我们刚刚已经生成好了一个原始的 Beat 模板了，但是你还需要获取相关的依赖和设置好 git 仓库。
</p><p>首先，你需要拉取依赖的相关包信息。我们的这个例子是 lsbeat，我们先做一些基本的配置，回头再看看详细看看其它的模板和配置文件，只需要执行 make setup 就可以自动获取依赖。
</p><pre class="prettyprint">$ make setup
</pre><p>当你创建好了自己的 Beat 之后，记得上传到 github 仓库，并和社区进行分享哦，如下：
</p><p><img src="https://api.contentstack.io/v2/assets/5787f6d6c0bc38f452f8188d/download?uid=bltc6313851494a95b5" data-sys-asset-uid="bltc6313851494a95b5" alt="Screenshot">
</p><p>要 push lsbeat 到你的 git 仓库，只需要执行如下命令：</p><pre class="prettyprint">$ git remote add origin git@github.com:{username}/lsbeat.git
$ git push -u origin master
</pre><p>恭喜你，现在你已经完成了一个 Beat ，并且发布了第一个版本到了 Github，不过里面还没有什么具体内容，现在让我们进一步看看里面的代码吧。
</p><h2>第四步 - 配置</h2><p>执行过上面一系列命令之后，项目里将会自动创建名为 <code>lsbeat.yml</code> 和 <code>lsbeat.template.json</code> 的配置文件。所有的基本配置项都已经生成在了里面。
</p><p>lsbeat.yml：</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 1s
</pre><p>Period 参数包含在每一个生成的 Beats 里面，它表示 lsbeat 将会每隔 1 秒钟轮询一次。这里我们修改 period 时间间隔为 10 秒，还可以在修改 etc/ 目录下面的 beat.yml 文件。所以这里新增一个 path 参数表示我们具体要监听哪个目录。
</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "."
</pre><p>参数添加好了之后，我们只需要运行 make update 命令就能让这些修改应用到配置文件&nbsp;lsbeat.yml。
</p><pre class="prettyprint">$ make update
$ cat lsbeat.yml
</pre><pre class="prettyprint">################### Lsbeat Configuration Example #########################
############################# Lsbeat ######################################
lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "."
###############################################################################
</pre><p>修改完 yml 文件，记得修改 config/config.go 文件，添加一个&nbsp;path 参数。
</p><pre class="prettyprint">package config
import "time"
type Config struct {
    Period time.Duration `config:"period"`
    Path   string        `config:"path"`
}
var DefaultConfig = Config{
    Period: 10 * time.Second,
    Path:   ".",
}
</pre><p>同时我们修改 period 默认时间间隔为 10 秒，默认监听的是当前目录 (.) 。
</p><h2>第五步 - 添加代码</h2><p>每一个 Beat 都需要实现<a href="https://www.elastic.co/guide/en/beats/libbeat/master/beater-interface.html" target="_blank">Beater 接口</a>，里面定义了 Run() 和 Stop() 函数。我们可以定义一个名为 Lsbeat 的结构体，然后用这个对象实现 Beater 接口，再添加字段 lastIndexTime 来保存最后运行的时间戳信息。
</p><pre class="prettyprint">type Lsbeat struct {
    done   chan struct{}
    config config.Config
    client publisher.Client
    lastIndexTime time.Time
}
</pre><p>另外，每个 Beat 还需要实现 New() 方法来接收 Beat 配置信息和返回 Lsbeat 的具体实例。
</p><pre class="prettyprint">func New(b *beat.Beat, cfg *common.Config) (beat.Beater, error) {
    config := config.DefaultConfig
    if err := cfg.Unpack(&config); err != nil {
        return nil, fmt.Errorf("Error reading config file: %v", err)
    }
    ls := &Lsbeat{
        done:   make(chan struct{}),
        config: config,
    }
    return ls, nil
}
</pre><p>在我们的 lsbeat 例子中，我们要做的就是扩展默认的 Run() 函数来导出指定目录的文件和子目录信息。
</p><p>在修改 Run() 函数之前，我们先在 lsbeat.go 增加 listDir() 函数。这就是我们前面最开始测试的那段代码，把收集目录和文件信息的简单例子稍微修改一下。另外我们还要生成以下字段信息：
</p><ul>
	<li><code>"@timestamp":  common.Time(time.Now())</code></li>
	<li><code>"type":        beatname</code></li>
	<li><code>"modtime":     common.Time(t)</code></li>
	<li><code>"filename":    f.Name()</code></li>
	<li><code>"path":    dirFile + "/" + f.Name()</code></li>
	<li><code>"directory": f.IsDir()</code></li>
	<li><code>"filesize":    f.Size()</code></li>
</ul><p>第一次运行的时候，我们将索引所有的文件和目录信息，然后我们定期检查是否有新文件被创建或者修改，再索引这些新创建的文件和目录。每次定期检查的时间戳都会保存在 lasIndexTime 变量，完整代码如下：
</p><pre class="prettyprint">func (bt *Lsbeat) listDir(dirFile string, beatname string) {
    files, _ := ioutil.ReadDir(dirFile)
    for _, f := range files {
        t := f.ModTime()
        path := filepath.Join(dirFile, f.Name())
        if t.After(bt.lastIndexTime) {
            event := common.MapStr{
                "@timestamp": common.Time(time.Now()),
                "type":       beatname,
                "modtime":    common.Time(t),
                "filename":   f.Name(),
                "path":       path,
                "directory":  f.IsDir(),
                "filesize":   f.Size(),
            }
            bt.client.PublishEvent(event)
        }
        if f.IsDir() {
            bt.listDir(path, beatname)
        }
    }
}
</pre><p>记住在最开始需要导入 "io/ioutil" 包。
</p><pre class="prettyprint">import (
    "fmt"
    "io/ioutil"
    "time"
)
</pre><p>现在，让我们看看如何在 Run() 函数里面调用 listDir() 函数，并且保存时间戳到 lasIndexTime 变量。
</p><pre class="prettyprint">func (bt *Lsbeat) Run(b *beat.Beat) error {
    logp.Info("lsbeat is running! Hit CTRL-C to stop it.")
    bt.client = b.Publisher.Connect()
    ticker := time.NewTicker(bt.config.Period)
    for {
        now := time.Now()
        bt.listDir(bt.config.Path, b.Name) // call listDir
        bt.lastIndexTime = now             // mark Timestamp
        logp.Info("Event sent")
        select {
        case &lt;-bt.done:
            return nil
        case &lt;-ticker.C:
        }
    }
}
</pre><p>函数 Stop() 用来中断 run 的循环执行，保持默认生成的就行。
</p><pre class="prettyprint">func (bt *Lsbeat) Stop() {
    bt.client.Close()
    close(bt.done)
}
</pre><p>到这里，编码部分基本就完成了。我们接下来添加新字段到 mapping 中，修改文件 etc/fields.yml。
</p><pre class="prettyprint">- key: lsbeat
  title: LS Beat
  description: 
  fields:
    - name: counter
      type: integer
      required: true
      description: &gt;
        PLEASE UPDATE DOCUMENTATION
    #new fiels added lsbeat
    - name: modtime
      type: date
    - name: filename
      type: text
    - name: path
    - name: directory
      type: boolean
    - name: filesize
      type: long
</pre><p>重新应用新的配置。
</p><pre class="prettyprint">$ make update
</pre><p>字段 file_name 将使用 nGram 分词，我们还需要在文件 lsbeat.template.json 的 "settings" 节点添加一个自定义的 analyzer。
</p><pre class="prettyprint">{
  "mappings": {
        ...
  },
  "order": 0,
  "settings": {
    "index.refresh_interval": "5s",
    "analysis": {
      "analyzer": {
        "ls_ngram_analyzer": {
          "tokenizer": "ls_ngram_tokenizer"
        }
      },
      "tokenizer": {
        "ls_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": "2",
          "token_chars": [
            "letter",
            "digit"
          ]
        }
      }
    }
  },
  "template": "lsbeat-*"
}
</pre><h2>第六步 - 编译和运行</h2><p>现在我们可以进行编译和运行，只需要执行 make 命令就可以编译出可执行文件 lsbeat (lsbeat.exe on windows) 。
</p><pre class="prettyprint">$ make
</pre><p>修改 lsbeat.yml 文件，设置需要监听的目录，如："/Users/ec2-user/go"，记住是全路径。
</p><pre class="prettyprint">lsbeat:
  # Defines how often an event is sent to the output
  period: 10s
  path: "/Users/ec2-user/go"
</pre><p>同时确保&nbsp;Elasticsearch 和 Kibana 正常运行。现在就运行一下&nbsp;lsbeat 命令：</p><pre class="prettyprint">$ ./lsbeat
</pre><p>打开Kibana，通过调用 _cat 接口检视索引是不是创建了。</p><p><img src="https://api.contentstack.io/v2/assets/5787f7b662ff8c94777fc33e/download?uid=blt47d7e8421c87b1b7" data-sys-asset-uid="blt47d7e8421c87b1b7" alt="cat api">
</p><p>可以看到创建了一个名为 lsbeat-2016.06.03 的索引，并且已经包含了一些文档。现在对 filename 字段查询一下，由于使用的是 nGram 分词，使支持模糊匹配，因此需要使用 lsbeat&nbsp;关键字搜索。
</p><p><img src="https://api.contentstack.io/v2/assets/5787f7cdc0bc38f452f81a2e/download?uid=blte53a76e132c239b6" data-sys-asset-uid="blte53a76e132c239b6" alt="query.png">
</p><p>大功告成! 恭喜你，你已经完成了第一个属于你自己的 beat。
</p>

beats_full_width.png

beats_blog.png

Build your own Beat

创建一个你自己的 Beat

<p>By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.</p>

Newsletter GDPR Text

<p>提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。</p>

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Small image for

On-demand webinar

Featured webinar

Register to Attend

Share on Facebook

Reset all

Upcoming webinar

View more posts

Print

Hosted by

Sign In to Attend

View next

Follow us on Facebook

Share

Highlights

Read less

You'll also receive an email with related content

你将会收到一封相关内容的电邮。

Thank you for registering. We will send you a confirmation email soon.

谢谢注册。我们会尽快给您发送确认邮件。

What to explore next...

Load more news

Filters

Load more press releases

Share on Twitter

Continue reading

<p>Kibana 提供了强大的功能，可用来搜索和可视化 Elasticsearch 中存储的数据。为了实现可视化，Kibana 会查找 Elasticsearch 映射中定义的字段，并将其作为选项呈现给构建图表的用户。但是，如果忘了在架构中将重要的值定义为独立的字段，会出现什么情况？或者，如果要合并两个字段并将其视为一个字段，该怎么办？这时 Kibana 脚本字段就派上用场了。<br/></p><p>脚本字段最早出现于 Kibana 4 初期。起初问世时，脚本字段的唯一定义方法是依托 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-expression.html" target="_self">Lucene 表达式</a>，Elasticsearch&nbsp;专门利用这种脚本语言处理数值。因此，脚本字段只能在一部分用例中发挥作用。在 5.0 中，Elasticsearch 引入了 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-painless.html" target="_self">Painless</a>，这是一种安全、功能强大的脚本语言，可对各种数据类型进行操作。因此，Kibana 5.0 中的脚本字段功能要强大得多。</p><p>在本博文的其余部分，我们将向您介绍如何为常见用例创建脚本字段。为此，我们将依托 <a href="https://www.elastic.co/guide/en/kibana/5.0/tutorial-load-dataset.html" target="_self">Kibana 入门教程</a>&nbsp;的数据集，并使用在 <a href="https://cloud.elastic.co/" target="_self">Elastic Cloud</a> 中运行的 Elasticsearch 和 Kibana 实例。您可以免费快速完成相应实例的部署。</p><p>以下视频将向您介绍如何在 Elastic Cloud 中快速部署个人的 Elasticsearch 和 Kibana&nbsp;实例，并将示例&nbsp;数据集&nbsp;加载至该实例中。&nbsp;<br/></p><div class="video embed-container" style="height: 319.725px;"><img class="vidyard-player-embed" src="https://play.vidyard.com/6gWkzXXhT69tUa7uRtvJ96.jpg" data-uuid="6gWkzXXhT69tUa7uRtvJ96" data-v="4" data-type="inline" width="677"/></div><h2>脚本字段如何运作</h2><p>Elasticsearch 允许您为每个请求指定脚本字段。Kibana 在这一方面进行了改进，您只需在“管理”部分中定义一次脚本字段，以后即可在 UI 的多个位置使用该字段。请注意，虽然 Kibana 将脚本字段与其他配置一起存储在 .kibana 索引中，但该配置是 Kibana 特有的，并且 Kibana 脚本字段不会向 Elasticsearch 的 API 用户公开。</p><p>在 Kibana 中定义脚本字段时，您可以选择脚本语言，即从 Elasticsearch 节点安装的所有启用了动态脚本的语言中进行选择。默认情况下，5.0 提供“表达式”和 “Painless”两种脚本语言，2.x 仅提供“Painless”这一种脚本语言。您可以安装其他脚本语言并为其启用动态脚本，但不建议这样做，因为其他脚本语言无法充分<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/modules-scripting-security.html" target="_self">沙盒化</a>&nbsp;并且已弃用。</p><p>脚本字段一次对一个 Elasticsearch 文档进行操作，但可引用文档中的多个字段。因此，建议使用脚本字段合并或转换单个文档中的多个字段，但不能基于多个文档执行计算（例如时间序列计算）。Painless 和 Lucene 表达式均可用于 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/doc-values.html" target="_self">doc_values</a>&nbsp;中存储的字段。因此，对于字符串数据，您需要将字符串存储在数据类型关键字中。基于 Painless 的脚本字段也不能直接对 _source 进行操作。</p><p>在“管理”部分中定义脚本字段后，用户可以像处理 Kibana 其余部分的其他字段那样，与脚本字段进行交互。脚本字段会自动显示在 Discover 字段列表中，并且可在 Visualize 中用于创建可视化。Kibana 只有在查询时才会将脚本字段定义传递给 Elasticsearch 进行计算。生成的数据集与从 Elasticsearch 返回的其他结果合并，并以表格或图表的形式呈现给用户。</p><p>截至本文撰写时，使用脚本字段存在若干已知限制。您可以将 Kibana 可视化生成器中多数可用的 Elasticsearch 聚合应用于脚本字段，而最需要注意的例外情形是<a href="https://www.elastic.co/guide/en/elasticsearch/reference/current/search-aggregations-bucket-significantterms-aggregation.html" target="_self">重要词聚合</a>。此外，您还可以在 Discover、Visualize 和仪表板中通过筛选栏对脚本字段进行筛选，但您需要认真编写适当的脚本以返回定义明确的值，如下所示。在使用脚本字段时，还须参阅下方的“最佳实践”部分，确保不会破坏环境的稳定性。</p><p>下列视频演示了如何使用&nbsp;Kibana 创建脚本字段。</p><div class="video embed-container" style="height: 319.725px;"><img class="vidyard-player-embed" src="https://play.vidyard.com/SKHYsZcKZHq9u7GTNGWPaL.jpg" data-uuid="SKHYsZcKZHq9u7GTNGWPaL" data-v="4" data-type="inline" width="677"/></div><h2>脚本字段示例</h2><p>这一部分将介绍常见场景中 Kibana 的 Lucene 表达式和 Painless 脚本字段的几个示例。如上所述，这些示例是基于&nbsp;<a href="https://www.elastic.co/guide/en/kibana/5.0/tutorial-load-dataset.html" target="_self">Kibana 入门教程</a>的数据集开发的，并假设您使用的是 Elasticsearch 和 Kibana 5.1.1，因为早期版本存在若干与特定类型脚本字段筛选和排序相关的已知问题。</p><p>在大多数情况下，脚本字段应该能够即点即用，因为 Elasticsearch 5.0 默认启用 Lucene 表达式和 Painless。唯一例外是，脚本需要基于正则表达式解析字段，为此，您需要在 elasticsearch.yml 中进行以下设置，为 Painless 启用正则表达式匹配：script.painless.regex.enabled: true</p><h3>对单个字段执行计算</h3><ul><li><strong>示例</strong>：计算单位从字节变为千字节</li><li><strong>语言</strong>：&nbsp;表达式</li><li><strong>返回类型</strong>：&nbsp;数字</li></ul><pre class="prettyprint"> doc['bytes'].value / 1024<br/></pre><p>注意：请记住，Kibana 脚本字段一次只能处理一个文档，因此无法在脚本字段中进行时间序列计算。<br/></p><h3>产生数字的日期计算</h3><ul><li><strong>示例</strong>：&nbsp;将日期解析为时刻</li><li><strong>语言</strong>：表达式</li><li><strong>返回类型</strong>：&nbsp;数字</li></ul><p>Lucene&nbsp;表达式提供了一整套即点即用的<a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/modules-scripting-expression.html#_date_field_api" target="_self">日期处理函数</a>。但是，由于 Lucene 表达式仅返回数值，因此我们必须使用 Painless 返回基于字符串的星期几（如下所示）。</p><pre class="prettyprint"> doc['@timestamp'].date.hourOfDay<br/></pre><p>注意：以上脚本将返回 1-24 </p><pre class="prettyprint">doc['@timestamp'].date.dayOfWeek<br/></pre><p>注意：以上脚本将返回 1-7 </p><h3>合并两个字符串值</h3><ul><li><strong>示例</strong>：&nbsp;合并源和目标或合并名字和姓氏</li><li><strong>语言</strong>：&nbsp;Painless</li><li><strong>返回类型</strong>：&nbsp;字符串</li></ul><pre class="prettyprint"> doc['geo.dest.keyword'].value + ':' + doc['geo.src.keyword'].value<br/></pre><p> 注意：由于脚本字段需要对 doc_values 中的字段进行操作，因此我们使用上述字符串的 .keyword 版本。</p><h3>引入逻辑</h3><ul><li><strong>示例</strong>：对于字节数超过 10000 的任何文档，返回标签“大量下载”</li><li><strong>语言</strong>：Painless</li><li><strong>返回类型</strong>：字符串</li></ul><span id="docs-internal-guid-79afb0c7-f6ba-c23d-a150-111fc040ae24"><pre class="prettyprint"> if (doc['bytes'].value > 10000) { <br/>    return "big download";<br/>}<br/>return "";<br/></pre><p dir="ltr">注意：引入逻辑时，请确保每个执行路径均有明确定义的返回语句和返回值（非 NULL）。例如，上述脚本字段用于 Kibana 筛选器时，如果最后没有返回语句或该语句返回 NULL，则会失败并出现编译错误。另请记住，Kibana 脚本字段不支持将逻辑分解为函数。&nbsp;</p><h3 dir="ltr">返回子字符串<br/></h3><ul><li><strong>示例</strong>：返回 URL 中最后一个斜线之后的部分</li><li><strong>语言</strong>：Painless</li><li><strong>返回类型</strong>：字符串</li></ul><pre class="prettyprint"> def path = doc['url.keyword'].value;<br/>if (path != null) {<br/>    int lastSlashIndex = path.lastIndexOf('/');<br/>    if (lastSlashIndex > 0) {<br/>    return path.substring(lastSlashIndex+1);<br/>    }<br/>}<br/>return "";<br/></pre><p dir="ltr">注意：尽可能避免使用正则表达式提取子字符串，因为 indexOf() 运算消耗的资源更少，也更不易出错。&nbsp;</p><h3 dir="ltr">使用正则表达式匹配字符串，并对匹配项执行操作<br/></h3><ul><li><strong>示例</strong>：如果在字段“referer”中找到子字符串“error”，则返回字符串“error”，否则返回字符串“no error”。</li><li><strong>语言</strong>：Painless</li><li><strong>返回类型</strong>：字符串</li></ul><pre class="prettyprint">if (doc['referer.keyword'].value =~ /cn/error/) { <br/>return "error"<br/>} else {<br/>return "no error"<br/>}<br/></pre><p dir="ltr">注意：简化的正则表达式语法可用于基于正则表达式匹配的条件语句。&nbsp;</p><h3 dir="ltr">匹配字符串并返回匹配项<br/></h3><ul><li><strong>示例</strong>：返回域，即“host”字段中最后一个点之后的字符串。</li><li><strong>语言</strong>：Painless</li><li><strong>返回类型</strong>：字符串</li></ul><pre class="prettyprint">def m = /^.*\.([a-z]+)$/.matcher(doc['host.keyword'].value);<br/>if ( m.matches() ) {<br/>   return m.group(1)<br/>} else {<br/>   return "no match"<br/>}<br/></pre><p dir="ltr">注意：通过 regex matcher() 函数定义对象，您可以提取并返回多组与该正则表达式匹配的字符。&nbsp;</p><h3 dir="ltr">匹配数字并返回匹配项<br/></h3><ul><li>示例：返回 IP 地址的前八位字节（存储为字符串）并将其视为数字。</li><li>语言：Painless</li><li>返回类型：数字</li></ul><pre class="prettyprint"> def m = /^([0-9]+)\..*$/.matcher(doc['clientip.keyword'].value);<br/>if ( m.matches() ) {<br/>   return Integer.parseInt(m.group(1))<br/>} else {<br/>   return 0<br/>}<br/></pre><p dir="ltr">注意：必须在脚本中返回正确的数据类型。即使匹配了数字，正则表达式匹配也会返回字符串，因此应在返回时将其显式转换为整数。&nbsp;</p><h3 dir="ltr">产生字符串的日期计算<br/></h3><ul><li><strong>示例</strong>：将日期解析为星期几，然后解析为字符串</li><li><strong>语言</strong>：Painless</li><li><strong>返回类型</strong>：字符串</li></ul><pre class="prettyprint">LocalDateTime.ofInstant(Instant.ofEpochMilli(doc['@timestamp'].value), ZoneId.of('Z')).getDayOfWeek().getDisplayName(TextStyle.FULL, Locale.getDefault())<br/></pre><p dir="ltr">注意：Painless 支持 Java 的所有原生类型，因此提供对这些类型的原生函数的访问权限，例如 <a href="https://docs.oracle.com/javase/8/docs/api/java/time/LocalDateTime.html#getDayOfWeek--" target="_self">LocalDateTime()</a>，可用于执行更高级的日期计算。</p><h2 dir="ltr">最佳实践<br/></h2><p dir="ltr">如您所见，Painless 脚本语言提供了强大的功能，可以通过 Kibana 脚本字段从 Elasticsearch 中存储的任意字段提取有用信息。然而，功能越强大，责任越重大。&nbsp;</p><p dir="ltr">我们在下方概述了一些有关使用 Kibana 脚本字段的最佳实践。</p><ul><li>始终使用开发环境试验脚本字段。由于脚本字段一经保存在 Kibana“管理”部分即会变成活动状态（例如，出现在所有用户的索引模式的“Discover”屏幕），因此您不应直接在生产环境中开发脚本字段。我们建议您首先在开发环境中试用语法，评估脚本字段对暂存中的实际数据集和数据量的影响，然后才将其运用到生产环境中。&nbsp;</li><li>若您确信脚本字段可为用户提供价值，则可以考虑修改采集方式，以便在索引时针对新数据提取该字段。这将节省 Elasticsearch 在查询时的处理工作量，为 Kibana 用户加快响应时间。此外，您还可以使用 Elasticsearch 中的 <a href="https://www.elastic.co/guide/en/elasticsearch/reference/5.0/docs-reindex.html" target="_self">_reindex</a> API 重新索引现有数据。</li></ul></span>

blog-banner-generic-elastic.png

Using Painless in Kibana scripted fields

在 Kibana 脚本字段中使用 Painless

经过近一年的努力，包括5个Alphas，1个Beta和1个RC，我们很高兴地宣布Elastic Stack 5.0.0 正式发布。

<p>记得在 2016 年 2 月份，就在 Elastic{ON} 16 大会之后，我写了一篇标题为 <a href="https://www.elastic.co/blog/heya-elastic-stack-and-x-pack"><em>Heya, Elastic Stack and X-Pack</em></a> 的博客。经过了几乎整整一年的努力，中间发布了 5  个 Alpha，1 个 Beta 和一个 RC 版本，今天我们非常高兴的正式宣布发布 Elastic Stack 的 GA 正式版本。
</p>
<p>并且，于此同时，在我们在 <a href="https://www.elastic.co/cloud/as-a-service/signup">Elastic Cloud</a> 上面也同步进行了更新。所以如果你需要托管的 Elasticsearch 和 Kibana ，那么没有其它地方比这里更及时了。我们致力于让 Elastic Cloud 成为一个托管 Elasticsearch 的最佳场所。而在正式版发布之前，我们已经提供了 RC 版本方便你用于测试。
</p>
<p>我们的团队今天正在庆祝这一时刻，我希望你能加入我们。
</p>
<p>GA 版本今天已经可以下载了，如果要加入 Elastic 团队 11 月 3 号的线上活动，了解更多有关于本次发布和向工程师提问，请点击这里 <a href="https://www.elastic.co/live/v5">注册</a>！
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/tVWVLqbvAweDiKrXJBVdDh.jpg" data-uuid="tVWVLqbvAweDiKrXJBVdDh" data-v="4" data-type="inline">
</div>
<p>在开始探索发布详情之前，我想借此机会来回顾一下有哪些背后的事情让我们走到今天。
</p>
<h2>我们的社区</h2>
<p>最近的 Elastic{ON} Tour，在每场活动的开场我都会讨论我们公司过去几年的简短历史，而最近活动的高潮是当我宣布我们的累计下载总数达到了七千五百万。当我第一次开始这个项目的时候，我希望她能够被能够被广泛使用，而我们的社区的热情和激情总是不断的给我快乐和惊喜。
</p>
<h2>先驱者计划</h2>
<p>考虑到这一点，我想分享一下 <a href="https://www.elastic.co/blog/elastic-pioneer-program">先驱者计划</a> 的一些结果。该计划开始于一个简单的前提，你如何使用 Elastic Stack 对我们来说非常重要。不管是产品研发还是确保发布高质量的可用版本。我非常高兴的告诉大家自四月份发布的第一个Alpha版本，我们的社区一共提交了146个 issue。
</p>
<p>我们的社区是 Elastic 其中一个最宝贵的财产，而在这次发布中讨论的最多的就是为什么命名为 “Elastic Stack”。
</p>
<h2>The Elastic Stack</h2>
<div class="row">
	<div class="col-lg-12 col-md-12 col-sm-12 col-xs-12 product-type-wrapper">
		<div class="row">
			<div class="col-lg-8 col-md-8 col-sm-8 col-xs-12">
				<p>过去一年，我们收购了 Packetbeat 团队，然后 Beats 就诞生了。这是一个用于构建轻量级数据收集的开源平台，可用于日志、基础设施监控指标、网络流量等数据的收集，并且用以前所未有的简单方式来将数据发送至 Logstash 或 Elasticsearch。同时我们热爱那些已经习惯于将 ELK 作为代表我们软件栈的你们，只不过加上 Beats 以后，我们不知道如何将 “B” 和 E-L-K 组合在一起。（NOTE：过去用过ELKB）
				</p>
			</div>
			<div class="col-lg-4 col-md-4 col-sm-4 col-xs-12"><img src="https://api.contentstack.io/v2/uploads/575e4d31d8edd48f769379b9/download?uid=blt08fb2e862c57956e" data-sys-asset-uid="blt08fb2e862c57956e" alt="ELK Bee" style="max-width: 100%; width: 153px; height: 100px; margin: 0px 0px 20px 20px;" height="88" width="153">
			</div>
		</div>
	</div>
</div>
<p>但 Elastic Stack 远不只是一个名字。当我们开始发布一个周期，我们所做的开发提交、构建、测试和发布的是一整个软件栈。这个很重要，因为是从内部来保证兼容性。并且，对你来说，它可以帮助你提升部署速度，减少版本冲突，让开发者轻松的处理整个 Elastic Stack 兼容性的问题。
</p>
<h2>一场特性之旅</h2>
<p>在我开始这篇博客之前，我打算列举每个产品的一些主要特性。但是发现好像很难确定从哪里开始和结束。因为我们每个产品和技术领导已经创建了单独的博客来讨论各自产品的特性，没人比他们更适合介绍其中的故事。 我个人，更是对其中的一些特性感到非常兴奋，相较于简单的罗列，我会提供一些简短概要并且鼓励你去阅读每个产品详细的博客。
</p>
<div class="video embed-container" style="height: 319.725px;">
	<img style="width: 100%; margin: auto; display: block;" class="vidyard-player-embed" src="https://play.vidyard.com/NqTNwGZSqRbAmPTCVQisef.jpg" data-uuid="NqTNwGZSqRbAmPTCVQisef" data-v="4" data-type="inline">
</div>
<ul>
	<li><strong>Ingest Node</strong> - Ingest Node 是 Elasticsearch 的一个节点类型，允许你对数据做一些加工。比如：grok、geoip、date 和其它索引（或重建）过程中的基本数据操作，通过访问 REST API 的时候指定一个参数 <code>“?pipeline=x”</code> 来使用由一系列处理器（processors）构造的管道。它可用帮你对文档进行预处理，原生在 Elasticsearch 内部，在索引之前做灵活的 Ingest 部署。这不代表要替换掉 Logstash，也不会移除对 Beats 的需要，只为你设计数据采集架构时提供一种更加灵活的可能性。</li>
	<li><strong>Elasticsearch 性能</strong> - 性能报告倾向于提供一个大纲，尤其是比较性的性能测试报告。基于此，我们花了很大力气来比较 5.0.0 与之前发布的版本。数据现在已经可用了，这个数据也是我们用来检查和确保我们正在做正确的事情来保证性能，我们如此的公开是来避免由性能测试数字引起的所谓秘密和怀疑。事实上，不止测试结果，我们还公布了我们的硬件和配置，我们开源了我们的工具链(叫做 <a href="https://github.com/elastic/rally">Rally</a>) 和测试记录本身(<a href="https://github.com/elastic/rally-tracks">Rally-Tracks</a>)。</li>
	<li><strong>Metricbeat</strong> - Metricbeat 替换 Topbeat 成为 Elastic Stack 里主要的收集度量指标的工具。和 Topbeat 一样，Metricbeat 收集和 “top” 类似的诸如机器及进程的资源（CPU、 memory、disk、network）统计信息。和 Topbeat 不同的是，Metricbeat 同时也收集其它系统的指标信息，如：Apache、HAProxy、MongoDB、MySQL、Nginx、PostgreSQL、 Redis和 Zookeeper，并且在不久的将来还会支持更多应用和系统。</li>
	<li><strong>Logstash 监控 API</strong> - 这是一个新的监控特性提供 Logstash 管道及其插件在运行时的可视状态。这个组件收集 Logstash 处理你数据的各种操作性统计指标信息，所有的这些信息都可通过简单的 API 来进行查询。</li>
	<li><strong>Timelion</strong> -  以前以 re{Search} 项目介绍过，现在 Timelion 作为 Kibana 原生的核心组件可直接可用。Timelion 提供一个查询表达式和可视化类型让你探索基于时间的数据。</li>
</ul>
<p>再列举几个，诸如 BKD树、<code>scaled_float</code> 和 <code>half_float</code> ，我们投入了大量的精力到 <a href="https://www.elastic.co/guide/en/elasticsearch/resiliency/current/index.html">Elasticsearch 可靠性</a> 中，另外 Kibana 惊艳的重新设计（我从来不知道我们以前有这么讨厌这些边框直到移除）， Beats 支持的 Kafaka 输出等等。
</p>
<p>这是一个非常大的版本发布，务必要阅读相关独立的博客来了解更多范围内的改进。
</p>
<ul>
	<li><a href="https://www.elastic.co/blog/elasticsearch-5-0-0-released">Elasticsearch</a></li>
	<li><a href="https://www.elastic.co/blog/kibana-5-0-0">Kibana</a></li>
	<li><a href="https://www.elastic.co/blog/logstash-5-0-0-released">Logstash</a></li>
	<li><a href="https://www.elastic.co/blog/beats-5-0-0-released">Beats</a></li>
	<li><a href="https://www.elastic.co/blog/x-pack-5-0-0-released">X-Pack</a></li>
</ul>
<h2>X-Pack</h2>
<p>在 Elastic 我们热爱扩展。太多我们构建的东西我们给他们起了非常有趣的名字，如：Shield、Marvel 和 Watcher。作为提供给我们客户的额外的插件，独立闭源但没限制开源部分的能力的特性，随着后面又增加了Graph 和 Reporting，安装流程也变得困难和困惑。
</p>
<p>来和X-Pack 打个招呼吧!
</p>
<p>一个包含了 security、alerting、monitoring & management、reporting 和 graph 能力的 Elastic Stack 的插件。我们对 5.0 的工程不仅限于 Elastic Stack，同时也包括给X-Pack 添加如下：
</p>
<ul>
	<li>Kibana 里的管理和监控的UI界面</li>
	<li>Kibana 里创建用户和角色的UI界面</li>
	<li>非常简化的安装流程</li>
</ul>
<p>X-Pack 有试用版本，同时提供商业和免费（基本）授权证书选项。我们尤其兴奋的将 X-Pack 的某些特性开放出来免费使用，详细请见 <a href="https://www.elastic.co/subscriptions">Subscriptions</a> 页。
</p>
<h2>放在最后</h2>
<p>我敬畏发布此次版本所做的所有努力，来自我们社区和客户的共同参与，以及为了将来发布所做的一系列背地里的工作。一如既往，理解一个版本的最好方式就是去体验它。
</p>
<ul>
	<li><a href="https://www.elastic.co/downloads/elasticsearch">Elasticsearch 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/kibana">Kibana 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/x-pack">X-Pack 5.0.0 安装指南</a></li>
	<li><a href="https://www.elastic.co/downloads/logstash">Logstash 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/beats">Beats 5.0.0 下载</a></li>
	<li><a href="https://www.elastic.co/downloads/hadoop">ES-Hadoop 5.0.0 下载</a></li>
</ul>

blog-es-banner.jpg

blog-es-thumb.jpg

Elastic Stack 5.0.0 Released

Elastic Stack 5.0 正式发布

Packetbeat是一个Go语言的程序，所以支持跨平台，因此使用Packetbeat来监控Cassandra有一个好处就是不要对应用做任何修改。

<p>Cassandra&nbsp;是一个优秀的&nbsp;NOSQL&nbsp;数据库，支持 kv 和列式存储，并且提供了&nbsp;CQL&nbsp;的类似&nbsp;SQL&nbsp;的查询语法。此博客主要介绍如何使用 Packetbeat 对Cassandra进行监控，&nbsp;Packetbeat 是&nbsp;Elastic&nbsp;开源的网络流量实时监控工具，目前支持了一些流行的应用软件，如 MongoDB、Redis、MySQL&nbsp;等。扩展起来也是非常方便的，而 Cassandra&nbsp;协议是最近刚加上去的。</p><p>Packetbeat 是一个&nbsp;Golang&nbsp;的程序，所以支持跨平台，没有环境依赖的问题。<br>
使用&nbsp;Packetbeat 来监控应用服务的好处就是不用对应用做任何修改。如果大家了解&nbsp;APM，常见的&nbsp;APM&nbsp;监控探测方式一般是以应用启动的时候加载一个探针让探针来动态获取运行时信息。而走网络请求抓包的方式连服务都不用重启，更不需要修改程序一行代码。</p><p>下载地址：<br>
<a href="/cn/downloads/beats/packetbeat">https://www.elastic.co/downloads/beats/packetbeat</a></p><p>这里以&nbsp;Mac&nbsp;环境为例，下载 beat1 版本的 Mac 发行版，然后解压。</p><p>解压之后，打开配置文件：packetbeat.yml，可以看到 Cassandra&nbsp;相关的配置节点。</p><pre class="prettyprint">  packetbeat.protocols.cassandra:
  #Cassandra port for traffic monitoring.
  ports: [9042]
 
  # If this option is enabled, the raw message of the request (`cassandra_request` field)
  # is included in published events. The default is true.
  #send_request: true
 
  # If this option is enabled, the raw message of the response (`cassandra_request.request_headers` field)
  # is included in published events. The default is true. enable `send_request` first before enable this option.
  #send_request_header: true
 
  # If this option is enabled, the raw message of the response (`cassandra_response` field)
  # is included in published events. The default is true.
  #send_response: true
 
  # If this option is enabled, the raw message of the response (`cassandra_response.response_headers` field)
  # is included in published events. The default is true. enable `send_response` first before enable this option.
  #send_response_header: true
 
  # Configures the default compression algorithm being used to uncompress compressed frames by name. Currently only `snappy` is can be configured.
  # By default no compressor is configured.
  #compressor: "snappy"
 
  # This option indicates which Operator/Operators will be ignored.
  #ignored_ops: ["SUPPORTED","OPTIONS"]
</pre><p>如果没有特殊设置，保持默认即可。如果你的程序在传输层使用了压缩，可以配置参数&nbsp;compressor（目前仅支持snappy）。另外默认会使所有的请求被捕捉，并会产生大量的日志，如果有你不需要的请求类型，可以设置&nbsp;ignored_ops&nbsp;来添加需要过滤的操作类型。</p><p>执行命令启动 Packetbeat，注意：需要使用&nbsp;sudo 来获取&nbsp;root 权限进行网络抓包。</p><pre class="prettyprint">     
sudo ./packetbeat -e -v
</pre><p>如果一切正常，应该就可以看到输出了&nbsp;Cassandra&nbsp;模块加载的信息，如下：</p><pre class="prettyprint">packetbeat git:(master) ✗ sudo ./packetbeat -e -v
2016/09/09 06:17:16.186525 logp.go:210: INFO Metrics logging every 30s
2016/09/09 06:17:16.186129 beat.go:264: INFO Home path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat] Config path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat] Data path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat/data] Logs path: [/Users/medcl/go/src/github.com/elastic/beats/packetbeat/logs]
2016/09/09 06:17:16.186832 beat.go:174: INFO Setup Beat: packetbeat; Version: 5.0.0-alpha6
2016/09/09 06:17:16.187793 output.go:167: INFO Loading template enabled. Reading template file: /Users/medcl/go/src/github.com/elastic/beats/packetbeat/packetbeat.template.json
2016/09/09 06:17:16.192045 output.go:178: INFO Loading template enabled for Elasticsearch 2.x. Reading template file: /Users/medcl/go/src/github.com/elastic/beats/packetbeat/packetbeat.template-es2x.json
2016/09/09 06:17:16.212983 client.go:106: INFO Elasticsearch url: http://localhost:9200
2016/09/09 06:17:16.213350 outputs.go:106: INFO Activated elasticsearch as output plugin.
2016/09/09 06:17:16.213536 publish.go:301: INFO Publisher name: Medcl.local
2016/09/09 06:17:16.214095 async.go:63: INFO Flush Interval set to: 1s
2016/09/09 06:17:16.214115 async.go:64: INFO Max Bulk Size set to: 50
2016/09/09 06:17:16.214742 procs.go:91: INFO Process matching disabled
2016/09/09 06:17:16.214923 protos.go:89: INFO registered protocol plugin: http
2016/09/09 06:17:16.214940 protos.go:89: INFO registered protocol plugin: memcache
2016/09/09 06:17:16.214950 protos.go:89: INFO registered protocol plugin: mysql
2016/09/09 06:17:16.214959 protos.go:89: INFO registered protocol plugin: redis
2016/09/09 06:17:16.214969 protos.go:89: INFO registered protocol plugin: amqp
2016/09/09 06:17:16.214979 protos.go:89: INFO registered protocol plugin: cassandra
2016/09/09 06:17:16.214988 protos.go:89: INFO registered protocol plugin: nfs
2016/09/09 06:17:16.214998 protos.go:89: INFO registered protocol plugin: pgsql
2016/09/09 06:17:16.215008 protos.go:89: INFO registered protocol plugin: thrift
2016/09/09 06:17:16.215017 protos.go:89: INFO registered protocol plugin: dns
2016/09/09 06:17:16.215036 protos.go:89: INFO registered protocol plugin: mongodb
2016/09/09 06:17:16.223996 beat.go:204: INFO packetbeat start running.
</pre><p>Packetbeat&nbsp;启动之后，我们就可以对 Cassandra&nbsp;服务端发送一些测试命令来测试是否能够截获。今天演示的所有的程序都运行在&nbsp;Mac&nbsp;本机，所以我们这里再启动一个&nbsp;Cassandra&nbsp;服务端，Cassandra&nbsp;解压运行就可以了。</p><p>我们使用&nbsp;Cassandra&nbsp;自带的命令行工具来支持 CQL&nbsp;请求。</p><pre class="prettyprint">➜  cassandra-3.7 ./bin/cqlsh    
Connected to Test Cluster at 127.0.0.1:9042.
[cqlsh 5.0.1 | Cassandra 3.7 | CQL spec 3.4.2 | Native protocol v4]
Use HELP for help.
cqlsh&gt; 
</pre><p>这里准备了几个测试命令，可以参考拷贝进去直接执行。</p><pre class="prettyprint">DROP KEYSPACE mykeyspace;

CREATE KEYSPACE mykeyspace
WITH REPLICATION = { 'class' : 'SimpleStrategy', 'replication_factor' : 1 };

USE mykeyspace;


CREATE TABLE users (
  userid int PRIMARY KEY,
    password text,
    name text,
    fname text,
    lname text,
    blog_title text,
    posted_at timestamp,
    entry_title text,
    content text,
    category int
);

INSERT INTO users (userid,  fname, lname)
  VALUES (1745, 'john', 'smith');
INSERT INTO users (userid,  fname, lname)
  VALUES (1744, 'john', 'doe');
INSERT INTO users (userid,  fname, lname)
  VALUES (1746, 'john', 'smith');

SELECT * FROM users;

CREATE INDEX ON users (lname);

SELECT * FROM users WHERE lname = 'smith';



BEGIN BATCH
  INSERT INTO users (userid, password, name) VALUES (1, 'ch@ngem3b', 'second user');
  UPDATE users SET password = 'ps22dhds' WHERE userid = 1;
  INSERT INTO users (userid, password) VALUES (2, 'ch@ngem3c');
  DELETE name FROM users WHERE userid = 2;
APPLY BATCH;


ALTER TABLE users WITH compression =
  { 'sstable_compression' : 'DeflateCompressor', 'chunk_length_kb' : 64 };


#error
CREATE INDEX ON users (lname);
USE mykeyspace_not_exists;
SELECTNOTCMD * FROM users;    
</pre><p>最末尾还有3个错误的命令，按道理应该也是可以正确捕捉到才对。</p><p>理论上，&nbsp;Packetbeat&nbsp;已经帮你把数据发送到&nbsp;Elasticsearch&nbsp;里面了，这里我们执行查询看一下。</p><pre class="prettyprint">GET packetbeat*/_search
{
  "took": 7,
  "timed_out": false,
  "_shards": {
    "total": 25,
    "successful": 25,
    "failed": 0
  },
  "hits": {
    "total": 1689677,
    "max_score": 1,
    "hits": [
      {
        "_index": "packetbeat-2016.08.25",
        "_type": "cassandra",
        "_id": "AVbCRg7vVdYPmFO6Js_q",
        "_score": 1,
        "_source": {
          "@timestamp": "2016-08-25T15:16:25.643Z",
          "beat": {
            "hostname": "Medcl.local",
            "name": "Medcl.local"
          },
          "bytes_in": 58,
          "bytes_out": 215,
          "cassandra": {
            "request": {
              "headers": {
                "flags": "Default",
                "length": 49,
                "op": "EXECUTE",
                "stream": 26752,
                "version": "4"
              }
            },
            "response": {
              "headers": {
                "flags": "Default",
                "length": 206,
                "op": "RESULT",
                "stream": 26752,
                "version": "4"
              },
              "result": {
                "rows": {
                  "meta": {
                    "col_count": 5,
                    "flags": "FLAG_5"
                  },
                  "num_rows": 1
                },
                "type": "rows"
              }
            }
          },
          "client_ip": "127.0.0.1",
          "client_port": 51295,
          "client_proc": "",
          "client_server": "Medcl.local",
          "ip": "127.0.0.1",
          "port": 9042,
          "proc": "",
          "responsetime": 0,
          "server": "Medcl.local",
          "status": "OK",
          "type": "cassandra"
        }
      }
    ]
  }
}    </pre><p>Packetbeat&nbsp;为常见协议准备了一些&nbsp;Dashboard，可以直接导入到&nbsp;Kibana&nbsp;里面使用。以下是 Kibana 里的&nbsp;Dashboard。</p><p><img src="https://api.contentstack.io/v2/uploads/58d484cb2e8e00790756cab7/download?uid=bltf12ea77895d8e0c2" data-sys-asset-uid="bltf12ea77895d8e0c2" alt="FireShot Capture 18 Packetbeat Cassandra"></p><p>可以很方便的看到当前请求的执行情况，每秒请求数，请求类型，返回类型，keyspace&nbsp;使用情况等。包括详细的错误日志和事件日志，对于分析&nbsp;Cassandra&nbsp;的使用情况进行性能诊断和故障分析都非常有用。</p>

Elasticsearch Platform

ELK Stack

Elastic Cloud

可观测性

安全性

搜索

按行业

按解决方案

客户聚焦

开发人员

保持联系

学习

帮助

了解 Elastic 的最新动态

<

2016

july

>

创建一个你自己的 Beat

关注我们

关于我们

加入我们

新闻稿

合作伙伴

信任和安全性

投资者关系

卓越奖

关于我们

加入我们

新闻稿

合作伙伴

信任和安全性

投资者关系

卓越奖