此博客将会通过六个不同的步骤，让您看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。

Beats 是一个用来构建轻量级数据汇集的开源平台，可用于将各种类型的数据发送至Elasticsearch 与 Logstash。其中，Packetbeat 用于监控局域网内服务器之间的网络流量信息，Filebeat 收集服务器上的日志信息，还有新推出的 Metricbeat 可以定期获取外部系统的监控指标信息。除此以外，你还可以非常方便的基于 libbeat 框架来构建你属于自己的专属 Beat，目前 Beats&nbsp;社区已经有超过25个 <a href="https://www.elastic.co/guide/en/beats/libbeat/current/community-beats.html">Community Beats</a> 了。
我们还提供一个 Beat generator（Beat 生成器）来帮你快速构建属于你自己的 Beat。通过这篇博客你将会看到如何通过 Beat 生成器来快速创建一个你自己的 Beat。今天我们创建的是一个叫做 <a href="https://github.com/kimjmin/lsbeat">lsbeat</a> 的 Beat，lsbeat 非常类似 Unix 系统下的命令行 <code>ls</code>，我们用 lsbeat 来索引目录和文件信息。本篇文章环境基于 Unix 系统，如果你是 Windows 或是其它系统，相关操作可能需要根据实际情况进行调整。
<h2>第一步 - 配置 Golang 环境</h2>Beats 是用 Golang写的，显然，要创建和开发一个 beat，Golang 环境必不可少。关于这方面的文章很多，建议查看这篇 Golang 的安装向导：<a href="https://golang.org/doc/install">install Golang</a>。当前 Beats 需要的最低版本是 Golang 1.6。另外请确保正确设置了你的 <code>$GOPATH</code> 环境变量。
还有 Golang Glide 会被进行包用来依赖管理，所以也需要确保正确安装，最低版本是 Glide 0.10.0，安装说明点<a href="https://github.com/Masterminds/glide">这里</a>。
让我们先来看看 lsbeat 将会用到的一段代码吧.这是一个简单的 golang 程序，通过命令行接收一个目录参数，然后列出该目录下的文件和子目录信息。
<pre class="prettyprint">package main
import (
 "fmt"
 "io/ioutil"
 "os"
)
func main() {
 //apply run path "." without argument.
 if len(os.Args) == 1 {
 listDir(".")
 } else {
 listDir(os.Args[1])
 }
}
func listDir(dirFile string) {
 files, _ := ioutil.ReadDir(dirFile)
 for _, f := range files {
 t := f.ModTime()
 fmt.Println(f.Name(), dirFile+"/"+f.Name(), f.IsDir(), t, f.Size())
 if f.IsDir() {
 listDir(dirFile + "/" + f.Name())
 }
 }
}
</pre>后面我们将使用到这段代码和 <code>listDir</code> 函数。
<h2>第二步 - 生成项目</h2>要生成一个你自己的 Beat，就要用到 <a href="https://github.com/elastic/beats/tree/master/generator/beat">beat-generator</a> 了，首先你必须安装 <a href="https://github.com/audreyr/cookiecutter">cookiecutter</a>。安装的详细说明看 <a href="http://cookiecutter.readthedocs.org/en/latest/installation.html">这里</a>。安装好 cookiecutter 之后，我们要给自己的 Beat 起一个好听的名字，最好是小写的英文字母，我们今天这个例子就叫 <code>lsbeat</code> 吧。
生成项目模板之前，我们需要下载 Beats generator 包文件，就在 <a href="https://github.com/elastic/beats">beats</a> 仓库。安装好 <a href="https://golang.org/dl/">Golang</a>之后，你就可以很方便的使用 <code>go get</code> 命令来下载 Beats generator 包文件了。 当你执行下面的这个命令后，所有的源码文件都会下载到 <code>$GOPATH/src</code> 目录。
<pre class="prettyprint">$ go get github.com/elastic/beats
</pre>在 GOPATH 下创建一个以你自己github账号名称命名的目录，并切换过去，然后执行 cookiecutter 命令并指向 Beat Generator 源码路径。
<pre class="prettyprint">$ cd $GOPATH/src/github.com/{user}
$ cookiecutter $GOPATH/src/github.com/elastic/beats/generate/beat
</pre>Cookiecutter 接下来会问你几个问题，比如项目名称，我们输入：lsbeat；你的 github 用户名，输入你自己的 github 账户；还有两个关于beat和beat_path应该会自动识别，默认回车就好；最后的问题，你可以输入你的姓和名。
<pre class="prettyprint">project_name [Examplebeat]: lsbeat
github_name [your-github-name]: {username}
beat [lsbeat]:
beat_path [github.com/{github id}]:
full_name [Firstname Lastname]: {Full Name}
</pre>现在应该已经创建好了一个名为 lsbeat 的目录，并且里面应该会生成一些文件，让我们一起来看一下吧，结构如下：
<pre class="prettyprint">$ cd lsbeat
$ tree
.
├── CONTRIBUTING.md
├── LICENSE
├── Makefile
├── README.md
├── beater
│ └── lsbeat.go
├── config
│ ├── config.go
│ └── config_test.go
├── dev-tools
│ └── packer
│ ├── Makefile
│ ├── beats
│ │ └── lsbeat.yml
│ └── version.yml
├── docs
│ └── index.asciidoc
├── etc
│ ├── beat.yml
│ └── fields.yml
├── glide.yaml
├── lsbeat.template.json
├── main.go
├── main_test.go
└── tests
 └── system
 ├── config
 │ └── lsbeat.yml.j2
 ├── lsbeat.py
 ├── requirements.txt
 └── test_base.py
</pre>我们刚刚已经生成好了一个原始的 Beat 模板了，但是你还需要获取相关的依赖和设置好 git 仓库。
首先，你需要拉取依赖的相关包信息。我们的这个例子是 lsbeat，我们先做一些基本的配置，回头再看看详细看看其它的模板和配置文件，只需要执行 make setup 就可以自动获取依赖。
<pre class="prettyprint">$ make setup
</pre>当你创建好了自己的 Beat 之后，记得上传到 github 仓库，并和社区进行分享哦，如下：
<img src="https://api.contentstack.io/v2/assets/5787f6d6c0bc38f452f8188d/download?uid=bltc6313851494a95b5" data-sys-asset-uid="bltc6313851494a95b5" alt="Screenshot">
要 push lsbeat 到你的 git 仓库，只需要执行如下命令：<pre class="prettyprint">$ git remote add origin git@github.com:{username}/lsbeat.git
$ git push -u origin master
</pre>恭喜你，现在你已经完成了一个 Beat ，并且发布了第一个版本到了 Github，不过里面还没有什么具体内容，现在让我们进一步看看里面的代码吧。
<h2>第四步 - 配置</h2>执行过上面一系列命令之后，项目里将会自动创建名为 <code>lsbeat.yml</code> 和 <code>lsbeat.template.json</code> 的配置文件。所有的基本配置项都已经生成在了里面。
lsbeat.yml：<pre class="prettyprint">lsbeat:
 # Defines how often an event is sent to the output
 period: 1s
</pre>Period 参数包含在每一个生成的 Beats 里面，它表示 lsbeat 将会每隔 1 秒钟轮询一次。这里我们修改 period 时间间隔为 10 秒，还可以在修改 etc/ 目录下面的 beat.yml 文件。所以这里新增一个 path 参数表示我们具体要监听哪个目录。
<pre class="prettyprint">lsbeat:
 # Defines how often an event is sent to the output
 period: 10s
 path: "."
</pre>参数添加好了之后，我们只需要运行 make update 命令就能让这些修改应用到配置文件&nbsp;lsbeat.yml。
<pre class="prettyprint">$ make update
$ cat lsbeat.yml
</pre><pre class="prettyprint">################### Lsbeat Configuration Example #########################
############################# Lsbeat ######################################
lsbeat:
 # Defines how often an event is sent to the output
 period: 10s
 path: "."
###############################################################################
</pre>修改完 yml 文件，记得修改 config/config.go 文件，添加一个&nbsp;path 参数。
<pre class="prettyprint">package config
import "time"
type Config struct {
 Period time.Duration `config:"period"`
 Path string `config:"path"`
}
var DefaultConfig = Config{
 Period: 10 * time.Second,
 Path: ".",
}
</pre>同时我们修改 period 默认时间间隔为 10 秒，默认监听的是当前目录 (.) 。
<h2>第五步 - 添加代码</h2>每一个 Beat 都需要实现<a href="https://www.elastic.co/guide/en/beats/libbeat/master/beater-interface.html" target="_blank">Beater 接口</a>，里面定义了 Run() 和 Stop() 函数。我们可以定义一个名为 Lsbeat 的结构体，然后用这个对象实现 Beater 接口，再添加字段 lastIndexTime 来保存最后运行的时间戳信息。
<pre class="prettyprint">type Lsbeat struct {
 done chan struct{}
 config config.Config
 client publisher.Client
 lastIndexTime time.Time
}
</pre>另外，每个 Beat 还需要实现 New() 方法来接收 Beat 配置信息和返回 Lsbeat 的具体实例。
<pre class="prettyprint">func New(b *beat.Beat, cfg *common.Config) (beat.Beater, error) {
 config := config.DefaultConfig
 if err := cfg.Unpack(&config); err != nil {
 return nil, fmt.Errorf("Error reading config file: %v", err)
 }
 ls := &Lsbeat{
 done: make(chan struct{}),
 config: config,
 }
 return ls, nil
}
</pre>在我们的 lsbeat 例子中，我们要做的就是扩展默认的 Run() 函数来导出指定目录的文件和子目录信息。
在修改 Run() 函数之前，我们先在 lsbeat.go 增加 listDir() 函数。这就是我们前面最开始测试的那段代码，把收集目录和文件信息的简单例子稍微修改一下。另外我们还要生成以下字段信息：
<ul>
	<li><code>"@timestamp": common.Time(time.Now())</code></li>
	<li><code>"type": beatname</code></li>
	<li><code>"modtime": common.Time(t)</code></li>
	<li><code>"filename": f.Name()</code></li>
	<li><code>"path": dirFile + "/" + f.Name()</code></li>
	<li><code>"directory": f.IsDir()</code></li>
	<li><code>"filesize": f.Size()</code></li>
</ul>第一次运行的时候，我们将索引所有的文件和目录信息，然后我们定期检查是否有新文件被创建或者修改，再索引这些新创建的文件和目录。每次定期检查的时间戳都会保存在 lasIndexTime 变量，完整代码如下：
<pre class="prettyprint">func (bt *Lsbeat) listDir(dirFile string, beatname string) {
 files, _ := ioutil.ReadDir(dirFile)
 for _, f := range files {
 t := f.ModTime()
 path := filepath.Join(dirFile, f.Name())
 if t.After(bt.lastIndexTime) {
 event := common.MapStr{
 "@timestamp": common.Time(time.Now()),
 "type": beatname,
 "modtime": common.Time(t),
 "filename": f.Name(),
 "path": path,
 "directory": f.IsDir(),
 "filesize": f.Size(),
 }
 bt.client.PublishEvent(event)
 }
 if f.IsDir() {
 bt.listDir(path, beatname)
 }
 }
}
</pre>记住在最开始需要导入 "io/ioutil" 包。
<pre class="prettyprint">import (
 "fmt"
 "io/ioutil"
 "time"
)
</pre>现在，让我们看看如何在 Run() 函数里面调用 listDir() 函数，并且保存时间戳到 lasIndexTime 变量。
<pre class="prettyprint">func (bt *Lsbeat) Run(b *beat.Beat) error {
 logp.Info("lsbeat is running! Hit CTRL-C to stop it.")
 bt.client = b.Publisher.Connect()
 ticker := time.NewTicker(bt.config.Period)
 for {
 now := time.Now()
 bt.listDir(bt.config.Path, b.Name) // call listDir
 bt.lastIndexTime = now // mark Timestamp
 logp.Info("Event sent")
 select {
 case &lt;-bt.done:
 return nil
 case &lt;-ticker.C:
 }
 }
}
</pre>函数 Stop() 用来中断 run 的循环执行，保持默认生成的就行。
<pre class="prettyprint">func (bt *Lsbeat) Stop() {
 bt.client.Close()
 close(bt.done)
}
</pre>到这里，编码部分基本就完成了。我们接下来添加新字段到 mapping 中，修改文件 etc/fields.yml。
<pre class="prettyprint">- key: lsbeat
 title: LS Beat
 description: 
 fields:
 - name: counter
 type: integer
 required: true
 description: &gt;
 PLEASE UPDATE DOCUMENTATION
 #new fiels added lsbeat
 - name: modtime
 type: date
 - name: filename
 type: text
 - name: path
 - name: directory
 type: boolean
 - name: filesize
 type: long
</pre>重新应用新的配置。
<pre class="prettyprint">$ make update
</pre>字段 file_name 将使用 nGram 分词，我们还需要在文件 lsbeat.template.json 的 "settings" 节点添加一个自定义的 analyzer。
<pre class="prettyprint">{
 "mappings": {
 ...
 },
 "order": 0,
 "settings": {
 "index.refresh_interval": "5s",
 "analysis": {
 "analyzer": {
 "ls_ngram_analyzer": {
 "tokenizer": "ls_ngram_tokenizer"
 }
 },
 "tokenizer": {
 "ls_ngram_tokenizer": {
 "type": "ngram",
 "min_gram": "2",
 "token_chars": [
 "letter",
 "digit"
 ]
 }
 }
 }
 },
 "template": "lsbeat-*"
}
</pre><h2>第六步 - 编译和运行</h2>现在我们可以进行编译和运行，只需要执行 make 命令就可以编译出可执行文件 lsbeat (lsbeat.exe on windows) 。
<pre class="prettyprint">$ make
</pre>修改 lsbeat.yml 文件，设置需要监听的目录，如："/Users/ec2-user/go"，记住是全路径。
<pre class="prettyprint">lsbeat:
 # Defines how often an event is sent to the output
 period: 10s
 path: "/Users/ec2-user/go"
</pre>同时确保&nbsp;Elasticsearch 和 Kibana 正常运行。现在就运行一下&nbsp;lsbeat 命令：<pre class="prettyprint">$ ./lsbeat
</pre>打开Kibana，通过调用 _cat 接口检视索引是不是创建了。<img src="https://api.contentstack.io/v2/assets/5787f7b662ff8c94777fc33e/download?uid=blt47d7e8421c87b1b7" data-sys-asset-uid="blt47d7e8421c87b1b7" alt="cat api">
可以看到创建了一个名为 lsbeat-2016.06.03 的索引，并且已经包含了一些文档。现在对 filename 字段查询一下，由于使用的是 nGram 分词，使支持模糊匹配，因此需要使用 lsbeat&nbsp;关键字搜索。
<img src="https://api.contentstack.io/v2/assets/5787f7cdc0bc38f452f81a2e/download?uid=blte53a76e132c239b6" data-sys-asset-uid="blte53a76e132c239b6" alt="query.png">
大功告成! 恭喜你，你已经完成了第一个属于你自己的 beat。

beats_full_width.png

beats_blog.png

Build your own Beat

创建一个你自己的 Beat

Start free trial

Blog Footer CTA

Sign up for Elastic Cloud free trial

Community Advocate

Jongmin Kim

By submitting you acknowledge that you've read and agree to our <a href="/legal/elastic-cloud-account-terms" target="_self">Terms of Service</a>, and you agree to receive the <a href="/legal/privacy-statement#how-we-use-the-information" target="_self">selected communications</a> at the contact details you provided above. See <a href="/legal/privacy-statement/" target="_self">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Communication Preferences - ONLY for /communication-preferences

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/elastic-cloud-account-terms" target="_self">服务条款</a>，并且您同意通过您提供的上述联系方式接收<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">所选的通信</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you acknowledge that you've read and agree to our <a href="/legal/serverless-preview-terms" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Serverless GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/serverless-preview-terms" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

By submitting you agree to <a href="/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud Terms of Service</a>. Your personal data will be processed in accordance with <a href="/legal/privacy-statement">Elastic's Privacy Statement</a>.

Cloud Trial GDPR Text

提交即表示您同意 <a href="/cn/agreements/global/cloud-services-monthly" rel="nofollow">Elastic Cloud 服务条款</a>。我们将会按照 <a href="/cn/legal/privacy-statement">Elastic 的隐私声明</a>处理您的个人数据。

By submitting you acknowledge that you've read and agree to our <a href="/legal/terms-of-use" target="_blank">Terms of Service</a>, and that Elastic may <a href="/legal/privacy-statement#how-we-use-the-information" target="_blank">contact you</a> about our related products and services, using the details you provide above. See <a href="/legal/privacy-statement/" target="_blank">Elastic’s Privacy Statement</a> for more details or to opt-out at any time.

Newsletter GDPR Text

提交即表示您确认您已阅读并同意我们的<a href="/cn/legal/terms-of-use" target="_self">服务条款</a>，并且 Elastic 可以使用您提供的上述详细信息与您联系，以向您介绍我们相关的<a href="/cn/legal/privacy-statement#how-we-use-the-information" target="_self">产品和服务</a>。如需了解更多信息，或想随时取消订阅，请参阅 <a href="/cn/legal/privacy-statement/" target="_self">Elastic 的隐私声明</a>。

Explore similar demos

Overview

Speakers

Close

See more insights

The content on this page is not available in the selected language. As Elastic grows globally, we continue to support content in multiple languages.

The content on this page is not available in the selected language.

本页内容尚不支持所选语言。Elastic 正在不断努力，以实现对多种语言内容的支持。感谢您在此期间给予的耐心与陪伴！

Author

Articles by

Learn more

Watch now (no PT)

Watch now

See all top stories

All (no PT translation)

Contact information

Press Release

Share on Reddit

Share this story

Share by Email

Thank you for your interest!

Contact Info

Follow us on Youtube

Load More

Share on LinkedIn

Follow us on LinkedIn

Search Integrations

All Solutions

Video for

Follow us on Twitter

See when this webinar starts in my time zone

查看本次网络研讨会在我的时区的开始时间

Register to Watch

Register now

See All Posts

Can't make it? Register and we'll send you the recording. You'll also receive an email with related content

无法实时参加？注册后我们会给您发送录像。您还将收到相关内容的电子邮件。

Author

Articles by Jongmin Kim

Community Advocate, Elastic

创建一个你自己的 Beat