工程

如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 1 部分： 分析工具

作者
Kiju Kim

共有 92 个国家和地区的代表队参加了去年的平昌冬奥会。 共有 49 个国家和地区的代表队参加了去年的平昌冬季残奥会。 Elastic 的员工遍布全球 34 个国家/地区。 在很多国家/地区内，很多人都会使用自己的母语撰写邮件。 现在，您希望通过韩语关键字“올림픽대회”来搜索一封邮件。

https://www.elastic.co/guide/en/elasticsearch/guide/current/language-intro.html 对处理以多种语言编写的文档时会遇到的问题进行了说明，但其中所使用的示例大部分均为欧洲语言，也无需任何任何自定义插件。 本文介绍了适用于韩文、日文和中文的自定义插件（语言分析工具），并且介绍了一种使用多字段来对多语言文本进行索引和查询的方法。

标准分析工具： 默认分析工具

需要使用语言分析工具方能进行全文本搜索。 默认情况下，均采用标准分析工具，然而其可能并非最佳选择，对中文、日文和韩文文本来说，尤为如此。 我们在下面分别针对韩文、日文和中文提供了标准分析工具的应用示例。这些文字是关于平昌奥运会的节选。

[韩文]

POST _analyze
{
  "analyzer": "standard",
  "text": "제23회 동계올림픽대회는 대한민국 강원도 평창에서 2018년 2월 9일부터 25일까지 17일간 개최됩니다. 대한민국 평창은 세 번의 도전 끝에 지난 2011년 7월 6일 열린 제123차 IOC 총회에서 과반 표를 획득하며 2018년 동계올림픽 개최지로 선정되었습니다. 이로써 대한민국에서는 1988년 서울 올림픽 이후 30년 만에, 평창에서 개∙폐회식과 대부분의 설상 경기가 개최되며, 강릉에서는 빙상 종목 전 경기가, 그리고 정선에서는 알파인 스키 활강 경기가 개최될 예정입니다."
}
=>
{
  "tokens": [
    {
      "token": "제23회",
      "start_offset": 0,
      "end_offset": 4,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "동계올림픽대회는",
      "start_offset": 5,
      "end_offset": 13,
      "type": "<HANGUL>",
      "position": 1
    },
…

韩语是一种黏着性语言，名词（例如“동계올림픽대회”）后面通常都跟有后置词（例如“는”）。 若要实现更佳的搜索效果，应当将后置词分隔开来或者将其删掉，但是标准分析工具却无法做到这一点，因为它会将名词与后置词作为一个整体来看待。

[日文]

POST _analyze
{
  "analyzer": "standard",
  "text": "第23回冬季オリンピック大会は大韓民国江原道平昌で2018年2月9日から25日までの17日間、開催されます。大韓民国・平昌は三度の挑戦の末、2011年7月7日に開かれた第123回IOC総会で過半数票を獲得し、2018年冬季オリンピック及びパラリンピックの開催地に選ばれました。これにより1988年ソウルオリンピック開催後30年の時を経てついに、大韓民国で最初の冬季パラリンピックの舞台が繰り広げられます。平昌で開・閉会式とほぼ全ての雪上競技が開催され、江陵では氷上種目全競技が、そして旌善ではアルペンスキー滑降競技が開催される予定です。"
}
=>
{
  "tokens": [
    {
      "token": "第",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "23",
      "start_offset": 1,
      "end_offset": 3,
      "type": "<NUM>",
      "position": 1
    },
    {
      "token": "回",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "冬",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "季",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "オリンピック",
      "start_offset": 6,
      "end_offset": 12,
      "type": "<KATAKANA>",
      "position": 5
    },
    {
      "token": "大",
      "start_offset": 12,
      "end_offset": 13,
      "type": "<IDEOGRAPHIC>",
      "position": 6
    },
    {
      "token": "会",
      "start_offset": 13,
      "end_offset": 14,
      "type": "<IDEOGRAPHIC>",
      "position": 7
    },
    {
      "token": "は",
      "start_offset": 14,
      "end_offset": 15,
      "type": "<HIRAGANA>",
      "position": 8
    },
…

日语也是一种黏着性语言，名词（例如“冬季オリンピック大会”）后面通常都跟有后置词（例如“は”）。 同理，若要实现更佳的搜索效果，应当将后置词分隔开来或者将其删掉，但是标准分析工具却无法做到这一点，因为它会将名词与后置词作为一个整体来看待。 更糟的是，日语名词形式不一，有的为日文汉字，有的为假名，但是标准分析工具却会将每个日文汉字字符作为一个单独的符号。

[中文]

POST _analyze
{
  "analyzer": "standard",
  "text": "第23届冬季奥运会将于2018年2月9日-25日在韩国江原道平昌展开。韩国平昌在第三次申奥之后，于2011年7月6日召开的第123届国际奥委会全会上被选定为2018年冬季奥运会的主办地。由此，韩国自1988年举办首尔夏季奥运会以后，时隔30年，将首次举办冬季奥运会。该届冬奥会的开·闭幕式以及大部分的雪上运动将在平昌进行，而所有冰上运动将在江陵、高山滑雪滑降比赛则将在旌善进行。"
}
=>
{
  "tokens": [
    {
      "token": "第",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "23",
      "start_offset": 1,
      "end_offset": 3,
      "type": "<NUM>",
      "position": 1
    },
    {
      "token": "届",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "冬",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "季",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "奥",
      "start_offset": 6,
      "end_offset": 7,
      "type": "<IDEOGRAPHIC>",
      "position": 5
    },
    {
      "token": "运",
      "start_offset": 7,
      "end_offset": 8,
      "type": "<IDEOGRAPHIC>",
      "position": 6
    },
    {
      "token": "会",
      "start_offset": 8,
      "end_offset": 9,
      "type": "<IDEOGRAPHIC>",
      "position": 7
    },
...

同理，标准分析工具并不知道“冬季奥运会”的具体含义，会将所有字符分割开来，而不会将其视为一个整体。

针对具体语言的分析工具： 自定义插件

借助适用于具体语言的分析工具，我们可以获得更佳的搜索体验。 日文、中文和韩文的热门分析工具分别是 kuromoji、smartcn 和 openkoreantext-analyzer。 您首先必须在每个节点上安装这些插件，然后才能运行下列示例。 请注意：由于 openkoreantext-analyzer 未在 Elastic 仓库中进行托管，所以您必须使用完整的 URL，或者首先将其下载下来并进行安装。

[韩文]

POST _analyze
{
  "analyzer": "openkoreantext-analyzer",
  "text": "제23회 동계올림픽대회는 대한민국 강원도 평창에서 2018년 2월 9일부터 25일까지 17일간 개최됩니다. 대한민국 평창은 세 번의 도전 끝에 지난 2011년 7월 6일 열린 제123차 IOC 총회에서 과반 표를 획득하며 2018년 동계올림픽 개최지로 선정되었습니다. 이로써 대한민국에서는 1988년 서울 올림픽 이후 30년 만에, 평창에서 개∙폐회식과 대부분의 설상 경기가 개최되며, 강릉에서는 빙상 종목 전 경기가, 그리고 정선에서는 알파인 스키 활강 경기가 개최될 예정입니다."
}
=>
{
  "tokens": [
    {
      "token": "제",
      "start_offset": 0,
      "end_offset": 1,
      "type": "Noun",
      "position": 0
    },
    {
      "token": "23회",
      "start_offset": 1,
      "end_offset": 4,
      "type": "Number",
      "position": 1
    },
    {
      "token": "동계올림픽",
      "start_offset": 5,
      "end_offset": 10,
      "type": "Noun",
      "position": 2
    },
    {
      "token": "대회",
      "start_offset": 10,
      "end_offset": 12,
      "type": "Noun",
      "position": 3
    },
...

现在，您可以看到所有后置词均已删除。

[日文]

POST _analyze
{
  "analyzer": "kuromoji",
  "text": "第23回冬季オリンピック大会は大韓民国江原道平昌で2018年2月9日から25日までの17日間、開催されます。大韓民国・平昌は三度の挑戦の末、2011年7月7日に開かれた第123回IOC総会で過半数票を獲得し、2018年冬季オリンピック及びパラリンピックの開催地に選ばれました。これにより1988年ソウルオリンピック開催後30年の時を経てついに、大韓民国で最初の冬季パラリンピックの舞台が繰り広げられます。平昌で開・閉会式とほぼ全ての雪上競技が開催され、江陵では氷上種目全競技が、そして旌善ではアルペンスキー滑降競技が開催される予定です。"
}
=>
{
  "tokens": [
    {
      "token": "第",
      "start_offset": 0,
      "end_offset": 1,
      "type": "word",
      "position": 0
    },
    {
      "token": "23",
      "start_offset": 1,
      "end_offset": 3,
      "type": "word",
      "position": 1
    },
    {
      "token": "回",
      "start_offset": 3,
      "end_offset": 4,
      "type": "word",
      "position": 2
    },
    {
      "token": "冬季",
      "start_offset": 4,
      "end_offset": 6,
      "type": "word",
      "position": 3
    },
    {
      "token": "オリンピック",
      "start_offset": 6,
      "end_offset": 12,
      "type": "word",
      "position": 4
    },
    {
      "token": "大会",
      "start_offset": 12,
      "end_offset": 14,
      "type": "word",
      "position": 5
    },
...

所有后置词均已删掉，并且日文汉字并未被分解得支离破碎。

[中文]

POST _analyze
{
  "analyzer": "smartcn",
  "text": "第23届冬季奥运会将于2018年2月9日-25日在韩国江原道平昌展开。韩国平昌在第三次申奥之后，于2011年7月6日召开的第123届国际奥委会全会上被选定为2018年冬季奥运会的主办地。由此，韩国自1988年举办首尔夏季奥运会以后，时隔30年，将首次举办冬季奥运会。该届冬奥会的开·闭幕式以及大部分的雪上运动将在平昌进行，而所有冰上运动将在江陵、高山滑雪滑降比赛则将在旌善进行。"
}
=>
{
  "tokens": [
    {
      "token": "第",
      "start_offset": 0,
      "end_offset": 1,
      "type": "word",
      "position": 0
    },
    {
      "token": "23",
      "start_offset": 1,
      "end_offset": 3,
      "type": "word",
      "position": 1
    },
    {
      "token": "届",
      "start_offset": 3,
      "end_offset": 4,
      "type": "word",
      "position": 2
    },
    {
      "token": "冬季",
      "start_offset": 4,
      "end_offset": 6,
      "type": "word",
      "position": 3
    },
    {
      "token": "奥运会",
      "start_offset": 6,
      "end_offset": 9,
      "type": "word",
      "position": 4
    },
...

您现在可以看到组成词语的各个汉字仍在一起，并未被继续分解。

现在，我们就可以分析韩文、日文和中文文本了。 让我给您演示一下如何针对韩语、日语和中文文本进行索引和查询，详见如何使用 Elasticsearch 6.2 搜索中文、日文和韩文文本 - 第 2 部分： 多字段。