中文分词

2021-07-27 本文已影响0人爱吃醋的工程师

本文是对ElasticSearch中文分词学习的一个知识总结，包括如下章节的内容：

基本概念
ik分词器的安装
ik中文分词器的使用
ik的自定义词典
文档的中文分词使用

参考资料：
1、如果希望先对ElasticSearch组件的基本概念有所了解，可先阅读《ElasticSearch学习笔记》。

一、基本概念

当一个文档被存储时，ES会使用分词器从文档中提取出若干词元（token）来支持索引的存储和搜索。
ES内置了很多分词器，但内置的分词器对中文的处理不好。下面通过例子来看内置分词器的处理。在web客户端发起如下的一个REST请求，对英文语句进行分词：

POST http://localhost:9200/_analyze
{  
    "text": "hello world"  
}

操作成功后，响应的内容如下：

{
  "tokens": [
    {
      "token": "hello",
      "start_offset": 0,
      "end_offset": 5,
      "type": "<ALPHANUM>",
      "position": 0
    },
    {
      "token": "world",
      "start_offset": 6,
      "end_offset": 11,
      "type": "<ALPHANUM>",
      "position": 1
    }
  ]
}

上面结果显示 "hello world"语句被分为两个单词，因为英文天生以空格分隔，自然就以空格来分词，这没有任何问题。

下面我们看一个中文的语句例子，请求REST如下：

POST http://localhost:9200/_analyze
{  
    "text": "世界如此之大"  
}

操作成功后，响应的内容如下：

{
  "tokens": [
    {
      "token": "世",
      "start_offset": 0,
      "end_offset": 1,
      "type": "<IDEOGRAPHIC>",
      "position": 0
    },
    {
      "token": "界",
      "start_offset": 1,
      "end_offset": 2,
      "type": "<IDEOGRAPHIC>",
      "position": 1
    },
    {
      "token": "如",
      "start_offset": 2,
      "end_offset": 3,
      "type": "<IDEOGRAPHIC>",
      "position": 2
    },
    {
      "token": "此",
      "start_offset": 3,
      "end_offset": 4,
      "type": "<IDEOGRAPHIC>",
      "position": 3
    },
    {
      "token": "之",
      "start_offset": 4,
      "end_offset": 5,
      "type": "<IDEOGRAPHIC>",
      "position": 4
    },
    {
      "token": "大",
      "start_offset": 5,
      "end_offset": 6,
      "type": "<IDEOGRAPHIC>",
      "position": 5
    }
  ]
}

从结果可以看出，这种分词把每个汉字都独立分开来了，这对中文分词就没有意义了，所以ES默认的分词器对中文处理是有问题的。好在有很多不错的第三方的中文分词器，可以很好地和ES结合起来使用。在ES中，每种分词器（包括内置的、第三方的）都会有个名称。上面默认的操作，其实用的分词器的名称是standard。下面的请求与前面介绍的请求是等价的，如：

POST http://localhost:9200/_analyze
{  
    "analyzer": "standard",
    "text": "世界如此之大"  
}

当我们换一个分词器处理分词时，只需将"analyzer"字段设置相应的分词器名称即可。
ES通过安装插件的方式来支持第三方分词器，对于第三方的中文分词器，比较常用的是中科院ICTCLAS的smartcn和IKAnanlyzer分词器。在本文中，我们介绍IKAnanlyzer分词器（下面简称ik）的使用。

因为是在网上搜索资料来进行ik的安装，碰到了很多坑，折腾很长时间才搞定，主要原因是网上的很多资料都是针对旧版本的ES和IK版本，有很多信息在新版本中已经有变化。下面的内容会介绍那些遇到的坑。

二、ik分词器的安装

ES提供了一个脚本elasticsearch-plugin（windows下为elasticsearch-plugin.bat）来安装插件，脚本位于ES安装目录的bin目录下。elasticsearch-plugin脚本可以有三种命令，靠参数区分：

1、 elasticsearch-plugin install 插件地址
install 参数指定的命令是安装指定的插件到当前ES节点中。

2、 elasticsearch-plugin list
list参数指定的命令是显示当前ES节点已经安装的插件列表。

3、 elasticsearch-plugin remove 插件名称
remove 参数指定的命令是删除已安装的插件。

使用elasticsearch-plugin install 安装插件时，插件地址既可以是一个远程文件地址（在线安装），也可以是下载到本地的文件，不管是远程文件或本地文件，对于ik插件来说都是一个zip文件。
注意，ik的版本要与ES的版本一致，因为本文ES用的是5.6.9版本，所以我们ik也用的是5.6.9版本。

远程文件安装命令如下：

elasticsearch-plugin  install  
https://github.com/medcl/elasticsearch-analysis-ik/releases/download/v5.6.9/elasticsearch-analysis-ik-5.6.9.zip

因为使用的Linux机器无法直接上外网，所以就考虑采用本地文件安装的方式，这是碰到的第一个坑。从上面地址上下载了elasticsearch-analysis-ik-5.6.9.zip文件到本地，然后执行命令如下（实际下面写法是错误的）：

elasticsearch-plugin  install 
/home/hadoop/elasticsearch-analysis-ik-5.6.9.zip

上面命令是在linux系统下执行的，zip文件位于本地的/home/hadoop目录下。但是无论怎么执行，都报错，报/home/hadoop/elasticsearch-analysis-ik-5.6.9.zip不是插件。在网上搜索了半天，也没有找到原因，甚至怀疑是下载的二进制包有问题，直接下载源代码自己编译打包成zip包，结果还是有问题。后来请教了同事，才知道elasticsearch-plugin install后面跟的路径，如果是本地的话，需要带file:///协议头。果然，带上协议头无论是在liunx下还是windows下安装都是成功的。这个事情给的教训是，不要想当然，因为以为本地直接采用本地路径即可，没想到要加file:///协议头；第二，有问题一段时间搞不定时及时向他人请教，省得浪费时间。

正确的linux下的本地安装命令是：

elasticsearch-plugin  install 
file:///home/hadoop/elasticsearch-analysis-ik-5.6.9.zip

正确的windows下本地安装的命令是：

elasticsearch-plugin.bat install 
file:///D:/hadoop/elasticsearch-analysis-ik-5.6.9.zip

安装完毕后，发现在ES的安装目录下的plugins目录下多了一个analysis-ik目录（内容是ik的zip包解压后根目录下的所有文件，一共是5个jar文件和1个properties配置文件），另外ES的安装目录下的config目录下多了一个analysis-ik目录（内容是ik的zip包解压后根目录下的config目录下所有文件，用于放置ik的自定义词库）。

遇到的第二个坑是，网上很多资料说，安装ik插件后，需要在ES的配置文件elasticsearch.yml中加上如下一行内容：

index.analysis.analyzer.ik.type: "ik"

可是，实际情况是加上这句话后，ES启动失败，从报的错误信息也看不到原因。又在网上查了半天，终于在一篇文章中看到对这个问题的解释：“index.analysis.analyzer.ik.type这个在新版本的ES中已经不需要了，添加了启动时反而会报错，ES5.X版本不再通过elasitcsearch.yml配置设置分词规则，而是在创建索引时指定”。

下面再介绍遇到的第三个坑，网上给出使用ik的例子，请求命令如下：

POST http://localhost:9200/_analyze
{  
    "analyzer": "ik",
    "text": "世界如此之大"  
}

但是总是返回错误信息，错误如下：

{
  "error": {
    "root_cause": [
      {
        "type": "remote_transport_exception",
        "reason": "[IefRKZ0][localhost:9300][indices:admin/analyze[s]]"
      }
    ],
    "type": "illegal_argument_exception",
    "reason": "failed to find global analyzer [ik]"
  },
  "status": 400
}

错误信息还是很明确的，找不到分词器ik。就以为是配置文件哪里配错了，折腾试了半天没找到原因。后来查找资料才知道在新的ik版本中，分词器的名称变了（不再叫ik），新版本的ik提供了两个分词器，分别是ik_max_word 和ik_smart，用任何一个替换ik，就没问题了。
三、ik中文分词器的使用
上面提到，ik提供了两个分词器，分别是ik_max_word 和ik_smart，下面我们分别测试下。
先测试ik_max_word，输入命令如下：

POST http://localhost:9200/_analyze
{
"analyzer": "ik_max_word",
"text": "世界如此之大"
}
响应结果如下：

{
"tokens": [
{
"token": "世界",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "如此之",
"start_offset": 2,
"end_offset": 5,
"type": "CN_WORD",
"position": 1
},
{
"token": "如此",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 2
},
{
"token": "之大",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 3
}
]
}
再测试ik_smart，输入命令如下：

POST http://localhost:9200/_analyze
{
"analyzer": "ik_smart",
"text": "世界如此之大"
}
响应结果如下：

{
"tokens": [
{
"token": "世界",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "如此",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 1
},
{
"token": "之大",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 2
}
]
}
比较两个分词器对同一句中文的分词结果，ik_max_word比ik_smart得到的中文词更多（从两者的英文名含义就可看出来），但这样也带来一个问题，使用ik_max_word会占用更多的存储空间。

四、ik的自定义词典
有时，可能ik自身提供的分词词典无法满足特定的一些需求（如专用名词等），ik提供了自定义词典的功能，也就是用户可以自己定义一些词汇,这样ik就会把它们当作词典中的内容来处理。

举个例子，对于上面例子中的“世界如此之大”这个中文语句，ik词库中不会有“界如此”这样一个单词，假设“界如此”就是一个专用名词，我们希望ik能识别出来。这时就可自定义ik的词典。具体方法是：

1、新建扩展名为dic的文本文件，文件中写入想增加的词条，每个词条单独一行，如文件名是test.dic，文件内容如下：

界如此
高潜
上面例子中有两个自定义词条。

2、将上面的dic文件保存到ES安装目录的config目录下的analysis-ik目录（安装ik插件时产生的目录）下，可以建立子目录，放在子目录下。比如文件的路径如:
** config/analysis-ik/mydic/test.dic**

3、修改ik的配置文件IKAnalyzer.cfg.xml（位于config/analysis-ik目录下），在配置文件中增加如下条目：

<entry key="ext_dict">mydict/test.dic</entry>
这样就将自定义的字典文件加到ik的字典中了。

4、重启ES让生效。

这时我们发起如下的REST请求：

POST http://localhost:9200/_analyze
{
"analyzer": "ik_max_word",
"text": "世界如此之大"
}
响应结果如下：

{
"tokens": [
{
"token": "世界",
"start_offset": 0,
"end_offset": 2,
"type": "CN_WORD",
"position": 0
},
{
"token": "界如此",
"start_offset": 1,
"end_offset": 4,
"type": "CN_WORD",
"position": 1
},
{
"token": "如此之",
"start_offset": 2,
"end_offset": 5,
"type": "CN_WORD",
"position": 2
},
{
"token": "如此",
"start_offset": 2,
"end_offset": 4,
"type": "CN_WORD",
"position": 3
},
{
"token": "之大",
"start_offset": 4,
"end_offset": 6,
"type": "CN_WORD",
"position": 4
}
]
}
可以看出，自定义的“界如此”词条被分词出来了。不过如果我们将analyzer改为ik_smart却发现“界如此”词条没能被识别出来。

五、文档的中文分词使用
前面的介绍只是简单举例介绍了ik的使用，下面我们来通过一个更完整的例子介绍分词。ES的分词在创建索引（index）后，可以通过REST命令来设置，这样后续插入到该索引的数据都会被相应的分词器进行处理。

为了比较ik的ik_smart和ik_max_word这两个分词器及默认的分词器standard，我们创建3个索引来分别使用这3个分词器。

1、创建索引

PUT http://192.168.226.132:9200/index_ik_s
PUT http://192.168.226.132:9200/index_ik_m
PUT http://192.168.226.132:9200/index_stan
2、设置分析器

POST http://localhost:9200/index_ik_s/resource/_mapping
{
"properties": {
"content": {
"type": "text",
"analyzer": "ik_smart",
"search_analyzer": "ik_smart"
}
}
}
POST http://localhost:9200/index_ik_m/resource/_mapping
{
"properties": {
"content": {
"type": "text",
"analyzer": "ik_max_word",
"search_analyzer": "ik_max_word"
}
}
}
POST http://localhost:9200/index_stan/resource/_mapping
{
"properties": {
"content": {
"type": "text",
"analyzer": "standard",
"search_analyzer": "standard"
}
}
}
3、插入数据
为了批量插入，我们使用了linxu的curl命令来执行REST操作。

curl -XPOST http://localhost:9200/index_ik_s/resource/1 -d'
{"content":"上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_ik_s/resource/2 -d'
{"content":"上海牛人科技有限公司，牛人聚集的地方"}'

curl -XPOST http://localhost:9200/index_ik_s/resource/3 -d'
{"content":"最牛的人所在的地方，上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_ik_s/resource/4 -d'
{"content":" This is an English test case"}'

curl -XPOST http://localhost:9200/index_ik_s/resource/5 -d'
{"content":" English Test Case"}'
curl -XPOST http://localhost:9200/index_ik_m/resource/1 -d'
{"content":"上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_ik_m/resource/2 -d'
{"content":"上海牛人科技有限公司，牛人聚集的地方"}'

curl -XPOST http://localhost:9200/index_ik_m/resource/3 -d'
{"content":"最牛的人所在的地方，上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_ik_m/resource/4 -d'
{"content":" This is an English test case"}'

curl -XPOST http://localhost:9200/index_ik_m/resource/5 -d'
{"content":" English Test Case"}'
curl -XPOST http://localhost:9200/index_stan/resource/1 -d'
{"content":"上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_stan/resource/2 -d'
{"content":"上海牛人科技有限公司，牛人聚集的地方"}'

curl -XPOST http://localhost:9200/index_stan/resource/3 -d'
{"content":"最牛的人所在的地方，上海牛人科技有限公司"}'

curl -XPOST http://localhost:9200/index_stan/resource/4 -d'
{"content":" This is an English test case"}'

curl -XPOST http://localhost:9200/index_stan/resource/5 -d'
{"content":" English Test Case"}'
4、测试验证和对比
先测下他们对中文标准单词的支持，查询“科技”，3种索引效果都一样的，都能胜任。请求命令如下：

POST http://localhost:9200/_search
{
"query": {
"query_string": {
"query": "科技",
"fields": ["content"]
}
}
}
再测试下非标准的搜索，搜索“海牛”，ik_smart搜索不出结果，因为在smart的反向索引中分词是“上海”、“牛人”。ik_max_word搜索得到结果，因为在maxword的反向索引中“上海”、“牛人”、“海牛”这些都有分词。Stardard可以搜索的到结果，因为startard的反向索引中每个字都拆分成一个分词“海”、“牛”，在搜索时又将每个字都拆成一个检索条件，所以查询得到。

案例中也给了英文的例子，测试后发现，ik_smart和ik_max_word对英文的分词不比standard差多少。

对比后我们的结论是：ik_smart既能满足英文的要求，又更智能更轻量，占用存储最小，所以首推ik_smart；standard对英语支持是最好的，但是对中文是简单暴力每个字建一个反向索引，浪费存储空间而且效果很差；ik_max_word比ik_smart对中文的支持更全面，但是存储上的开销实在太大，不建议使用。

中文分词

一、基本概念

二、ik分词器的安装

猜你喜欢

热点阅读