1.概述

分词是Elasticsearch使用过程中一个很重要的功能，得益于Elasticsearch的插件机制，网上有很多开源的Elasticsearch分词器，可以基于Elasticsearch插件的形式进行安装。

本文基于Elasticsearch6.5.4版本进行拼音分词器的安装和使用，Elasticsearch的安装和ik分词器的使用可以参考:
Elasticsearch 安装和使用
Elasticsearch中ik分词器的使用

2.拼音分词器安装

拼音分词器的下载地址为：https://github.com/medcl/elasticsearch-analysis-pinyin
下载对应的代码到本地，注意分支只有6.x，我们Elasticsearch的版本为6.5.4，可以在tag里找到对应的版本v6.5.4(注：一般github代码并不会每个版本对应一个分支，但是版本会打上对应的tag，从tag下载就可以)。

下载完成后，用maven命令mvn package打包，在/target/releases 目录下会生成一个elasticsearch-analysis-pinyin-6.5.4.zip文件。在Elasticsearch的plugins目录下，新建一个pinyin文件夹，将zip内的文件解压到pinyin文件夹内。

解压成功后，重启ES即可，这时发现重启失败。原来v6.5.4tag下载下来的pom.xml文件Elasticsearch版本还是6.3.0，替换成6.5.4之后，重启成功

<elasticsearch.version>6.3.0</elasticsearch.version>

3.拼音分词器使用

重启ES成功以后，我们可以用Kibina来使用一下拼音分词器。首先我们使用ES的analyze功能，看一下拼音分词的效果

GET _analyze
{
  "analyzer": "pinyin", 
  "text": ["我们是一家人"]
}

分析的结果为：

{
  "tokens" : [
    {
      "token" : "wo",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 0
    },
    {
      "token" : "men",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 1
    },
    {
      "token" : "shi",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 2
    },
    {
      "token" : "yi",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 3
    },
    {
      "token" : "jia",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 4
    },
    {
      "token" : "ren",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 5
    },
    {
      "token" : "wmsyjr",
      "start_offset" : 0,
      "end_offset" : 0,
      "type" : "word",
      "position" : 5
    }
  ]
}

然后我们新建一个索引，有一个字段name，name.ik使用ik分词器，name.pinyin使用拼音分词器。

PUT /pinyin_test
{
  "mappings":{
    "doc": {
        "properties": {
            "id": {
                "type": "integer"
            },
            "name": {
               "fields": {
            "ik": {
              "type": "text",
              "analyzer": "ik_max_word"
            },
            "pinyin":{
              "type": "text",
              "analyzer": "pinyin"
            }
        },
                "type": "text"
            }
        }
      }
  },
  "settings":{
            "index": {
                "refresh_interval": "1s",
                "number_of_shards": 3,
                "max_result_window": "10000000",
                "number_of_replicas": 0
            }
  }
}

新建索引之后，我们利用_bulk功能，批量插入一些数据

POST _bulk
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "啤酒"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "壁虎"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "闭户"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "币户"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "啤酒杯"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }
{ "name": "喝花酒"}
{ "index" : { "_index" : "pinyin_test", "_type" : "doc" } }

对索引进行搜索的时候，用ik或者默认分词器搜索pj都没有结果。

GET pinyin_test/_search
{
  "query": {"match": {
    "name.ik": "pj"
  }}
}

只有使用pinyin分词的器，搜索pj的时候能搜到啤酒

GET pinyin_test/_search
{
  "query": {"match": {
    "name.pinyin": "pj"
  }}
}

结果为:

{
  "took" : 1,
  "timed_out" : false,
  "_shards" : {
    "total" : 3,
    "successful" : 3,
    "skipped" : 0,
    "failed" : 0
  },
  "hits" : {
    "total" : 1,
    "max_score" : 1.4599355,
    "hits" : [
      {
        "_index" : "pinyin_test",
        "_type" : "doc",
        "_id" : "w2u-tW0BCKQ-TN47xQMp",
        "_score" : 1.4599355,
        "_source" : {
          "name" : "啤酒"
        }
      }
    ]
  }
}

4.总结

Elasticsearch的插件功能异常的强大，有很多值得分析和研究的地方。而分词对于搜索来说也是非常重要的功能。在一些特殊的场景下，我们可能需要利用ES的插件框架，进行自定义的分词器开发，所以掌握插件的使用和分词器的使用是基础中的基础。