定制化分词器 | 扩展词库

2020-06-12  本文已影响0人  乌鲁木齐001号程序员

导论

每个行业都有自己行业内的专有名词,但是 IK 分词器中的标准词库是不包含这些转专有名词的;为了提高分词的准且性和搜索的精度,需要 IK 分词器知道哪些是专有名词,进而不对其分词,进而直接搜索这些专有名词的时候,可以直接搜索到;

创建新的词库文件

touch /home/lixinlei/application/elasticsearch/7.3.0/elasticsearch-node1/plugins/ik/config/new_word.dic

添加新词

凯悦

让 IK 分词器加载新的词库文件

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">new_word.dic</entry>
    <entry key="ext_stopwords"></entry>
</properties>

拷贝修改过的文件和新文件到其他节点上

重启三个节点

测试对词库中新添加的词的分词结果

GET /shop/_analyze
{
  "analyzer": "ik_smart",
  "text": "凯悦"
}
--- 
{
  "tokens" : [
    {
      "token" : "凯悦",
      "start_offset" : 0,
      "end_offset" : 2,
      "type" : "CN_WORD",
      "position" : 0
    }
  ]
}

再搜索“凯悦”

GET /shop/_search
{
  "query": {"match": {
    "name": "凯悦"
  }}
}

重建索引

POST /shop/_update_by_query
{
  "query": {
    "bool": {
      "must": [
        {"term": {"name": "凯"}},
        {"term": {"name": "悦"}}
      ]
    }
  }
}

热更新词库

<?xml version="1.0" encoding="UTF-8"?>
<!DOCTYPE properties SYSTEM "http://java.sun.com/dtd/properties.dtd">
<properties>
    <comment>IK Analyzer 扩展配置</comment>
    <entry key="ext_dict">http://yoursite.com/getCustomDic</entry>
</properties>
上一篇 下一篇

猜你喜欢

热点阅读