五、Es分词，_analyze
2018-12-30 本文已影响0人
yongfutian
分析数据
- 使用分析器分析文档
- 使用分析API
- 分词
- 字符过滤器
- 分词过滤器
- 提取词干
- es所包含的分析器
1、什么是分析
在文档被发送并加入倒排索引之前，Es在主体上进行的操作；
a、字符过滤器： 使用字符过滤转变字符
b、 分词器：文本切分为分词，将文本切分为单个或多分分词
c、分词过滤器： 使用分词过滤器转变分词
d、分词索引： 将这些分词存储到索引中
e、分析流程图：
原始文本数据——>字符过滤器——>分词器——>分词过滤器——>文档索引（倒排索引）
-
analyzer 分析器类型：
standard analyzer standard standard tokenizer, standard filter, lower case filter, stop filter simple analyzer simple lower case tokenizer【小写转换分词过滤器】 stop analyzer stop lower case tokenizer, stop filter【停用词分词过滤器】 keyword analyzer keyword 不分词，内容整体作为一个token(not_analyzed) pattern analyzer whitespace 正则表达式分词，默认匹配\W+ language analyzers lang 各种语言 snowball analyzer snowball standard tokenizer, standard filter, lower case filter, stop filter, snowball filter custom analyzer custom 一个Tokenizer, 零个或多个Token Filter, 零个或多个Char Filter -
tokenizer 分词器类型
standard tokenizer standard edge ngram tokenizer edgeNGram keyword tokenizer keyword 不分词 letter analyzer letter 按单词分 lowercase analyzer lowercase letter tokenizer, lower case filter ngram analyzers nGram whitespace analyzer whitespace 以空格为分隔符拆分 pattern analyzer pattern 定义分隔符的正则表达式 uax email url analyzer uax_url_email 不拆分url和email path hierarchy analyzer path_hierarchy 处理类似/path/to/somthing样式的字符串 -
token filter 分词过滤器类型
standard filter standard ascii folding filter asciifolding length filter length 去掉太长或者太短的 lowercase filter lowercase 转成小写 ngram filter nGram edge ngram filter edgeNGram porter stem filter porterStem 波特词干算法 shingle filter shingle 定义分隔符的正则表达式 stop filter stop 移除 stop words word delimiter filter word_delimiter 将一个单词再拆成子分词 stemmer token filter stemmer stemmer override filter stemmer_override keyword marker filter keyword_marker keyword repeat filter keyword_repeat kstem filter kstem snowball filter snowball phonetic filter phonetic 插件 synonym filter synonyms 处理同义词 compound word filter dictionary_decompounder, hyphenation_decompounder 分解复合词 reverse filter reverse 反转字符串 elision filter elision 去掉缩略语 truncate filter truncate 截断字符串 unique filter unique pattern capture filter pattern_capture pattern replace filte pattern_replace 用正则表达式替换 trim filter trim 去掉空格 limit token count filter limit 限制token数量 hunspell filter hunspell 拼写检查 common grams filter common_grams normalization filter arabic_normalization, persian_normalization -
char_filter 字符过滤器类型
mapping char filter mapping 根据配置的映射关系替换字符 html strip char filter html_strip 去掉HTML元素 pattern replace char filter pattern_replace 用正则表达式处理字符串
2、自定义分析器
包含零个或多个字符过滤器、1个分词器、零个或多个分词过滤器
注意：
match和match_phrase这样的查询在执行之前会执行分析步骤，而term和terms不会
3、为文档使用分词器
3.1、在创建索引的时候添加分词器
public static function index()
{
return [
'index' => 'order',
'body' => [
'settings' => [
'number_of_shards' => 2,
'number_of_replicas' => 1,
"index" => [
'analysis' => [
'analyzer' => [
'myAnalyzer' => [
//定制化的类型
'type' => 'custom',
//使用myTokenizer对文本进行分词
'tokenizer' => 'myTokenizer',
//指定文本需要经过的两个过滤器
'filter' => [
'myFilter1', 'myFilter2',
],
//设置制定的字符过滤器，会在其他分析步骤之前运行
'char_filter' => [
'myCharFilter',
],
],
],
//分词器
'tokenizer' => [
'myTokenizer' => [
'type' => 'letter'
],
],
//分词过滤器
'filter' => [
'myFilter1' => [
'type' => 'lowercase',
],
'myFilter2' => [
'type' => 'kstem',
],
],
//字符过滤器
'char_filter' => [
'myCharFilter' => [
'type' => 'mapping',
'mappings' => [
"ph=>f", "u=>you",
],
],
],
],
],
],
'mappings' => [...],
]
];
}
3.2、在映射中指定某个字段的分析器
3.3、在Elasticsearch的配置文件中设置全局的分析器
4、使用分析API来分析文本
- _analyze
API允许向Es发送任何文本，制定所使用的分析器，分词器或者分词过滤器，然后获取分析之后的分词
a、选择一个分析器
b、通过组合即兴的创建分析其器
c、基于某个字段映射的分析
5、使用词条向量来学习索引词条
- _termvector
