Bleve 文档翻译计划（4）——文本分析器
2019-08-23 本文已影响0人
烈日星辰
Analyzers（分析器）
General Purpose Analyzers（通用分析器）
Keyword（关键词）
关键字分析器不对输入文本执行任何分析。它创建一个代表整个输入的令牌。 这对于只需要精确匹配的字段非常有用。例如，包含关键字或标签的字段，这些关键字或标签可能包含另一个分析器可能解释为令牌边界的空格。
Simple（简单分析）
简单的分析器只对输入进行最小限度的分析。
Standard（标准分析）
标准分析器类似于简单分析器，但也增加了英语停止词删除。
- Tokenizer - Unicode
- Token Filters
- Lowercase
- English Stop Token
Detect Language（检测语言）
检测语言分析器用于检查输入文本，使用试探法来确定语言的最佳猜测，并索引国际标准化组织639语言代码。
Language Specific Analyzers（特定语言分析器）
- Danish
- Dutch
- English
- Finnish
- French
- Hungarian
- Italian
- German
- Norwegian
- Persian
- Portuguese
- Romanian
- Russian
- Sorani
- Spanish
- Swedish
- Thai
- Turkish
