自然语言处理——5.5 语言模型(应用举例)

汉语分词问题

1. 做如下约定

把一个可能的词序列 转换成词类序列,即：

• 专有名词：人名PN、地名LN、机构名ON分别作为一类；
• 实体名词中的日期dat、时间tim、百分数per、货币mon 等作为一类；
• 对词法派生词MW和词表词LW，每个词单独作为一类。

分词与词性标注一体化方法