自然语言处理——7.1 词法分析与词性标注概述

  词是自然语言中能够独立运用的最小单位，是自然语言处理的基本单位。
  自动词法分析就是利用计算机对自然语言的形态 (morphology) 进行分析，判断词的结构和类别等。
  词性或称词类最重要的特性，是连接词汇到句法的桥梁。

不同语言的词法分析

曲折语(如，英语、德语、俄语等)：用词的形态变化表示语法关系，一个形态成分可以表示若干种 不同的语法意义，词根和词干与语词的附加成分结
合紧密。
词法分析：词的形态分析(形态还原)。
分析语(孤立语)(如：汉语)：分词。
黏着语(如：日语等)：分词＋形态还原。