第二章：自然语言处理——从规则到统计

2019-01-25 本文已影响0人 dreampai

字母、文字和数字实际上是信息编码的不同单位。任何一种语言都是一种编码的方式，而语言的语法规则是编解码的算法。我们把一个要表达的意思，通过某种语言的一句话表达出来，就是用这种语言的编码方式对头脑中的信息做了一次编码。而如果对方懂得这门语言，她就可以用这门语言的解码方法获得说话人要表达的信息。这就是语言的数学本质。

词可以被认为是有限而且封闭的集合，而语言则是无限和开放的集合。从数学上讲，对于前者可以有完备的编解码规则，而后者则不具备这个特性。因此，任何语言都有语法规则覆盖不到的地方，这些例外或者说不精确性，让我们语言丰富多彩。