概念与主题：

• 通信的原理和信息传播的模型
• （信源）编码和最短编码
• 解码的规则，语法
• 聚类
• 校验位
• 双语对照文本，语料库，机器翻译
• 多义性和利用上下午消除歧义性

• 信息的冗余是信息安全的保障。罗塞塔石碑上的内容是同一信息重复三次，因此只要有一份内容完好保留下来，原有的信息就不会丢失，这对信道编码有指导意义。
• 语言的数据，称之为语料，尤其是双语或者多语的对照语料对翻译至关重要。

词可以被认为是有限而且封闭的集合，而语言则是无限和开放的集合。从数学上讲，对于前者可以有完备的编解码规则，而后者则不具备这个特性。因此，任何语言都有语法规则覆盖不到的地方，这些例外或者说不精确性，让我们语言丰富多彩。