2020自然语言处理(2)

nlp_cover.jpg 图

我们根据下面几个维度对模型进行分类

• 是否属于欧式空间
• 全局方法还是局部方法
• 是否基于 ML 进行训练
• 是否考虑上下文

全局(Global)方法l VS 局部(Local)方法

• 全局方法: 所谓全局方法我们就是将全部数据一并输入到模型然后输出向量，这些向量表示文档出现词两两之间的关系的向量，会有非常大的矩阵，也就是一个 维度矩阵，这里 V 是词典的数量。优点是从全局考虑词的关系所以比较全面，缺点是计算量很大。典型的做法是矩阵分解(MF)
• 局部方法: 我们熟悉的跳字模型(skip-gram)就是局部模型，只考虑某个词作为中心词周围一定范围词（前后的词）

图

基于语言模型和非语言模型

这里我们只是解释一下什么是基于语言模型的训练。

我们通过计算

求这个极大似然值来训练模型方式为基于语言模型

我们介绍词向量同样也存在问题，可以训练词向量但是训练出每一个单词的固定的词向量。
Yesterday when he backed the car,he hurt his back
在不同语境下这两 back 是不一样的。其实