词向量相关问题总结

1 训练词向量的时候，对矩阵做一些变化，比如乘一些参数，或者变换，问相似性还能否表征，语义的相似性有没有被破坏？

没有，因为 词嵌入矩阵是基于统计关系的构成。

2 哈夫曼树在词向量训练中有什么作用？

改变概率分布的表达，加快训练过程，进而减少训练样本，提高泛化能力

3 python装饰器的功能？负采样的作用？

为已经存在的函数或对象添加额外的功能

4 cnn的权值共享有什么作用？

减少参数，降低了网络模型的复杂度，降低了过拟合程度，同时需要的数据样本少了，提高泛化能力

5 CNN的局部不变性spatial invariant是什么意思？如何做到？

意思是两张在不同位置的猫的图片依然可以被识别出来，通过乘以相同的参数，即权值共享的方式实现。

6 CNN增加了很多层数，参数必然会很多，算法全身是如何缓解参数过多的问题，如何加快训练速度的？

局部连接，权值共享，池化操作

7 CNN的batch normalization有什么意义？

对输入的归一化能够再平衡

8 CNN的池化操作有什么作用？

进一步增加抽象能力，减少参数，提高训练速度，降低过拟合，便于消除维度灾难

9 CNN的全连接层有什么作用？

把之前所有的局部信息做了一次融合，再经过softmax得到结果的概率分布

10 cnn参数的初始化是如何确定的？

取矩阵维度的根号分之一的均匀分布