【深度之眼-paper班-word2vec】

3-word2vec【对比模型】

NNLM

• 所以输入层是（n-1）*d的输入，计算尽量能用矩阵 ，就不用循环

  
  
• softmax的结果是0-1的概率值，并且和为1
• softmax层和词表数V相关，所以需要加速softmax
  评价指标语言困惑度和loss的关系
  
  

RNNLM

• 预测第n个词，直接使用了前面所有的n-1词，并没有像NNLM应用马尔可夫假设

  
  

word2vec

• 技巧：负采样，分层的softmax，对常用单词进行抽样

  
  
  

skip-gram:中心词预测周围词

idx 词表的词id,可以映射到一个矩阵，再转换成向量

CBOW:周围词预测中心词

• 是一个词袋模型，不考虑词的顺序

  
  

4-word2vec【关键技术】