【Papernote】Word2vec 推导
2020-09-09 本文已影响0人
Chiduru
review了一下Word2vec。
背景知识：
1. 基于词共现概率这一目标函数，词表中任意index=i的单词有两部分表示，中心词向量ui和上下文词向量vi，其中，上下文是通过滑窗在中心词周围括起来的2*window_size的词；
2. 负采样就是给定中心词后，词表中滑窗m外的词汇中随机抽取K个，即random.choice([V-2m-1], K)
review了一下Word2vec。
背景知识：
1. 基于词共现概率这一目标函数，词表中任意index=i的单词有两部分表示，中心词向量ui和上下文词向量vi，其中，上下文是通过滑窗在中心词周围括起来的2*window_size的词；
2. 负采样就是给定中心词后，词表中滑窗m外的词汇中随机抽取K个，即random.choice([V-2m-1], K)
