2021-04-17 ch9 skipgram
2021-04-17 本文已影响0人
柠樂helen
CBOW 周围词预测中心词
skip gram 中心词预测周围词
image.png
SkipGram模型讲解
1.目标函数
2.具备条件 两个词越相似，P(c,w;θ) 越大
image.png
3.表示方法：中心词有个embedding V，上下文词有embedding U 注意是两个矩阵！大小为 词库size×embedding_size
image.png
得到了SkipGram目标函数之后，发现了这个目标函数其实不好优化。所以需要换一种方式去优化，其中比较流行的方法是使用负采样
