技术心得

情感分类模型:Word2Vec + RNN

2018-04-29  本文已影响103人  Eric_i33

一、基于 Word2Vec 对预处理好的文本数据进行训练,得到词嵌入矩阵 E,Word2Vec 原理如下,以“I drink coffee everyday”为例:

step-1,输入输出 one-hot 编码,确定采样窗口大小等一系列参数

step-2,初始化嵌入层 E(隐层数 * 字典词数)

step-3,得到每个词的词向量 E * oi = ei,词向量加权平均得到 sita 向量

step-4,初始化 W 矩阵(字典词数 * sita行数),W * sita = u

step-5,softmax(u) = y_hat,Obj = cross_entropy,Opti = GD to E and W

二、将嵌入层套入 RNN 训练情感分类模型

LSTM 细节如下:

上一篇 下一篇

猜你喜欢

热点阅读