情感分类模型:Word2Vec + RNN
2018-04-29 本文已影响103人
Eric_i33
一、基于 Word2Vec 对预处理好的文本数据进行训练,得到词嵌入矩阵 E,Word2Vec 原理如下,以“I drink coffee everyday”为例:
step-1,输入输出 one-hot 编码,确定采样窗口大小等一系列参数

step-2,初始化嵌入层 E(隐层数 * 字典词数)

step-3,得到每个词的词向量 E * oi = ei,词向量加权平均得到 sita 向量

step-4,初始化 W 矩阵(字典词数 * sita行数),W * sita = u

step-5,softmax(u) = y_hat,Obj = cross_entropy,Opti = GD to E and W

二、将嵌入层套入 RNN 训练情感分类模型

LSTM 细节如下:

