TextRNN用于文本分类

2019-01-21  本文已影响61人  CurryCoder

1.单向RNN结构

单向RNN.png
1.png

上述公式中,权重矩阵U、V、W共享

2.双向RNN(Bidirection-RNN)结构

双向RNN.png
2.png

双向RNN的最终输出和中间隐藏状态的计算公式如下,正向计算与反向计算不共享权重:


3.png

3.LSTM(长短时记忆网络)

普通的RNN网络中只有S_t = f(Ux_t+WS_t-1),这种结构无法捕捉到长文本中远距离相关的特征,同时隐藏层的状态对短期的输入非常敏感,也会产生梯度爆炸或梯度消失问题。LSTM的关键在于cell的状态(整个绿色图表示一个cell)和穿过cell的那条水平线。


cell结构.png

如果只有上面的那条水平线是没办法实现添加或删除信息的,必须通过一种叫门(gates)的结构实现,门可以让信息选择性的通过,主要通过一个sigmoid的神经层和一个逐点相乘的操作实现的。


门的结构.png
sigmoid层的输出是一个向量,向量的每个元素都在[0,1]之间,表示让对应的信息通过的权重。如:0表示不让信息通过,1表示让所有信息通过。

4.LSTM的变体GRU网络

5.RNN文本分类

6.参考博客

上一篇 下一篇

猜你喜欢

热点阅读