（3）循环神经网络模型

• 序列问题为什么不使用标准神经网络？

1. 输入和输出在不同样本的长度不一定相等
2. 参数不共享，即无法共享学习到的特征（联想到卷积核）

• 循环神经网络

1. 初始化激活值
2. 将第一个词训练神经网络并生成新激活值与预测值
3. 以此类推对后序每一个词执行第 2 步的操作

• 

• 循环神经网络的优点

1. 对每个单词（维度相同）训练神经网络，避免了样本输入、输出长度不一致的困扰
2. 每一个时间步的参数共享，通过激活值建立序列前后的联系

• 循环神经网络的缺点

1. 在某一时刻的预测仅使用了序列中之前的输入信息（解决方案：双向循环神经网络）

• 循环神经网络的前向传播