RNN 循环神经网络

经典的网络循环神经网络（RNN），这一网络也是时序数据的首选网络。当涉及某些顺序机器学习任务时，RNN可以达到很高的精度，没有其他算法可以与之一较高下。（划重点）为什么会出现这种情况呢，是由于传统的神经网络只是具有一种短期记忆，而RNN具有有限的短期记忆的优势。

RNN神经网络

大多数人造神经网络，如前馈神经网络，都没有记忆它们刚刚收到的输入。例如输入一个单词(learning),不论你训练再辛苦，前馈神经网络不会把下一个字母给预测出来。还比如在语音识别中，识别的好坏在很大程度上受益于预测下一个字符的能力。RNN网络确实记住了之前的输入，但是处于一个非常复杂的水平。可以理解为过去的记忆和现在的记忆进行糅合，这种糅合多了，自然就会产生较为准确的预测。

RNN应用：音乐作曲，根据图片生成其描述，来写论文等等

应用形式多样

2

RNN的弊端:信息源的记忆经过长时间步骤到达时间终点，然后我们会得到误差，在反向传递的时候，每一步都会乘上参数（x）,会出现两种我们不愿意看到的情况。

当参数（x）<1,返回到初始点的误差几乎没有，这种称为梯度离散，优化停滞不前。

当参数（x）>1,返回到初始点的误差巨大，这种称为梯度爆炸，优化无法收敛。而这两种情况都是导致RNN不能长期记忆的原因。

有问题就要解决嘛，所以又提出LSTM RNN,长短期记忆。LSTM比普通RNN多出三个门限，输入门限，忘记门限，输出门限。输入门限和忘记门限有助于筛选重要信息，输出门限整合信息分析影响。

LSTM

总结：LSTM不仅可以调整其权重，还可以根据训练的梯度来保留、删除、转换和控制其存储数据的流入和流出。最重要的是，LSTM可以长时间保存重要的错误信息，以使梯度相对陡峭，从而网络的训练时间相对较短。

循环神经网络（RNN）可以记住其以前的输入，当涉及到连续的、与上下文相关的任务（如语音识别）时，它比其他人造神经网络具有更大的优势。