易图秒懂の神经网络潜行-RNN前生
在“易图秒懂の神经网络潜行-CNN前生"里面，简述了CNN的前生Neocognitron横空出世的环境和当时的影响。这里描述RNN的前生, 叫SRN，简单递归网络的诞生， 这个Simple Recurrent Network又名叫Elman Network。
前言
在前面我们谈到Kohonen的CAM理论，是源于对冯诺依曼工作小组的Estrin的寻址内存的模型扩展而来的。
而Kohonen的这个CAM理论影响超级大， 不仅仅影响了Neocognitron福岛， 还影响了另外个人， 这个人对后来神经网络恢复元气作用巨大。 他就是物理学家Hopfield。他提出了Hopfield模型， 而SRN或者Elman网络几乎就是对Hopfield网络的一个变形。
一图抵千言
Elman Network是Hopfield网络的变形
SRN其实就是给Hopfield网络加了一个输入层和输出层，把整个Hopfield网络变成了隐藏层。 这种变化其实也可以说是受到MLP三层模型的影响。
Hopfiled网络有没有其它知名变形
其实， 除了SRN模型， Hopfield网络还有另外一个变种叫BAM （参考 ”神经网络之双向关联记忆网络(BAM)“）BAM相当于把Hopfield网络进行了一次展开， 然后一层称为输入， 另外一层称为输出。无论是SRN还是BAM， 都继承了Hopfield关于能量函数， 和收敛性证明方面的结论。而这个BAM某种意义上是深度中RBM模块的前生BM boltzmann machine的前生。
Hopfield网络是如何炼成的？
Hopfield网络的横空出世得益于三大方面， 首先，受到了Kohonen的CAM的启发， 着眼于相关性的方向的神经网络。 其次， 采用了另外一个物理生物学家Little定义的能量函数。 并且Little还根据李雅普诺夫的不动点理论， 证明了收敛性。
再次，就是吸收了物理学家Widow的ADALINE模型的学习机制。 这样， 有了三合一， Hopfield网络理论就诞生了。
Hopfield网络的影响
其实后来有个叫Grossberg的神经科学家， 对Hopfield的工作和福岛的工作进行了深刻讨论， 提出了记忆模型 和 ART模型自回声网络。类似记忆模型的工作对后来RNN的变种LSTM的影响很大。 Grossberg本人对Sigmoid函数的鼓吹， 也对后来BP算法的流行有深刻影响。
SRN的三大学习算法
除了SRN网络结构的完善， 学习能力也不能落下， 三大学习算法BPTT，EKF和RTRL训练，也多在受到Hopfield网络模型成功影响力下， 发明出来了。 而后来深度学习里面LSTM的发明，也是一个硕士对这三个算法的深入理解， 总结缺点后的突破。 以后深度学习的部分会讲到。
其实BPTT就是最早发明BP的那个Werbos发明的。 而RTRL也和以后再发明应用BP算法， 并且引起轰动的Rumelhart有关系。 而Rumelhart是连接主义的代表人物， 以后也会谈谈他。
小结
这样， 透过Hopfield网络的成功和变形， SRN横空出世， 伴随着神经网络记忆学习理论的总结， 和三大学习算法的出现。 RNN的前生就这么铺垫好了。
相关话题：
