深层神经网络简单介绍(3)
2017-11-18 本文已影响2人
君植泽的简书
1/深层神经网络的梯度不稳定问题:
参见: http://blog.csdn.net/lujiandong1/article/details/52711501
(上文链接讲解了深层神经网络的梯度不稳定,即:梯度消失和梯度爆炸)
2/深层神经网络梯度不稳定的缓解方法:
谨慎的选择初始化参数可以一定程度上缓解梯度不稳定的问题.比如:Xavier初始化.
参见: http://blog.csdn.net/shuzfan/article/details/51338178
