神经网络权重初始化为什么不能为零
2019-03-28 本文已影响0人
好吃红薯
以BP神经网络为例,若是都初始化为零,那么正向神经网络计算出来的输出值都相同,所以反向传播算法计算出来的梯度值也相同,导致参数更新值也一样(w=w−α∗dw)。
参考资料:https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/
以BP神经网络为例,若是都初始化为零,那么正向神经网络计算出来的输出值都相同,所以反向传播算法计算出来的梯度值也相同,导致参数更新值也一样(w=w−α∗dw)。
参考资料:https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/