神经网络权重初始化为什么不能为零

2019-03-28  本文已影响0人  好吃红薯

以BP神经网络为例,若是都初始化为零,那么正向神经网络计算出来的输出值都相同,所以反向传播算法计算出来的梯度值也相同,导致参数更新值也一样(w=w−α∗dw)。

参考资料:https://www.zhihu.com/question/36068411
http://cs231n.github.io/neural-networks-2/

上一篇下一篇

猜你喜欢

热点阅读