【转载】神经网络梯度消失的解释
2018-01-04 本文已影响38人
dopami
原文链接：http://blog.csdn.net/baidu_29782299/article/details/52742773
转载自哈工大SCIR（公众号）
为了弄清楚为何会出现消失的梯度，来看看一个极简单的深度神经网络：每一层都只有一个单一的神经元。下图就是有三层隐藏层的神经网络：
原文链接：http://blog.csdn.net/baidu_29782299/article/details/52742773
转载自哈工大SCIR（公众号）
为了弄清楚为何会出现消失的梯度，来看看一个极简单的深度神经网络：每一层都只有一个单一的神经元。下图就是有三层隐藏层的神经网络：
