深度学习 | 梯度消散/爆炸

2018-12-29  本文已影响42人  yuanCruise

1.梯度消散/爆炸

原因

所以根据上述的梯度消散和梯度爆炸的现象,我们可以知道产生梯度消散/爆炸的主要原因有:

用sigmoid激活函数时,其梯度不超过0.25,因此当链式求导时会更易发生梯度消散。因此tanh要比sigmoid好,但其梯度仍然不到1,而relu激活函数的梯度值为1,可以预防梯度消散。

解决办法
上一篇下一篇

猜你喜欢

热点阅读