gradient vanishing/explode 中的数值分

分析dnn训练过程中的梯度弥散以及梯度爆炸，先从产生梯度的loss function说起。

一、
例如，当CE作为loss function的话，对预估值pred求导数，其导数为- label /pred + (1-label) / (1 - pred). 其值域为1～ 无穷（2）

对于Sigmoid激活函数，其范围为0～1，其导数为sigmoid(1-sigmoid)，所以值域范围为0～0.25。 （1）【即如果用sigmoid做激活，每层传播其gradient都会0.25】

这个式子分开求其值域无法分析其积值域，所以这里直接用链式法则求其约分后的导数再求值域。

二、
将pred = sigmoid(wx)带入式子2，设置label = y
再对sigmoid求导，根据链式法则带入式子1
再对参数wjxj求偏导（对应输入神经元为xj ）导数为xj
化简后得：
损失函数对wj的Derivative = {sigmoid(wx) - y} * xj
在batch的情况下可以表示为：

m为batch size

BN（解决梯度消失，爆炸）
1）可以看出，导数的前一个系数sigmoid(wx) - y的值域为0～1（当预估与label一致的时候梯度为0，完全相反为1，符合预期，也不会产生梯度爆炸或者消失】，而对梯度产生主要影响的因子是第二个系数“xj”，如果输入特别大，会导致梯度太大，输入太小，也会导致梯度太小。当深度网络通过神经元不断向后传递梯度的时候，如果路线上的x都大于1，则梯度会越来越大（explode），都小于1则梯度越来越小（vanishing）
通过前一层神经元激活后接入BN【注：在activation function前后接入BN都是可行的】可以某种程度上解决梯度消失爆炸的问题，比如你设置BN为均值0方差1，则xj的数值不会太大太小（全都很小接近于0或者全都大于1），则梯度也不会太大太小。

更换激活函数（解决梯度消失）
2）上面只说了xj这个系数的影响，实际上当每层的激活函数都是Sigmoid的话，则每层的梯度前除了xj都会有一个<0.25的系数，也会越乘越小，导致梯度弥散。所以对于特别深的网络，一般用ReLu做激活解决这个问题。

超参初始化设置不当（解决梯度消失，爆炸）
3）实际应用中，在更新的过程，learning rate也会作为乘数，当learning rate过过小的的时候，梯度也会过大过小（不过现在的optimizer一般会不断优化learning rate，不需要特别精准的设置，在有BN的时候，也可以用较大的Learning rate）。同理，当对层间神经元连接参数的初始化设置不当的时候，也可能导致后面神经元过大或者过小，导致梯度弥散消失，所以一般用N(0,1)之类的随机值来初始化以免梯度变化范围过大。

梯度裁剪（解决梯度爆炸）
4）有时候，这样仍不能保证梯度特别稳定，可能在一些数据集上，其本身就是会产生较大的梯度，这时候可以用梯度裁剪，过滤掉大于一定梯度的信号的反向传递。

优化结构（解决梯度消失，爆炸）
5）实际运用中，也有一些复杂的结构会原生性地产生梯度爆炸或者消失。例如RNN的error surface本身就有可能非常陡峭，有的地方又过于平坦，导致optimizer也难以优化Learning Rate。使用LSTM能一定程度解决这个问题。详见RNN梯度消失与爆炸问题。在cv领域中，深度模型取得了很好的结果，而越深则训练越困难，参考google的ResNet，其残差网络的结构直觉上能够做更简单的映射，使得模型更简单，其梯度可以直接从短路的连接上传递到前一层，则从某种程度上也解决了过深模型可能带来的梯度消失问题（虽然实际上没有被短路传递的梯度也会消失）。

解决错误的函数选择（解决梯度弥散，爆炸）
6）错误的激活损失函数组合也可能会导致梯度的错误。例如用MSE做Simgoid激活的输出的Loss Function：（实际可能被错误地运用在0～1上的分类或者回归问题）
损失函数对wj的Derivative = 2* {sigmoid(wx) - y} * sigmoid(wx) *(1-sigmoid(wx)) * wj
这个时候，当预估值接近于0或者1的时候，无论y为0还是1，其导数都会很小，会导致模型无法收敛。（实际上pred接近1，label也为1时，导数很小是符合预期的，但是label与pred相悖时，其导数也接近0是不符合预期的）
【mse无法试用于sigmoid激活的分类】
PS：关于CE在0～1上回归的使用，可以参考（这是正确的用法）：
预估连续值概率的loss function选择

修正可能存在的错误初始化
7）错误的初始化，可能导致神经元一直输出很大或者很小的数值，在面对Sigmoid这样的激活函数时，会使其饱和，梯度接近于0。