[激活函数]什么是 ReLU

2021-03-23 本文已影响0人 LCG22

参考资料：算法基础---ReLU激活函数及其变种

1、什么是 ReLU

ReLU 是修正线性单元(rectified linear unit)，在 0 和 x 之间取最大值。

2、为什么要引入 ReLU

因为 sigmoid 和 tanh 容易导致梯度消失，而 ReLU 是非饱和激活函数，不容易发生梯度消失

3、ReLU 的函数表达式和导数表达式

ReLU 的函数表达式：

当 x <= 0 时，ReLU = 0

当 x > 0 时，ReLU = x

ReLU 的导数表达式：

当 x<= 0 时，导数为 0

当 x > 0 时，导数为 1

4、ReLU 的函数图像和导数图像

ReLU 的函数图像：

ReLU 的导数图像：

5、ReLU 的优点

① 有效缓解过拟合的问题，因为 ReLU 有可能使部分神经节点的输出变为 0，从而导致神经节点死亡，降低了神经网络的复杂度

② 不会发生梯度消失或梯度爆炸，当 x 大于 0 时，ReLU 的梯度恒为 1，不会随着网路深度的加深而使得梯度在累乘的时候变得越来越小或者越来越大，从而不会发生梯度消失或梯度爆炸

③ 计算简单，ReLU 本质上就是计算一次在两个值中取最大值

6、ReLU 的缺点

① 会导致神经元死亡，当一个神经元在某次的激活值为 0 之后，此后得到的激活值都是 0.

证明：

因为假设某个神经元在第 N 次时的激活值为 0，则第 N+1 次的激活值为： $O_{n+1} = max(0, O_{n} - \alpha g(x))$ ，其中 $\alpha$ 取值大于 0， $g(x)$ 是 ReLU 在 x 点的梯度。当 x <= 0 时， $g(x)$ 的值为 0，则 $O_{n+1}$ 也为 0；当 x > 0 时， $g(x)$ 的梯度为 1，则 $O_{n+1}$ 为 0 和 $-\alpha$ 中的最大值 0.即无论 x 取什么值， $O_{n+1}$ 的值都等于 0.