激活函数专题

2019-08-13 本文已影响0人西北小生_

激活函数用于神经网络的线性加权操作或池化操作之后，通过加入非线性因素来提高神经网络的表达能力。本专题用于整理和总结常用的激活函数，包括：Sigmoid，Tanh，Softplus，ReLU，ReLU6，Leaky ReLU，ELU，Maxout，Softmax等。

1.非线性：保证数据非线性可分；
2.可微性：保证可以计算梯度进行反向传播；
3.单调性：保证凸函数；
4.输出值与输入值相差不会很大：保证神经网络训练和调参高效。

函数表达式：
$sigmoid(x)=\frac{1}{1+e^{-x}}$
函数图像：

Sigmoid

函数表达式：
$tanh(z)=\frac{e^z-e^{-z}}{e^z+e^{-z}}$
函数图像：

Tanh

函数表达式：
$Softplus(x)=log(1+e^x)$
函数图像：

Softplus

函数表达式：
$ReLU(x)= \begin{cases} x, &x\ \gt\ 0\\[2ex] 0, &x\ \le\ 0 \end{cases}$
函数图像：

ReLU

函数表达式：
$ReLU6(x)=min(max(x,0),6)$
即:
$ReLU6(x)= \begin{cases} 6, &x\ \ge 6\\[2ex] x, &0\lt x\ \lt\ 6\\[2ex] 0, &x\ \le\ 0 \end{cases}$
函数图像：

ReLU6

函数表达式：
$Leaky\ ReLU(x)= \begin{cases} x, &x\ \gt\ 0\\[2ex] \alpha x, &x\ \le\ 0 \end{cases}$
函数图像：

Leaky ReLU

函数表达式：
$Leaky\ ReLU(x)= \begin{cases} x, &x\ \gt\ 0\\[2ex] \alpha (e^x-1), &x\ \le\ 0 \end{cases}$
函数图像：

ELU

函数表达式：