深度学习--激活函数

2020-01-08 本文已影响0人孤泉冷月

激活函数:

$Sigmoid$
$\sigma(x) =\frac{1}{1+e^{-x}}$
Sigmoid

$Leaky\ ReLU$
$max(0.1x,x)$
Leaky ReLU

$ReLU$
$max(0,x)$
ReLU

$tanh$
$tanh(x)$

tanh(x)
$Maxout$
$max(w^T_1x+b_1,w^T_2x+b_2)$
$ELU$
$\left \lbrace \begin{array}{l} x \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ \ x\geq0 \\ \alpha(e^x-1) \ \ \ x \le 0 \end{array} \right.$

ELU

上一篇下一篇

猜你喜欢

热点阅读