激活函数作用

2019-11-05 本文已影响0人 chakopht

1、激活函数作用

解决不能用线性方程概括的问题

感知机原方程：(线性）

$y = Wx$

添加激活函数：(非线性化）

$y = ActiveFunction(Wx)$

注意：激活函数必须可微分，因为反向传播的时候需要链式求导

sigmoid

$\sigma (z)=1/(1+e^{-z})$

sigmoid

在多层神经网络中不推荐使用会导致梯度消失

普通的ReLU负数端斜率是0，Leaky ReLU则是负数端有一个比较小的斜率，而PReLU则是在后向传播中学习到斜率。而Randomized Leaky ReLU则是使用一个均匀分布在训练的时候随机生成斜率，在测试的时候使用均值斜率来计算。

relu

PReLu

CReLU

ELU