计算机视觉深度学习-推荐系统-CV-NLP机器学习与计算机视觉

常用激活函数总结

2019-07-17  本文已影响2人  有苦向瓜诉说

神经网络与激活函数

神经网络从数学上来说，就是用来拟合一个函数。把数据扔进去，得到一个预测结果，以此来解决分类和回归等问题。但是针对不同的问题，需要拟合不同的函数，包括线性函数和非线性函数。神经网络中常常会见到各种激活函数，当需要拟合非线性函数时就需要激活函数登场了。

image

对于每个神经元来说，都是先进行线性变换，再将线性变换的结果通过激活函数来进行激活。注意，这里的有效激活函数必须是非线性函数。如果采用线性激活函数，则在前向传播的过程中，相当于一直做线性变换，这样的话，无论多少隐藏层，都是线性变换，也就是隐藏层在这里没有发生作用，仍然是一个单层的感知机。当然对于最后一层的输出层则没有这个要求，可以选择线性或者非线性的激活函数。

常用激活函数总结

这里主要介绍非线性激活函数，线性的激活函数也就是恒等函数，在坐标轴表示为一条直线，通常使用较少。常见的非线性激活函数通常可以分为两类，一种是输入单个变量输出单个变量，如sigmoid函数，Relu函数；还有一种是输入多个变量输出多个变量，如Softmax函数，Maxout函数。

1.Sigmoid函数

Sigmoid函数，也叫做S函数将值限定在 (0,1) 之间，能够很好的作为概率来解释算法得到的结果。目前在计算机视觉中不常用，只适用于二分类等问题。

缺点是当输入较大的正数或者负数时，导数就会变为0，这时候采用梯度下降方法就会下降很慢，使得神经网络不能正常更新。同时不是以0为对称，容易在更新时产生 zigzag 路径。

函数定义为
a = sigmoid(z) = \frac{1}{1+e^{-z}}
其求导结果为
a'=\frac{1}{1+e^{-z}}\left( 1 - \frac{1}{1+e^{-z}}\right)=a(1-a)

image.png

2.tanh函数

thah函数能够将值限定在 (-1,1) 之间，比sigmoid函数更为常用。但是也存在与sigmoid函数一样的缺点，当在z值较大或者较小时，斜率接近0，这时优化速度很慢，这种情况下可以考虑采用ReLU函数。

函数定义为
a = thah(z) = \frac{e^z - e^{-z}}{e^z + e^{-z}}

求导结果为
a' = 1 - tanh^2(z) = 1 - a^2

image.png

3. ReLU函数及其变体

ReLU函数，也叫做线性整流函数，能够解决在值较大时产生的梯度为0的问题，能够正常的更新，并且没有复杂的指数计算，使得性能较好，收敛较快，是目前在视觉领域最为常见的激活函数。

ReLU函数为
a = ReLU(z) = max(0,z)

其导数为
a' = \left\{\begin{matrix} 0 & x<0 \\ 1 & x>0 \end{matrix}\right.

image

LeakyReLU是为了防止ReLU函数在负数时，斜率为0的情况，但在实际情况中，很难到负数那边去，所以基本采用ReLU就足够了，不过也建议采用交叉验证来试试这个函数。

Leaky ReLU为
a = LeakyReLU(z) = max(0.01z,z)
其导数为
a' = \left\{\begin{matrix} 0.01 & x<0 \\ 1 & x>0 \end{matrix}\right.

image

此外，还有几种激活函数由算法来学习负数区域的学习率，如PReLU函数和ELU函数，原理与ReLU函数类似。

4.Softmax函数

softmax函数与sigmoid函数很相似，也是将值变换到 (0,1) 之间。但是可以针对多个类别，预测出每个类别的归一化概率，所以通常softmax函数是在分类器的输出层使用。

其函数表达式为
\sigma (z)_{j}= \frac{e^{z_j}}{\sum_{k=1}^{K}e^{z_k}}

如何选择激活函数

选择激活函数没有固定的规则，每个激活函数适用于不同的应用，比如分类和回归，多分类和二分类任务。但根据每个激活函数的性质，也存在一些基本的规律

欢迎大家关注公众号“计算机视觉与机器学习”


计算机视觉和机器学习
上一篇下一篇

猜你喜欢

热点阅读