机器学习中常用的激励函数

神经网络中的激励函数为神经元提供了规模化的非线性化能力。常见的激励函数包括sigmoid函数，tanh函数和ReLU函数。

sigmoid函数

sigmoid函数一般是大家接触机器学习模型时最早学习到的激励函数模型。它的优点是整个区间都可导。

image.png
image.png

tanh函数

sigmoid函数的缺点是它不关于原点对称。我们对sigmoid函数进行平移，使其中心对称，得到tahn函数，其表现比sigmoid函数更好。

image.png
image.png

ReLU函数

tanh函数与sigmoid函数共同的缺点: 当它们倾向于比较大或者比较小的数的时候，整个函数的变化比较平缓，会影响到网络的学习效率。所以在实际工作中用得更多的是ReLU函数

image.png image.png