常用激活函数 (Activation Function)及导数

在神经网络中，最后将输入加权求和的结果代入到一个函数中进行转换输出，这个函数就是激活函数。也就是下图中的f()。在逻辑回归中，这个函数就是sigmoid，也就是将线性回归的结果代入到sigmoid函数中转化。

激活函数可以增加模型的非线性，如果没有激活函数，每一层输出都是上层输入的线性函数，无论神经网络有多少层，那么输出只能是线性组合。

常见的激活函数有以下几种：

部分激活函数的导数为：

更多函数可见：https://zh.wikipedia.org/wiki/%E6%BF%80%E6%B4%BB%E5%87%BD%E6%95%B0

其中Sigmoid，Tanh和ReLU在应用和面试中出现的频率会高一些。