激活函数\梯度下降\损失函数
2019-05-26 本文已影响0人
阮恒
一个痛心疾首的发现：这些知识不管学多少遍还是会忘记……
为了加深印象，再再再再看一遍并记录下来。
一、激活函数
激活函数是每一层神经网络之后用的非线性函数，因为神经网络本身是线型的，利用激活函数可以使之实现非线性。
激活函数主要有四个: sigmoid, tanh, RELU, Leaky RELU. 还有一位博主将softmax 也加了进来。也有一定的道理，因为这五个小兄弟都是将一个维的向量映射为另一个
维的向量。
接下来的话照搬这个知乎专栏
1. sigmoid
sigmoid函数及其导数
sigmoid函数会导致梯度消失(gradient vanishing)。
2. tanh
tanh
3. ReLU
ReLU
5. leaky ReLU
leaky ReLU
5. softmax
Softmax的使得映射后的元素之和为1，通常用在分类任务最后一层。
二、梯度下降
梯度下降是神经网络优化的方法，令输出逼近目标值。
三、损失函数
这篇博文讲述了
交叉熵损失函数
