神经网络常用函数理解

神经网络一个重要的性质是: 可以自动地从数据当中学习到合适的权重参数。

关于激活函数

激活函数是将输入信号经过权重计算的总和转换成输出信号的一个函数。例如: 当计算的结果 result ＞0 ，输出信号则为1，否则为0。

激活函数的种类

1. 阶跃函数

2. sigmoid函数

两个函数都是非线性的函数，sigmoid函数有连续性的变化，更具平滑性，此性质对神经网络很重要。

3. ReLU（rectified linear unit）函数

大于0时，直接输出该值。小于0时，值为0。

关于输出层的函数

1. 恒等函数

原封不动的输出权重计算后的结果

2.softmax函数

把结果转换成出现该事件的概率。

损失函数

意义: 表示神经网络性能"恶劣程度"的指标，即当前的神经网络对监督数据在多大程度上不一致。

1. 均方误差（根据神经网络的输出和监督数据进行计算）

2. 交叉熵误差（同上）

3. mini-batch学习（求平均损失函数）