Sigmoid 算法

欢迎Follow我的GitHub, 关注我的简书.

Sigmoid Function, 即双弯曲函数.

公式

sigmoid

取值范围:

sigmoid

当z=0时, sigmoid值是0.5;
当z=4时, sigmoid值是0.982≈1;
当z=-4时, sigmoid值是0.018≈0;

梯度

sigmoid梯度

即

关系

取值范围:

sigmoid梯度

优缺点:

1. 神经网络中的激活函数, 其作用就是引入非线性;
2. 输出范围有限, 数据在传递的过程中不容易发散; 缺点是饱和的时候梯度太小;
3. 输出范围为(0, 1), 所以可以用作输出层, 输出表示概率;
4. 容易求导, y'=y(1-y), 这样很容易做bp(back propagation, 反向传播).

关于Sigmoid算法, 非常全面的讲解. That's all! Enjoy it!