python画出激活函数 sigmoid，tanh，Relu
2018-03-08 本文已影响0人
katsura_911
sigmoid函数
f(x)= 1 / （1+ e^(-x)）
sigmoid函数
tanh函数
两者都能为神经网络提供非线性组合以逼近任意函数，但是在都会出现梯度消失或者梯度爆炸的情况，而且计算比较复杂。
区别在于tanh函数的取值范围是（-1,1）而sigmoid的取值范围是（0,1），相比sigmoid，tanh能提供负激励的效果。
RELU函数
Relu函数
Relu的有点在于计算简单，梯度稳定，也可以表现出抑制的效果
