tanh函数&logistic函数

logistic函数（右是导数） Tanh函数（右是导数）

传统Sigmoid系激活函数

传统Sigmoid系激活函数

传统Sigmoid系激活函数，Sigmoid系（Logistic-Sigmoid、Tanh-Sigmoid）被视为神经网络的核心所在。（注意：两个都是sigmoid系列的函数）

对于深度学习模型，tanh函数通常比sigmoid函数表现的要更好：

1）使用tanh函数时，模型参数的初始化值更趋向于0
2）更快达到收敛
3）求导方便：f’(z)=1-tanh2(z)