来源于tanh求导详解_笔记大全_设计学院 (python100.com)

1. 双曲正切

hyperbolic tangent function

tanh函数是由指数函数组成的比值，并且其取值范围为[-1, 1]

是sigmoid函数的变形，是一种非线性函数，在神经网络中被广泛应用。

2. 求导

tanh'(x) = 2 * (sigmoid(2x))' = 2 * sigmoid(2x) * (1 - sigmoid(2x))

而sigmoid(x)' = sigmoid(x) * (1 - sigmoid(x))

tanh'(x) = 1 - tanh^2(x)

用python代码表示就是：

import math

def tanh(x):

    return (math.exp(x) - math.exp(-x)) / (math.exp(x) + math.exp(-x))

def tanh_derivative(x):

    return 1 - math.pow(tanh(x), 2)