2019-10-09

                                                                    深度学习第三天

激活函数：

        激活函数是使线性函数变成非线性，使神经网络表达能力更强，几乎可以逼近任意函数。值域是-1到1或者0到1，定义域负无穷到正无穷。在-1和1区间梯度很大，而在其他地方很小。

激活函数一：sigmoid

sigonid表达式

图像为：

sigmoid函数图像

sigmoid函数值域在（0，1）所以非常适合做概率问题；

激活函数二：tanh

tanh函数表达书

图像为：

tanh图像

tanh值域在（-1，1）；在区间（-1，1）上的最大梯度是1，比sigmoid梯度0.25大，因此更适合做深度学习的激活函数。

激活函数三：ReLU

ReLU函数表达式

图像：

ReLU图像

ReLU函数在大于0时有梯度且恒定，小于0后梯度恒等于0。收敛速度远快于sigmoid和tanh，计算速度非常快，只需要判断输入是否大于0。