下面内容转自深度学习：激活函数的比较和优缺点，sigmoid，tanh，relu，正确性有待进一步研究，这里谨做记录。
后面为自己的思考。

sigmoid

sigmoid缺点：

• 激活函数计算量大，反向传播求误差梯度时，求导涉及除法
• 反向传播时，很容易就会出现梯度消失的情况，从而无法完成深层网络的训练
• Sigmoids函数饱和且kill掉梯度。
• Sigmoids函数收敛缓慢。

ReLU

RELU特点：
输入信号 <0 时，输出都是0，>0 的情况下，输出等于输入

ReLU 的优点：

• Krizhevsky et al. 发现使用 ReLU 得到的 SGD 的收敛速度会比 sigmoid/tanh 快很多

ReLU 的缺点：

• 训练的时候很”脆弱”，很容易就”die”了
  例如，一个非常大的梯度流过一个 ReLU 神经元，更新过参数之后，这个神经元再也不会对任何数据有激活现象了，那么这个神经元的梯度就永远都会是 0。【1】
  如果 learning rate 很大，那么很有可能网络中的 40% 的神经元都”dead”了。

思考

上面说的ReLU的缺点【1】的解释：

• 非常大的梯度流过一个 ReLU 神经元后 ===》
• 权重恰好调整为一个非常大的负值（记为w1） ===》
• 由于该神经元的输入为正值（记为x1），所以w1*x1=u1，u1为一个很大负值 ===》
• u1落在了ReLU的左半部分，所以该神经元最终输出 y1 = ReLU（u1）= 0 ===》
• 以后该神经元的输出一直为0 ===》
• 因为该神经元输出不变，所以权值不再调整 ===》
• 因此说该神经元dead了。

不知是否正确，欢迎讨论。

另外可以参考sigmoid tanh Relu比较