深度学习中的一些激活函数
2018-08-01 本文已影响0人
吴金君
0.引言
激活函数的作用没啥说的，就是在神经元的线性计算之后进行的一个非线性映射。通过下面这个图就可以了解到。本文仅对几个激活函数进行梳理对比，只作为速查和备忘，而不讲解具体原理。
- sigmoid
- tanh
- ReLU
- Leaky ReLU
请先到原文https://zhuanlan.zhihu.com/p/25110450看看，我只是简单摘录了一些内容过来，
(图来自https://zhuanlan.zhihu.com/p/25110450，知乎，夏飞，Google软件工程师)
这里先对Sigmoid，Tanh，ReLU，Leaky ReLU.
1. Sigmoid函数
sigmoid.png
tanh.png
relu.png
leakyrelu.png
优点：
1.解决了神经元不可逆死亡的问题
缺点：
1.理论可解释性不强，在实践中不见得效果好于经典ReLU
本文参考：
https://zhuanlan.zhihu.com/p/25110450
https://blog.csdn.net/piaodexin/article/details/77162766
