神经网络学习笔记 - 激活函数的作用、定义和微分证明

简书不支持HTML和Latex？？ 大家还是看我的原文吧。

原文

• 神经网络学习笔记 - 激活函数的作用、定义和微分证明

看到知乎上对激活函数(Activation Function)的解释。
我一下子迷失了。
因此，匆匆写下我对激活函数的理解。

激活函数被用到了什么地方

目前为止，我见到使用激活函数的地方有两个。

• 逻辑回归(Logistic Regression)
• 神经网络(Neural Network)
  这两处，激活函数都用于计算一个线性函数的结果。

了解激活函数

激活函数的作用：就是将权值结果转化成分类结果。

2类的线性分类器

先说一个简单的情况 - 一个2类的线性分类器。
了解激活函数，先要明确我们的问题是："计算一个（矢量）数据的标签（分类）"。
以下图为例：

Logistic Regression

训练

训练的结果，是一组$(w,b)$，和一个线性函数$f(x) = wx + b$。

预测

我们现在仔细考虑一下，如何在预测函数中使用这个线性函数$f(x)$。
先从几何方面理解一下，如果预测的点在分割线$wx + b = 0$上，那么$f(x) = wx + b = 0$。
如果，在分割线的上方某处，$f(x) = wx + b = 8$(假设是8)。
8可以认为是偏移量。

注：取决于(w, b)，在分割线上方的点可以是正的，也可能是负的。
例如： y - x =0，和 x - y = 0，这两条线实际上是一样的。
但是，应用点(1, 9)的结果， 第一个是8, 第二个是 -8。

问题

然后，你该怎么办？？？
如何用这个偏移量来得到数据的标签？

激活函数

激活函数的作用是：将8变成红色。
怎么变的呢？比如：我们使用sigmoid函数，sigmoid(8) = 0.99966464987。
sigmoid函数的结果在区间(0, 1)上。如果大于0.5，就可以认为满足条件，即是红色。

3类分类器的情况

我们再看看在一个多类分类器中，激活函数的作用。
以下图为例：

Logistic Regression 3 classes

未完，请看原文

• 神经网络学习笔记 - 激活函数的作用、定义和微分证明