(七)神经网络基本结构

2018-07-18 本文已影响0人躺在稻田里的小白菜

一. 为什么需要神经网络

目前为止，我们已经学习了2个机器学习模型。线性回归一般用来处理线性问题，逻辑回归用来处理2分类问题。虽然逻辑回归也可以处理非线性的分类问题，但是当我们有非常多的特征时，例如大于100个变量，将会有数量非常惊人的特征组合。这对于一般的逻辑回归来说需要计算的特征太多了，负荷太大。而神经网络既可以解决复杂的非线性分类问题，又可以避免庞大的计算量。

二. 神经网络的基本结构

人工神经网络是由很多神经元（激活单元）构成的，神经元是神经网络的基本元素。

1. 神经元

神经网络的基本逻辑单元（又称激活单元）如下图所示：

输入（X）：x1,x2,x3是神经元的输入特征，这里我们常常省略X0，它的值是常量1，被称为偏置单元。
连接权值（θ）：连接权值用于将输入特征线性组合在一起，构成一个线性表达式。
激活函数（h）: 将线性表达式代入激活函数中，得到的值就是神经元的输出。
神经元：黄色小圈。

实际上，可以这样理解神经元工作过程，当将输入送进神经元后，神经元将输入与权值线性组合（实际上就是θ ^TX）输出一个线性表达式，再将这个表达式送入激活函数中，便得到了神经元的真实输出。

2. 神经网络

神经网络由好多个激活单元构成，如下图所示：

向前传播算法：
第一层的输入线性组合后，交给第二层的所有神经元；第二层每个神经元得到输出后，作为第三层的输入，线性组合后交给第三层；第三层计算后，最后得到整个网络的输出。
以上面的三层神经网络为例，假设每个神经元的激活函数都是g(z)
由第一层计算第二层神经元可得
由第二层计算第三层结果则是

我们可以知道：每一个a都是由上一层所有的输入（可能是X，也可能是a）和每一个输入所对应的权重决定的。我们把这样从左到右的计算方法称为前向传播算法( FORWARD PROPAGATION )。
这里，第一层叫做输入层；第三层叫做输出层；中间层叫做隐藏层，这里只画了一层，但实际上隐藏层可以是很多层。
注意：我们绘制神经网络时，每一层都省略了一个额外的节点 x0 ，这个 x0 节点就是偏置单位（偏置神经元）。但因为 x0 总是等于1，所以有时候，我们会画出它，有时我们不会画出，这要看画出它是否对例子有利。

3. 用数学描述神经网络

4. 更好的理解神经网络

为了更好的理解神经网络，我们可以把输入层遮住。假设我们的激活函数是sigmoid函数，其实神经网络就是逻辑回归，只不过我们把输入从x1,x2,x3....换成了中间层的a1,a2,a3.....。
从本质上讲，在普通的逻辑回归中，我们被限制为使用数据中的原始特征x1,x2,x3......。我们虽然可以使用一些二项式项来组合这些特征，但是我们仍然受到这些原始特征的限制。在神经网络中，原始特征只是输入层，在我们上面三层的神经网络例子中，第三层也就是输出层做出的预测利用的是第二层的特征，而非输入层中的原始特征，我们可以认为第二层中的特征是神经网络通过学习后自己得出的一系列用于预测输出变量的高级的新特征。这就是神经网络相比于逻辑回归和线性回归的优势。