深度学习入门系列:感知机-多层感知机演变
1、感知机

感知机接收多个输入信号,输出一个信号,上图是一个接收两个输入信号的感知机的例子。 x1、 x2是输入信号,y是输出信号, w1、 w2是权重(w是weight的首字母)。图中的○称为“神经元”或者“节点”。输入信号被送往神经元时,会被分别乘以固定的权重(w1x1、 w2x2)。神经元会计算传送过来的信号的总和,只有当这个总和超过了某个界限值时,才会输出1。这也称为“神经元被激活” 。这里将这个界限值称为阈值,用符号 θ表示。
上述内容可以使用如下数据公式表示:

2、感知机应用-逻辑门电路

与门是有两个输入和一个输出的门电路,与门仅在两个输入均为1时输出1,其他时候则输出0。输入信号和输出信号的对应的“真值表”如下:

考虑用感知机来表示这个与门,确定能满足图上真值表的 w1、 w2、 θ的值。当
(w1, w2, θ) = (0.5, 0.5, 0.7) 或(w1, w2, θ)=(0.5, 0.5, 0.8)都满足与门的条件。
3、感知机变形-权重和偏置
把 (w1, w2, θ)中的θ换成-b,于是就可以用如下公式来表示感知机的行为。

虽然有一个符号不同,但表达的内容是完全相同的。此处, b称为偏置, w1和w2称为权重。感知机通过公式可以实现与门逻辑关系,是否其他数字电子钟的逻辑门也可以实现尼?
4、异或门引出感知机缺陷

异或门仅当x1或x2中的一方为1时,才会输出1。真值表如下:

能否通过上述数据公式实现异或门尼?
下面通过画图分析观察
与门:

与门在坐标系上的图像如上,可以通过一条直线将结果分开
异或门:

异或门无法通过直线将结果分开,可以通过曲线分开

参照上面与门数学公式可以看出,感知机的局限性就在于它只能表示由一条直线分割的空间。异或门弯曲的曲线无法用感知机表示。
5、异或门弯曲曲线如何实现-多层感知机

数字电路中异或门可以通过组合与门、与非门、或门实现异或门
上图中把s1作为与非门的输出,把s2作为或门的输出,填入真值表中。观察x1、 x2、 y,可以发现确实符合异或门的输出。

下面试着用感知机的表示方法(明确地显示神经元)来表示这个异或门,如下图:

上图中将最左边的一列称为第0层,中间的一列称为第1层,最右边的一列称为第2层。与门、或门是单层感知机,而异或门是2层感知机。叠加了多层的感知机也称为多层感知机。
在2层感知机中,先在第0层和第1层的神经元之间进行信号的传送和接收,然后在第1层和第2层之间进行信号的传送和接收,该运行过程可以比作流水线的组装作业。第1段(第1层)的工人对传送过来的零件进行加工,完成后再传送给第2段(第2层)的工人。第2层的工人对第1层的工人传过来的零件进行加工,完成这个零件后出货(输出)。