统计学习方法（三）感知机为什么不能表示异或

2018-10-22 本文已影响0人 shijiatongxue

习题2.1

Minsky与Papert指出：感知机因为是线性模型，所以不能表示复杂的函数，如异或（XOR）。验证感知机为什么不能表示异或。

首先看一下异或：
简单理解，如果两个数a和b进行异或操作。如果a、b两个值不相同，则异或结果为1。如果a、b两个值相同，异或结果为0。

$a$	$b$	$a\bigoplus b$
0	0	0
0	1	1
1	0	1
1	1	0

而感知机的模型为 $f(x)=sign(w \cdot x + b)$
$sign$ 是符号函数，即 $sign(x)= \begin{cases} +1, x \geq 0 \\ -1, x<0 \end{cases}$
证明：
现在假设感知机可以模拟异或运算，进行反证。为了简便，假设 $x$ 向量只有两个维度 $x_1$ ， $x_2$ 。

要想 $x_1=0$ ， $x_2=0$ 时， $f(x)=0$ ，则需要 $b<0$ ；
接下来验证 $x_1=0$ ， $x_2=1$ 时，要想 $f(x)=1$ ，需要 $w_2>-b>0$ ；
接下来验证 $x_1=1$ ， $x_2=0$ 时，要想 $f(x)=1$ ，需要 $w_1>-b>0$ ；
最后验证 $x_1=1$ ， $x_2=1$ 时，已知 $w_1>-b>0，w_2>0，b<0$ ，则 $w_1 \cdot x_1 + w_2 \cdot x_2 + b > 0$

而异或操作需要 $f(x)=-1$ （也就是0），所以假设不成立。命题得证。

参考文献：
李航. 统计学习方法[M]. 清华大学出版社, 2012.

统计学习方法（三）感知机为什么不能表示异或

习题2.1

猜你喜欢

热点阅读