感知器学习算法PLA

二分类问题

1.方法：每遇到一个错误，更新w.  直到所有样本都不出现错误为止。

2.是否会停止迭代：

迭代停止证明

3.如果线性不可分，PLA将不会停止迭代，此时可以设置迭代次数，或者使用Pocket算法

Pocket算法：随机选取一个权值w，遇到错误修改得到wt+1，如果wt+1比wt对样本集错分的概率小，就将当前w值修改为wt+1，否则，保持当前w值不变，继续看下一次错误修改后的w，与当前w进行比较，直到迭代足够次数（给定）为止。

如果样本集是线性可分的，PLA效果要比Pocket效果好。因为Pocket没遇到一个错误不直接修改，而是将所有样本遍历一遍，看当前w错分样本的概率。耗时长。两种方法最终得到的w是一致的。