李航统计学习--第二章 感知机perception
2018-09-06 本文已影响0人
HELLOTREE1
二类分类(+1,-1)的线性分类模型,判别模型。
求出将训练数据进行线性划分的分离超平面,导入基于误分类的损失函数,用梯度下降法对损失函数进行极小化,求得感知机模型



2.1感知机模型


2.2感知机学习策略
2.2.1数据集线性可分

2.2.2感知机学习策略
为了确定这样一个超平面(将+1、-1分离开),即确定合适的w、b,就要定义经验损失函数并将其最小化。
如何定义损失函数呢?1误分类的点数,但是这样损失函数不是w\b的连续可导函数,不易优化;2误分类点到超平面的总距离!


2.3感知机学习算法
求解损失函数最优化问题,最优的方法是随机梯度下降法
2.3.1原始形式
,解不唯一,采取不同的初值,迭代过程中不同的误分类点顺序,解不同


实例:

步骤1:构建最优化问题:

步骤2:求解w、b 步长=1。一次次迭代直到所有被准确分类


2.3.2 算法的收敛性

2.3.3 感知机学习算法的对偶形式



实例

2.4 代码
2.4.2 感知机对偶算法