李航统计学习--第二章 感知机perception

2018-09-06  本文已影响0人  HELLOTREE1

二类分类(+1,-1)的线性分类模型,判别模型。

求出将训练数据进行线性划分的分离超平面,导入基于误分类的损失函数,用梯度下降法对损失函数进行极小化,求得感知机模型

梯度下降法 梯度下降法的迭代公式

2.1感知机模型

2.2感知机学习策略

2.2.1数据集线性可分

2.2.2感知机学习策略

为了确定这样一个超平面(将+1、-1分离开),即确定合适的w、b,就要定义经验损失函数并将其最小化。

如何定义损失函数呢?1误分类的点数,但是这样损失函数不是w\b的连续可导函数,不易优化;2误分类点到超平面的总距离

2.3感知机学习算法

求解损失函数最优化问题,最优的方法是随机梯度下降法

2.3.1原始形式

,解不唯一,采取不同的初值,迭代过程中不同的误分类点顺序,解不同

实例:

步骤1:构建最优化问题:

步骤2:求解w、b 步长=1。一次次迭代直到所有被准确分类

2.3.2 算法的收敛性

2.3.3 感知机学习算法的对偶形式

实例

2.4 代码

2.4.2 感知机对偶算法

上一篇 下一篇

猜你喜欢

热点阅读