感知机

2017-09-01 本文已影响0人 arcral

感知机

标签：统计学习

模型

二分类的线性模型，属于判别模型
旨在求出将输入空间进行线性划分的分离超平面。
损失函数基于误分类，利用梯度下降法求解目标，从而获得感知机模型，分为原始形式与对偶形式，是神经网络与支持向量机的基础

定义

$f(x) = sign(w\cdot x + b)$
w为权值（weight），b为偏置（bias），sign为符号函数 $sign(x) = \begin{cases}+1, & x\ge 0 \\ -1, & x < 0 \end{cases}$
模型解释：线性方程 $w\cdot x + b$ 对应于输入空间的一个超平面，位于该平面两部分的点被分为两类，又称为分离超平面（separating hyperplane）

策略

选择损失函数，一个自然选择是误分类点总数，但非参数w,b的连续可导函数，不易优化。另一个选择是误分类点到超平米的总距离 $-\frac{1}{\|w\|}\sum_{x_i\in M}y_i(w\cdot x_i + b)$
不考虑系数，得到损失函数（该函数同时也是感知机的经验风险函数） $L(w,b) = -\sum_{x_i\in M}y_i(w\cdot x_i + b)$
感知机的策略就是，选取使损失函数最小的模型参数w,b

学习算法

采用随机梯度下降法（stochastic gradient descent）

两个参数的梯度分别为 $\nabla _wL(w,b) = -\sum_{x_i\in M}y_ix_i\nabla _bL(w,b) = -\sum_{x_i\in M}y_i$
选取一个误分类点，对w,b进行更新 $w\leftarrow w+\eta y_ix_ib\leftarrow b+\eta y_i$

该算法有一个直观解释：当一个样本点被误分类，则调整w,b的值，使分离超平面向该误分类点的一侧移动，以减少该点与超平面的距离
解不唯一，即依赖于初值，也依赖于迭代过程的点选择顺序

感知机

感知机

目录

模型

定义

策略

学习算法

猜你喜欢

热点阅读