神经网络与深度学习第三章阅读

2019-06-09 本文已影响2人我的昵称违规了

第三章线性模型

线性模型的公式
$f(W;X)=W^T * X$

W是d维权重集合， $W=[w_1,...,w_d]$
X是d维样本集合， $X=[x_1,...,x_d]$

得到的预测结果y， $y=f(W;X)$ ，但是这个结果是一些离散标签，需要引入一个非线性的决策函数g()来预测输出目标
$y=g(f(W;X))$
这里主要介绍的四中不同的线性分类模型：logistic回归，softmax回归，感知器（MLP），支持向量机（SVM）

3.1 线性判别函数和决策边界

3.1.1 二分类

3.1.2 多类分类

分类的类别数C大于2，需要多个线性判别函数。如果类别为 ${1,2,3,...,C}$ ，常用分类方式：

一对其余：多类分类转为C个一对其余的二分类
一对一：多类分类转为C(C-1)/2个一对一的二分类
argmax：改进的一对其余方式，需要C个判别函数，能够解决“特征空间中存在难以确定类别的区域”的问题

3.2 Logistic回归

使用激活函数解决连续的线性函数不适合分类的问题，将线性函数值域压缩到(0,1)之间，表示概率。
在Logistic回归中，使用Logistic函数作为激活函数。
标签y=1的后验概率：
$p(y=1|X)=\sigma(W^TX)=\frac{1}{1+exp(-W^TX)}$
标签y=0的后验概率：
$p(y=0|X)=1-p(y=1|X)=\frac{exp(-W^TX)}{1+exp(-W^TX)}$
现在对上面的公式进行变换
$W^TX=log{\frac{p(y=1|x)}{1-p(y=1|x)}}=log{\frac{p(y=1|x)}{p(y=0|x)}}$

3.2.1 参数学习

Logistic回归采用交叉熵作为损失函数，梯度下降作为参数优化。

3.3 softmax回归

也叫多项、多类Logistic回归，是多类分类问题的推广。
$p(y=c|X)=softmax(W_c^TX)=\frac{exp(W_c^TX)}{\Sigma^C_{c'=1}exp(W_c^TX)}$
向量表示
$\hat y=softmax(W^TX)=\frac{W^TX}{1^Texp(W^TX)}$
决策函数是argmax
$\hat y=argmax^C_{c=1}p(y=c|X)=argmax^C_{c=1}W_c^TX$

3.4 感知器

是一种简单的二类线性分类模型

3.4.2 感知器的收敛性

3.4.3 参数平均感知器

3.4.4 扩展到多类分类

3.5 支持向量机SVM

是一个经典两类分类算法，其找到的分割超平面具有更好的鲁棒性。

3.5.1 核函数

将样本映射到更高维度，解决原始特征空间线性不可分的问题。

3.5.2 软间隔

学的有点崩坏了，这本书得配合练习来做。