西瓜书扩展_线性回归

2020-03-18 本文已影响0人我_7

在现实世界中，我们常与各种变量打交道，在解决实际问题过程中，我们常常会遇到多个变量同处于一个过程之中，它们之间互相联系、互相制约。常见的关系有两种：

一类为 “确定的关系”即变量间有确定性关系，其关系可用函数表达式表示．

例如：路程s,时间t, 与速度v之间有关系式：s=vt

另外还有一些变量．他们之间也有一定的关系，然而这种关系并不完全确定，不能用函数的形式来表达，在这种关系中至少有一个变量是随机的．

例如：人的身高与体重有一定的关系，一般来讲身高高的人体重相对大一些．但是它们之间不能用一个确定的表达式表示出来．我们称之为相关关系．

又如环境因素与农作物的产量也有相关关系，因为在相同环境条件下农作物的产量也有区别，这也就是说农作物的产量是一个随机变量．

回归分析就是研究相关关系的一种数学方法，是寻找不完全确定的变量间的数学关系式并进行统计推断的一种方法．它能帮助我们从一个变量取得的值去估计（预测）另一个变量的值．在这种关系中最简单的是线性回归。

尽管“最小二乘法”和“线性模型”是紧密相连的，但他们是不能划等号的。

最小化Ein，也就是求解w的过程，可以理解为算法在假设空间中寻找一个g≈f

$\mathbf{x}$ 为一个数据点（一个客户），总共有 $N$ 个客户想申请我们的会员

$x_{i}$ 为一个客户的各项信息， $w_{i}$ 为衡量一个客户各项信息的权重，总共要填写 $d$ 项内容

$y$ 表示这名客户是否有资格成为我们的会员（由BOSS 也就是未知的目标函数f 决定的已知真实标记）

$\mathbf{x}=\left[\begin{array}{c}{x_{0}} \\{x_{1}} \\{\vdots} \\{x_{d}}\end{array}\right]$ ， $X=\left[\begin{array}{c}{\mathbf{x}_{1}^{T}\quad1} \\{\mathbf{x}_{2}^{T}\quad1} \\{\vdots} \\{\mathbf{x}_{N}^{T}\quad1}\end{array}\right]$ ， $\mathbf{y}=\left[\begin{array}{c}{y_{1}} \\{y_{2}} \\{\vdots} \\{y_{N}}\end{array}\right]$

$h(\mathbf{x})=\sum_{i=0}^{d} w_{i} x_{i}=\mathbf{w}^{T} \mathbf{x}$

$h(\mathbf{x}) = \hat{y}$ ， $X\mathbf{w}=\hat{\mathbf{y}}$

$E_{in}=\frac{1}{2} \sum_{i=1}^{N} \Big(\hat{y} _{i}-y_{i} \Big)^{2}$ $=\frac{1}{2} ||\hat{\mathbf{y}}-\mathbf{y}||^{2}$

$\underset{\mathbf{w}}{\arg\min}\ E_{in}$

$\nabla_{\mathbf{w}} E_{in}=X^{T}X \mathbf{w}-X^{T} \mathbf{y}=X^{T}(X \mathbf{w}- \mathbf{y})=0$

行列式判别只针对方阵

$\det(X^{T}X) \ne 0$ 可逆， $\mathbf{w}=(X^{T} X)^{-1} X^{T} \mathbf{y}$

$\det(X^{T}X)= 0$ 不可逆， $\mathbf{w}^+= X^{+} \mathbf{y}$

```

data=load('ex0.txt');

xMat=data(:,1:2);yMat=data(:,3);

xTx = xMat'*xMat;

xTy = xMat'*yMat;

if det(xTx) == 0

ws = pinv(xMat)*yMat;%不可逆

else

ws = inv(xTx)*xTy;%可逆

end

clf

plot(xMat(:,2),yMat,'bo');hold on

yhat=xMat*ws;

plot(xMat(:,2),yhat,'r-');

```

上一篇下一篇

猜你喜欢

热点阅读