哲哲的ML笔记（五：多变量线性回归）

2020-08-31 本文已影响0人沿哲

回顾

之前讨论的实际问题：根据尺寸预测房价。很明显，该问题只有一个单一变量，而且预测之前就很容易看到这是一个线性关系
但是，当我们有很多变量：如尺寸、卧室数量、层数……不仅特征会变多，而且预测函数原来的 $h_{\theta}=\theta_0+\theta_1x$ 也不再适用

房价预测的多变量

多变量的表示

先注明一些Notations：

变量	含义
$n$	特征数量
$x^{i}$	第i个样本的所有特征
$x_{j}^{i}$	第i个样本的第j个特征

这仍然是线性问题，此时预测函数应为下式
$h_{\theta}(x)=\theta_0+\theta_1x_1+\theta_2x_2+…\theta_nx_n$

还可以表示成：
$h_\theta(x)=\theta^Tx$

$x=\begin{bmatrix} x_0 \\ x_1\\…\\x_n \ \end{bmatrix} \in R^{n+1} \quad$
$\theta=\begin{bmatrix} \theta_0 \\ \theta_1\\…\\\theta_n \ \end{bmatrix} \in R^{n+1} \quad$
注： $h_{\theta}(x)$ 中的 $x$ 代表某一个样本，对应Notations中的 $x^{i}$ ； $\theta_0+\theta_1x_1+\theta_2x_2+…\theta_nx_n$ 中的各 $x$ 代表这个样本中的特征

多变量线性回归

经过上述讨论，问题如下

变量	表达
$Hypothesis$	$h_\theta(x)=\theta^Tx$
$Parameter$	$\theta_0, \theta_1, …, \theta_n$
$Cost Function$	$J(\theta)=\dfrac{1}{2m}\sum\limits_{i=1}^{m}(h_\theta( x^i)-y^i)^2$

根据梯度下降的知识，我们知道了要不断重复
$\theta_j=\theta_j-\alpha\frac{\partial}{\partial \theta_j} J(\theta)[同时更新j=0,1,2^n]$
在只有一个变量的问题中，将 $\theta$ 的更新式子写开是如下的形式，对于多个变量也类似， $\theta_0$ 的表达式都是一样的

哲哲的ML笔记（五：多变量线性回归）

回顾

多变量的表示

多变量线性回归

猜你喜欢

热点阅读