180723.线性回归

2020-04-28 本文已影响0人 Far_well

1. 概念

回归(Regression)

《机器学习》：假设现有一些数据点，我们用一条线去对这些点拟合，该线称为最佳拟合直线，这个拟合的过程为回归。

2.多元线性回归（Linear Regression）

2.1 线性回归模型与解决方案

例：训练集房屋面积与价格的数据表，预测其他不同面积的房屋的价格？需要得到的结果是具体的数值。
方案：将现有数据在图中标记后，拟合出一条合理的曲线（在这里是一条直线），然后用这条曲线预测新的房屋面积对应的价格。

Line1.png

h(Hypothesis) 假设函数如下:
$h_\theta(x) =\sum_{i=0}^nθ_ix_i=\theta^T x$
公式里的参数 $\theta$ 和输入x都被视为向量，即 $\theta^T$ = $\begin{bmatrix}\theta_0\\\theta_1\\ \vdots\\\theta_n \end{bmatrix}$ , $x$ =[ x_0 x_1 $\cdots$ x_n]， $\theta^T$ ：转置符号 $T$ 表示列向量
对于给定的x ，f(x)与真实值Y可能具有差异，为表示拟合的好坏，用一个函数来度量拟合的程度：
$J(\theta)=\frac{1}{2m}\sum_{i=1}^m(h_\theta(x^i)-y^i)^2$
上式中 $h_\theta$ 表示利用拟合出来的直线计算出的第i个数据的预测结果，y表示实际结果，直观的表达式理解为每个房屋的预测值与实际值之差的平方和。
目标：得出 $h_\theta(x)$ 的表达式；怎么画出直线由参数 $\theta$ 决定；为使得 $\theta$ 取值使得结果尽量准确则需 $minJ(\theta)$ 。
两种解法：1.梯度下降算法 2.正规方程算法（只适用简单的线性回归）