单变量线性回归

模型介绍

如图所示，在房价预测中，房间大小与其价格的关系可以简单地看成是一组线性关系，对于每一个房间大小，都有一个房价与其对应。

房价预测模型

下图所示的是一组房价预测模型的训练样本，我们用特定字母表示其特定含义，如下：

房价预测训练样本

训练样本数
输入特征/输入变量
输出特征/目标变量的预测值
通常，可以用表示一个训练样本(one training example)，用，表示第i个训练样本。

• 假设函数（hypothesis function）
  通常用表示假设函数，训练样本(training set)与假设函数及其输入，输出的的关系如下图简单所示：
  假设函数与训练样本之间的关系

在单变量线性回归中，假设函数可以写成如下所示：
，表示输入输出之间的线性关系。

代价函数（cost function）

对于 而言，选择不同的和，会得到不同的假设函数。在单变量线性回归模型中，提高模型训练的正确率关键在与选择合适的参数。

• 最小化（minimize）
  回归模型的拟合就是要减小预测值与实际值的差，即取得代价函数的最小值，代价函数可以用以下公式表示,其中，m表示训练样本集的大小:
  

• 一个参数的代价函数
  我们的目标就是得到的最小值。如下图所示，假设，那么，对于，每一个都有都有一个值，并且唯一对应一个值，那么，问题就可以简化为·，寻找合适的，使其满足的同时，满足函数，并且使最小。
  

  一个参数的代价函数与假设函数

• 两个参数的代价函数表示
  以上，讨论了一个参数的图像及其表示，而有两个未定参数,时的代价函数，其3D图像表示如下所示，其高度代表了代价函数的大小。
  

  代价函数的三维表示
  为了更方便的表示代价函数的意义，通常在平面图形中用类似于等高线的方式表示，显然，同一同心椭圆代表同一高度，代表了同一个函数和与之对应的函数。而的最小值，显然就是同心椭圆的圆心。

代价函数的二维平面表示

梯度下降(Gradient decent)

• 梯度下降的基本介绍
  在梯度下降算法中，首先初始化和(通常取,)，不断改变和的值，寻找的最小值或者局部最小值。如下图所示，给定初始值，不断朝着下降速度最快的方向，直至最低点（也就是局部最优解）。
  

  梯度下降的三维图像表示

• 梯度下降算法的数学意义
  梯度下降算法用数学公式表示，如下所示：
  {
  
  
  }

以上公式中，代表学习率（learning rate），用来控制梯度下降时，应该迈出多大的步子。越大，代表梯度下降越迅速，取值过大，有可能导致梯度下降过程中越过的最小值，甚至无法收敛。当是局部最小值时，的导数为0，将不再发生改变。

注意，和是同时更新的，而不是先更新完之后，再更新.

如下图所示，随着梯度下降过程的发展，的值越来越小，直至达到局部最小值，即也就是，其中，代表梯度下降算法运行的时间。

梯度下降过程

线性回归中的梯度下降

以上，讨论了代价函数和梯度下降的相关内容，那么如何将梯度下降运用到线性回归中呢？

• 数学表示
  {
  
  
  }
  通过以上算法，不断更新迭代，直至收敛，找到合适的和.