Linear Regression (线性回归)

2018-06-08 本文已影响197人倒着念

概述

线性回归是机器学习的一种回归模型，同时也是统计学中的回归模型。回归模型主要被用来预测真实值，相反分类问题主要被用来预测离散的数值，如有癌症或无癌症，薪水超过5k或没有。

任何机器学习模型都有输入、输出、学习算法和损失函数。线性回归的输入可以有1或多个输入变量或者说是特征，输出只允许有一个 (也就是我们的预测值)，其公式比较类似于多元一次函数

公式1

比如我们要预测一个人的薪水为多少，我们只需要将我们所拥有该用户的相关属性输入进去 (也就是xj) 与相应系数相乘的和便是我们最终预测的该用户的薪水量。

简单线性回归

简单线性回归也就是只拥有一个输入和一个输出，如图1

在图1中，蓝色的点就是我们拥有的数据，其只有一个属性 (如所交税，信用度等)，纵轴是我们预测的值 (如收入薪水)，而红色的线就是我们训练好的简单线性回归模型，我们可以根据输入不同的input数值来预测最终的output。

线性回归损失函数

线性回归和简单线性回归的区别就在于它拥有多个属性来作为输入。其损失函数是平方误差 (square error) 来判断的，我们的目的是让损失函数得到的值最小，也就是要让损失的误差数最小。Square Error的公式如下：

Square Error Formula

m是我们拥有的用户数量，h(x)就是我们上面提到的线性回归模型的公式，通过预测值和真实值的差开平方，该值一定大于等于0，通过除以用户总数，我们就得到了平均损失值。大家会有一个问题，就是为什么还要除以2 ？其原因是为了对其求导的简便化 (Mathematically convenient) ，加上2和不加上2并不会影响我们最终的判断。