7.3 基于线性回归的估算

线性回归在统计学中是针对若干样本数据的自变量与因变量之间线性关系的一种回归模型，利用数理统计分析的方法，确定两个或者多个变量之间依赖的定量关系的一种统计分析。

7.3.1 概要

在线性回归中，数据采用线性函数的方式进行数据建模，对模型中的未知参数也采用数据进行估计。对于一个多变量的线性回归模型可以表示如下公式：

其中，y是x的线性函数，是误差项。线性则是的条件均值，在参数里是线性的。有些函数模型看起来并不一定是线性回归，但是通过代数转换可以转换为线性回归模型。

7.3.2 最小二乘法

最小二乘法也称作最小平方法，最常用的是普通最小二乘法，是一种数学中的有害方式，视图找到一个或一组估计值 ，使得实际值与估计值尽可能相似，距离最小（点到直接的y轴距离最短，即通过该点并于y轴平行的直线，点到该y轴平行线与直线交点的距离最短），目的是通过已有的数据来预测未知数据。

核心思想：通过最小化误差的平方和，试图找到最可能的函数方程。

优：最小二乘法易于实现，在各行各业广泛使用，。

缺：计算量比较大，当样本数据不断增加后，计算量会明显增加，在阶数更高时计算量则更为复杂。

为解决更多问题，基于最小二乘法衍生出了移动最小二乘法，加权最小二乘法及偏最小二乘法等。