回归（二）：再论线性回归

机器学习中的“假设”问题

机器学习的本质是一个建模过程，所有理论都有出发点，也就是“假设”，那么这些假设有哪些特点呢？

• 内涵性
  类似于宏观经济理论强调的“微观基础”，假设依据常理也应该是正确的。比如我们假设一个人的身高在[150cm,220cm]内，对于大多数情况该假设都是正确的。但要注意的一点是往往正确并不意味着永远正确。

• 简化性
  假设只要求接近真实，并非完全模拟真实，所以我们往往需要做若干简化。
  比如在数理统计中用泊松分布模拟站台人流量，认为每个人的滞留时间都是独立同分布的，但真实世界并非如此，这很明显就是一个简化。

• 发散性
  我们在某种简化假设推导下得到的结论，不一定只有在假设成立时结论才成立。有时明显不正确的假设，但在实践中是work的。

![][equtation3]
[equtation3]: http://latex.codecogs.com/svg.latex?\hat{x}=(A^{T}A){-1}A^{T}\bm{b}
在实际工作中，若A^T*A不可逆或者防止过拟合，可以加入λ扰动。
![][equtation4]
[equtation4]: http://latex.codecogs.com/svg.latex?\hat{x}=(A^{{T}A+{\lambda}I)}{-1}A^{T}\bm{b}

残差分析

由上文可知，我们可知得到最小二乘解的矩阵形式是：
那么什么叫过拟合或者欠拟合呢？回到线性回归方程，我们最后得到的结果为：
![][equtation5]
[equtation5]: http://latex.codecogs.com/svg.latex?b=A{\hat{x}}+\epsilon
以为是拟合是尽量还原样本间的内在逻辑，曲线并不会过每一个样本，体现在这个等式中就是最后一项，我们将之称为残差，围绕这一项的工作，我们称之为残差分析。

对于残差项的分析，是分析模型合理性的重要指标。根据中心极限定理，在线性回归模型中，残差应满足白噪声假设（White Noise Condition）:

• 残差独立同分布（independent and identical distribution，iid），且无自相关性；
• 残差和自变量X不相关;
• 残差的均值为0，方差为常数。

在统计学中，白噪声随机序列是指一组无自相关性，且有相同分布的随机序列。理论上，白噪声假设不要求随机变量服从正态分布，而可以是任意分布。但基于中心极限定理，假设残差服从正态分布是一个合理的近似。
基于以上白噪声假设的第3条，当残差方差为常数时，我们称残差具有同方差性（homoscedasticity）；当残差方差不是常数时，称残差具有异方差性（heteroscedasticity）。

可视化在残差分析中的重要性

著名的安斯库姆四重奏（Anscombe's quartet）展示了在线性回归模型中具有相同的统计特征，但数据分布明显不同的四个例子，用于说明线性回归建模前进行数据可视化分析的重要性：

我们除了关注数据是否存在明显的线性相关特征外，还需要观察离群值的数量。离群值和残差异方差性是紧密相关的概念。通常，如果一个数据点为离群值，同时也意味着它对应的残差具有较大的方差，因此数据中的离群值数量较多的话，残差一般也会出现明显的异方差性。

关于线性回归的离群值的判断，有两个要点：

• 数据中存在少量的离群值是合理的。例如，当我们产生1000个服从标准正态分布的随机数，以距离均值大于两个标准差作为离群值判断标准，因为数据落在两个标准差之外的概率约为4.5%。此时如果我们去除这45个离群值来估计分布的方差，将会得到小于1的结论。因此，在删去离群值前应慎重考虑，除了因为存在少量离群值是合理的以外，离群值可能包含抽样或者数据的特征或者存在的问题。因此，如果数据中存在相当数量的离群值，应分析其成因，而非简单将其删去。

• 线性回归离群值（regression outlier）是指对线性回归模型参数估计有强影响力的离群值（influential outlier）。只有当一个离群值具有高杠杆值（high leverage）且有明显的偏差（significant discrepancy）时，它才有可能是具有强影响力的。对于一元回归而言，只有当数据点出现在图的右下方时，它才有可能是有强影响力的。