回归是一种监督学习，监督学习指的是有目标变量或预测目标的机器学习方法。
回归与分类的不同，就在于其目标变量是连续数值型。

用线性回归找到最佳拟合直线

• y = ax₁ + bx₂ + c类似这种形式的就是回归方程
• 求回归系数的过程就是回归（如上就是求a、b、c）
• 可以用最小二乘法（OLS）：追求均方差最小

局部加权线性回归（LWLR）

• 使用核函数来对附近的点赋予更高的权限
• 选取合适的平滑值，拟合出来的就是类似曲线，但要注意由于考虑了太多噪声会可能过拟合。

缩减法

• 适用于数据的特征比样本点还多的情况
• 特征点比样本点多的情况下，会使得矩阵不是满秩矩阵，无法求逆。

• 岭回归是一种缩减方法,公式如下：

  
  image.png