最小二乘法和梯度下降求解法的区别

之前学习ML的时候，损失方程使用梯度下降法求的，然后损失方程就是均方差(最小二乘)，然后就误以为最小二乘法就是指损失方程，而求解方法就是梯度下降。后来看来线性最小二乘法和非线性最小二乘法发现和我学的梯度下降法根本不同。才明白最小二乘法和梯度下降法一样，都是求最优化的一种手段，哈哈~

比较如下:

(1)最小二乘法和梯度下降法在线性回归问题中的目标函数是一样的(或者说本质相同)，都是通过最小化均方误差来构建拟合曲线。

(2)二者的不同点可见下图(正规方程就是最小二乘法)：

需要注意的一点是最小二乘法只适用于线性模型(这里一般指线性回归)；而梯度下降适用性极强，一般而言，只要是凸函数，都可以通过梯度下降法得到全局最优值(对于非凸函数，能够得到局部最优解)。

机器学习中不使用第一种方法的原因主要是因为涉及方阵求逆——矩阵求逆的复杂度是O(N^3)，其中，N为特征数目。次要原因是因为如果特征数目大于样本数目，则方阵是奇异矩阵，逆不存在（——这其实常常通过惩罚因子来解决）

https://www.cnblogs.com/wangkundentisy/p/7505487.html

https://blog.csdn.net/sinat_27652257/article/details/80657397