最小二乘和KKT

2022-08-09 本文已影响0人冬风十里Y

最小二乘法的本质是什么？https://www.zhihu.com/question/37031188
需要复习的概念：【似然函数】【无偏估计】【联合概率】

通过尺子长度的例子，了解到算数平均值是最小二乘法在假设关系为常数函数时的一个特例。

而对于最小二乘法与正态分布的关系，从概率的角度考虑。

重温概率密度函数与概率分布函数，两者的关系为概率密度函数为概率分布函数的导函数。

下面的假设联合概率， $L(x)=p(\epsilon_1)p(\epsilon_2)p(\epsilon_3)=p(x-x_1)p(x-x_2)p(x-x_3)$
当选择x为变量时，上面的函数即为似然函数。

如果最小二乘法是对的，那 $x=\overline x$ 时，最大似然法应该得到的是最大值。所以对联合概率求导， $\left. \frac{{\rm d}}{{\rm d}x}L(x) \right| _{x=\overline x} =0$
解这个微分方程可得高斯密度函数（正态分布）。

即高斯分布和最小二乘法互为充要条件。换句话说，最小二乘法的假设为误差符合高斯分布，这一假设的基础是中心极限定理。