4.高斯牛顿方程

2022-09-23 本文已影响0人光能蜗牛

相较于第2节的直接对函数进行二阶泰勒展开，然后求函数一阶导为零来进行迭代求极小值的方法

高斯牛顿法采用的是，只对函数进行一阶泰勒展开，然后对一阶泰勒展开进行平方，求其平方的一阶导为0来进行迭代

上面这段话翻译成公式就是
写出函数的一阶泰勒展开式
$F(X^{(K+1)})=F(X^{(K)})+J(X^{(k)})^T\Delta X$

求其最小二乘 $\frac{1}{2}||F(X^{(K)})+J(X^{(k)})^T\Delta X||^2$

求全微分
$\frac{\partial (\frac{1}{2}||F(X^{(K)})+J(X^{(k)})^T\Delta X||^2)}{\partial \Delta X}$

$=J(X^{(k)})\Big(F(X^{(K)})+J(X^{(k)})^T\Delta X\Big)$
$=J(X^{(k)})(F(X^{(K)})+J(X^{(k)})J(X^{(k)})^T\Delta X$

令 $J(X^{(k)})(F(X^{(K)})+J(X^{(k)})J(X^{(k)})^T\Delta X=0$

$\Rightarrow \Delta X=-(J(X^{(k)}).J(X^{(k)})^T)^{-1}J(X^{(k)})F(X^{(K)}).$

习惯上会让
$H_0(X^{(k)})=J(X^{(k)}).J(X^{(k)})^T$
$g(X^{(k)})=-J(X^{(k)})F(X^{(K)})$

于是 $\Delta X=H_0(X^{(k)})^{-1}g(X^{(k)})$

我们比较一下第二节的二阶泰勒法计算极小值
$\Delta X=-H(X^{(0)})^{-1}J(X^{(0)})$
这里相当于用一阶的雅可比矩阵对海瑟矩阵进行了近似，相对于使用来说，减少了计算量