拟牛顿法的原理

多元函数的泰勒展开式

牛顿法

牛顿法是梯度下降法的进一步发展，梯度利用目标函数的一阶偏导数信息，以负梯度方向作为搜索方向，只考虑目标函数在迭代点的局部性质；而牛顿法不仅使用目标函数的一阶偏导数，还进一步利用目标函数的二阶偏导数，这样就考虑了梯度变化的趋势，因而能更全面的确定合适的搜索方向以加快收敛，它具有二阶收敛速度（即牛顿法在选择方向时，不仅会考虑坡度是否够大，还会考虑在走了一步之后，坡度是否会变得更大，所以说牛顿法比梯度下降法看的更远一点，能更快的走到最底部）。但牛顿法存在两个缺点：

1. 对目标函数有较严格的要求，函数必须具有连续的一、二阶偏导数，海森矩阵必须正定。

2. 计算相当复杂，除需计算梯度而外，还需计算二阶偏导数矩阵和他的逆矩阵。计算量、存储量均很大，且均以维度N的平方比增加，当N很大时这个问题很突出。

拟牛顿法

参考：主要参考《统计学习方法》附录B

多元函数的泰勒(Taylor)展开式

牛顿法与拟牛顿法学习笔记（一）牛顿法

牛顿法与拟牛顿法学习笔记（二）拟牛顿条件

梯度下降法、牛顿法和拟牛顿法