牛顿法

2017-02-26  本文已影响0人  Flying_tiger

         牛顿法用来解决优化问题,优化问题在机器学习中是是常见的问题。对于一个可微的函数如何找到他的极值点就是优化问题。

牛顿法只能得到局部极值

这种方法需要给出一个初始点

原理:二阶逼近

牛顿法对局部凸函数找到极小值,对局部凹函数找到极大值,对局部不凸不凹函数可能找到鞍点

牛顿法要求估计二阶导数。

公式推导:二阶逼近

首先在初始点 x0处,写出二阶泰勒级数

上一篇 下一篇

猜你喜欢

热点阅读