Python梯度下降法

本文主要讲解梯度下降算法，以及Python的实现一个简单的例子

梯度下降法又称为最速下降法，是 1847 年有数学家柯西提出的，是解析法中最古老的一种，其他解析方法或是它的变形，活受到启发得到，因此它是最优化方法的基础。

对于一个无约束问题的目标函数

可微函数
是一阶连续可微。由泰勒展开式得到： 泰勒展开式

选取

迭代方程
其中r(gamma)是迭代步长，这就是梯度下降法。当然由于梯度方向是变化最快的放向，取定x的变化方向为梯度的反方向，可以保证迭代速度最快，当然这个算法的缺点就是

• 只使用一阶导数，迭代的速度较慢，控制好步长及初值，否则可能出现迭代不收敛的情况
• 迭代到靠近极值的时候，迭代的速度减慢
• 如果函数不是凸函数，则很可能只是局部最优解，而不是全局最优解。当然极值和最值概念，读者肯定清楚

接下来给一个例子帮助理解：

考虑函数 f(x) = x^2 -3x + 5此函数在x=1.5 时取得最小值为2.75
迭代初值为x(0)=3，迭代步长为r=0.01

f(x) 的梯度即为函数的导数df/dx = 2x - 3
x(n + 1) = x(n) - r df/dx =x(n) - h*(2 x(n) - 3)
x(n + 1) = 0.98 x(n) + 0.03
到此为止，可以通过求解以上数列的通项公式，然后求极限得到最终收敛1.5。在此我使用迭代1000次得到的结果为x=1.5000000008414838说明通过求解横坐标的收敛值，最终可以得到函数的最小值。

梯度下降法实现的思路：

• 通过迭代横坐标最终收敛的值，确定函数取得极值的横坐标。
• 迭代前后函数值的差小于某一个指定常数eps，如|f(x) - f(x0)| < eps，则跳出循环，否则继续迭代方程

下面给出两种实现方法的Python代码

def grad_dec(eps=1e-8, delta=0.001):
    """
    :param eps: 函数值误差
    :param delta: 迭代步长
    """
    x0 = 3.0
    f = lambda a: a * a - 3.0 * a + 5.0
    while True:
        x = x0 - delta * (2.0 * x0 - 3.0)
        if abs(x - x0) < eps: # 指定横坐标收敛跳出循环
            break
        x0 = x
    print(x, f(x))


if __name__ == '__main__':
    grad_dec()

输出结果为：
1.500004984618336  2.7500000000248463

def grad_dec(eps=1e-8, delta=0.001):
    """
    :param eps: 函数值误差
    :param delta: 迭代步长
    """
    x = 3.0
    f = lambda a: a * a - 3.0 * a + 5.0
    while True:
        f_start = f(x)
        x = x - delta * (2.0 * x - 3.0)
        f_end = f(x)
        if f_start - f_end < eps:
            break
    print(x, f(x))


if __name__ == '__main__':
    grad_dec()

输出结果为：
1.5015783203943125  2.750002491095267

仔细看程序，及输出的精度，你会发现什么？

我是边学边写笔记，如果写的不好的地方，请大神指出。（限于markdown输出LaTeX数学公式不是很方便，所以给出公式不是很多）