梯度下降算法
2018-08-12 本文已影响31人
偶是星爷
在梯度下降算法里,最重要的公式是:
视频里直接给出了下面的解,求导数的过程没有详细说明,我自己参照课本,写出了求导的详细过程。
导数的求解直接按照定义 f(x)' = lim (y1-y0)/(x1-x0) 即可,不需要记公式。
实际在变线代码的时候,步长a的选择也很关键,当发现不收敛时需要减小步长。
红色是参照课程的实现,蓝色是numpy的结果,红色是收敛到步长1/10的结果。
收敛到1/100,可以看到两者已经很接近了。