6 自动微分-阅读笔记(1)
2019-06-10 本文已影响0人
深度学习模型优化
自动微分是tensorflow、pytorch和caffe带给我们最大的好处,这为深度学习的发展提供了巨大的便利性。这里我们回顾下自动微分的原理和技术实现。
1 引言
本章会介绍自动微分技术和一些常见的优化技巧,前者是大多数框架能够自由扩展的基础,而后者很多框架都提供了。
在介绍自动微分(Automatic Differentiation)之前,我们先介绍其它两种计算微分的方法,从而说明自动微分的好处在哪里,为什么它会成为大部分深度学习框架的基础。
2 数值微分
这个是比较常见的,来自于微积分中导数和梯度的定义:
在实际中,取为一个很小的值,于是有
或者
以及
还有一种不怎么熟的理查德森外推法(Richardson's extrapolation);