最速下降和梯度下降

梯度下降只是最速下降的一个子集，梯度下降用的是欧式范数。但是很多时候起始点的梯度并不代表过程中的梯度，所以有的时候会有误差。如果不用欧式范数，那用什么范数呢？用海森范数，就是我们想到梯度的变化率，也是牛顿法中所用的方法。当海森矩阵的特征值的最大值和最小值之间的比例相差不大的时候，可以用梯度下降，说明变化不大。

https://blog.csdn.net/Timingspace/article/details/50963564