深度学习扩展_梯度下降

2020-03-18 本文已影响0人我_7

$f^{ \prime}(x)$ ：当 $x$ 发生微小变化的时候， $f(x)$ 的变化有多大。可用式子表示 $f(x+ \varepsilon ) \approx f(x)+\varepsilon f^{ \prime}(x)$

$f(x- \varepsilon \ \mathrm{sign}( f^{ \prime}(x)) )<f(x)$

$\nabla f(\mathbf{x})$ 是梯度，指向最陡上升方向。

$\nabla_{\mathbf{v}} f(\mathbf{x})$ 是方向导数，并不指向最陡上升方向。

$\mathbf{v} =\begin{bmatrix} 2 \\[0.3em] 3 \\[0.3em] -1 \\[0.3em] \end{bmatrix}$ ， $\nabla_{\mathbf{v}} f(x,y,z) = 2\frac{\partial f}{\partial x}+3\frac{\partial f}{\partial y}+(-1)\frac{\partial f}{\partial z}$ 沿着 $\mathbf{v}$ 方向的微小推动可以被分解成 $x$ 方向上的2个微小推动， $y$ 方向上的3个微小推动，以及在 $z$ 方向上向后微小的微移 $-1$

在 $\mathbf{v}$ （单位向量）方向的方向导数是函数 $f$ 在 $\mathbf{v}$ 方向上的斜率 $\nabla_{\mathbf{v}} f(\mathbf{x})=\left.\frac{\mathrm{d} f_{\mathbf{v}}}{\mathrm{d} α}\right|_{α=0}=\lim _{α \rightarrow 0} \frac{f(\mathbf{x}+α \mathbf{v})-f(\mathbf{x})}{α}=\mathbf{v} \cdot \nabla f(\mathbf{x})$ ，其中 $\mathbf{v}^T\mathbf{v}=1$

当 $\mathbf{v}$ 和 $\nabla f(\mathbf{x})$ 方向相反的时候， $\min \nabla_{\mathbf{v}} f(\mathbf{x})$ 成立。

同理当方向相同的时候 $\max \nabla_{\mathbf{v}} f(\mathbf{x})$ 成立。

PS：衡量2个标准化向量是否接近，就是让其做內积，內积越大就表示越接近。（如果没有标准化，不改变方向，只改变向量的长度，也能增加內积的值）

深度学习扩展_梯度下降

猜你喜欢

热点阅读