AI数学基础3-直觉化理解计算图
2018-04-30 本文已影响59人
LabVIEW_Python
本节内容素材主要来自Andrew Ng的C1W2L07 slides.pdf
摘自《Computation Graph》Andrew Ng
为了方面编程计算，可以用计算图（Computation Graph)来表示计算，如上图所示：
每一个节点表示一个操作(Operation),例如，+，-，*，÷，等等；
每一条边表示变量传递
蓝色箭头表示正向计算（从左到右），这样非常方便计算代价函数（cost function ）J(w)
红色箭头表示反向计算（从右到左），这样非常方面计算J(w)的导数，如下图所示：
从上图可以看到，反向计算导数的算法是以微积分中求复合函数导数的链式法则为基础演变而来的。实际应用中，神经网络中的反向传播算法就是以链式法则为基础演变而来的。
链式法则(Chain rule)： 简单了解如下，详细论述见《Chain rule》
