5.1 计算图

1.计算图中从左至右计算是正向传播，反之为反向传播。

2.计算图是局部计算，各节点只计算与自己有关的计算，反向传播的是局部导数。

3.计算图优点 ①集中精力于局部计算，并保存中间的计算结果。

                      ②通过正向传播和反向传播高效的计算各个变量的导数值。

5.2 链式法则

链式法则：如果某个函数由复合函数表示，则该复合函数的导数可以用构成复合函数的各个函数的导数的乘积表示。

5.3 反向传播

1.加法节点的反向传播：将输入信号输出到下一个节点。

2.乘法节点的反向传播：乘以输入信号的翻转值，且反向传播需要正向传播时的输入信号值。

5.5 激活函数层的实现

1.ReLU层

2.Sigmoid层

5.6 Affine/Softmax层

1.Affine层

2.Softmax-with-Loss层

5.7 误差反向传播法的实现

1.梯度确认：数值微分求出的梯度结果与误差反向传播法求出的结果是否一致的操作。

---

ps：

1.正向传播的矩阵乘积运算又称仿射变换，进行仿射变换的处理实现成为“Affine层”

2.orderedDict是有序字典

3.axis = 0  按行计算； axis = 1 按列计算