深度学习原理9

9、反向传播

反向传播.PNG
回顾.PNG
第一步：正向传播.PNG
第二步：反向传播.PNG
随机梯度下降步骤.PNG

第一步的原因：以S函数为例，在自变量过大或者过小，它的导数趋近于零，会使一开始参数优化的过程非常的缓慢，所以我们一开始参数的初始化值会比较小。
第四步：我们之前计算损失函数都是用的欧几里得函数，还会有另外计算损失函数的方法，比如cross entropy。
第六步中我们更常用到的是第二种方法。
第七步引入一期训练的概念，训练集所有观察数据优化完毕，得到的神经网络，即为一期。