09-20201012 感知机3-感知机的前向传播和反向传播

简单来说

对于单层感知机来说前项传播就是 y = wx+b 。可用如下图表示

反向传播就是 通过真实值和预测值的产生的误差返回去调整w和b的过程

用流程图来表示，如下

说到这里，正向传播就是y=wx+b，如此简单。

那么这个反向传播的这个loss如果得到呢？

在数据训练前我们会有 训练数据，我们叫输入值(就是x)，初始值(w,b),预测标签(label)

那么用y = wx+b 就可以得到 预测值y。那么loss = label-y。

说完了前向传播，我们再来说说这个反向传播。

现在我们已经拿到了loss了，如何将w,b更新上去呢？

我们将初始的w,b 定义成w0,b0 ,现在我们要得到的是w1,b1 。

按照t度下降的规则，我们可以得到,其中rate为步长

W1 = W0-rate*( Loss对w求导 )

B1 = B0 - rate*(Loss对B求导)

其中Loss对w求导的细则可以自己试着推导下(其中就是运用了复合函数的求导法则)，其推到结果如下

W1 = W0-rate * Loss * W0

B1 = B0-rate * Loss

那么我们的正向传播和反向传播算法就可以结合起来反复计算出W和B的最优解了