Pytorch-多输出单层感知机的梯度求解

2020-02-10 本文已影响0人残剑天下论

首先这还是单层感知机，只是输出层有多个神经元。

先声明图中的变量，

$w^{1}_{jk}$ ：属于第1层的权重；是第0层的第 $j$ 个神经元和第1层的第 $k$ 个神经元之间的连接； $j$ 的取值为 ${0, 1, ..., n}$ ； $k$ 的取值为 ${0, 1, ..., m}$ 。

$x^{1}_{k}$ : 第1层的第 $k$ 个神经元；

$O^{1}_{k}$ : $x^{1}_{k}$ 进过 $\sigma$ 的值；

需要注意的是：

$E$ 是输出向量 $O^{1}$ 的所有分量 $O^{1}_{0}、O^{1}_{1}、...、O^{1}_{k}、...、O^{1}_{m}$ ，以及真实标签向量的所有分量 $t_{1}、t_2、...、t_k、...、t_m$ 都参与的损失函数，计算出的是标量值；
会发现 $\frac{\partial E}{\partial w_{jk}}$ 只与 $O_k$ 分量和 $t_k$ 分量有关。