总览

在本教程中，我们将使用具有两个输入，两个隐藏的神经元，两个输出神经元的神经网络。另外，隐藏和输出的神经元将包括偏差。

基本结构如下：

image

为了获得一些数字，下面是初始权重，偏差和训练输入/输出：

image

反向传播的目标是优化权重，以便神经网络可以学习如何正确地将任意输入映射到输出。

对于本教程的其余部分，我们将使用单个训练集：给定输入0.05和0.10，我们希望神经网络输出0.01和0.99。

前进通道

首先，让我们看看在上述权重和偏差以及输入为0.05和0.10的情况下，神经网络目前预测的结果。

为此，我们将通过网络提供这些输入。我们计算出每个隐含层神经元的总输入，使用激活函数(这里我们使用逻辑函数)压缩总输入，然后对输出层神经元重复这个过程。

image image

计算总误差

现在，我们可以使用平方误差函数计算每个输出神经元的误差，并对它们求和以获得总误差：

image

该1/2包括在内，以便我们以后区分该指数被取消。无论如何，最终结果还是要乘以学习率，因此我们在此处引入常数[ 1 ] 都没关系。

image

向后通行

我们反向传播的目标是更新网络中的每个权重，以便它们使实际输出更接近目标输出，从而将每个输出神经元和整个网络的误差最小化。

输出层

image image image image image image image image image image image