深度学习-从感知机到反向传播

1 单层感知机

1.1 单层单输出

单层单输出

下标的说明：

• 1、X上标表示所在层数, X下标表示每层的第#个元素。
• 2、W上标表示所在层数, W下标第一位表示连接的上一层的第#个元素，第二位表示连接的当前层的第#个元素。
• 3、单层感知机第二层只有一个节点，如上图。
• 4、下文所有的推导中激活函数都为sigmod，损失函数为均方根误差MSE。

sigmod激活函数：

名称	公式
函数
导数

MSE损失函数：
梯度计算过程：

1.2 单层多输出

单层多输出
MSE损失函数：
权重计算过程：

2 多层感知机

多层感知机

多层感知机： 多层感知机
梯度计算过程： 权重计算

反向传播

计算最后一层的权重：

示意图	结果

反向传播思想： 反向传播

反向传播步骤：
1 计算输出层梯度；
2 利用输出层梯度计算隐藏层梯度。 利用前一层的梯度，计算当前层梯度，依次类推，直到第一层；
3 各层梯度计算完成之后，利用已得梯度和学习率，更新各个层的权重，完成一次学习过程。

反向传播示意：

编号	第#次传播
计算输出层梯度	第一次传播
利用输出层梯度计算隐藏层梯度	第二次传播
利用隐藏层梯度计算输入层梯度	第三次传播