[cs231n]Lecture 4:Backpropagatio

反向传播算法、神经网络

思想：前向计算Loss函数值，然后通过后向传递将梯度传递回去，通过设置learning_rate进行梯度更新。

梯度计算

其中各节点的Loss值可以计算诸如x*y函数的梯度（如y的梯度即为x）
max gate：较大者梯度为1，较小者为0（分段函数）
链式求导法则：local gradent与后向梯度相乘，多个偏导相加。

神经网络

核心为非线性网络。即多层线性网络通过非线性函数连接起来，正如同神经元一样。

两层神经网络

其中W1、W2，b1、b2均为参数，而h为hiden layer的score。

将神经元与神经网络做类比是不严谨的，但是他们有相似性。

类比

神经元通过汇集信号，然后放电；而神经网络层将所有值相加，然后通过非线性函数（如relu）进行参数放大。

常见激活函数

神经网络基本结构为一个输入层、若干隐藏层、一个输出层。

三层神经网络