人工神经网络
2019-01-24 本文已影响9人
SpikeKing
人工神经网络(artificial neural network)是感知器(perceptron)和激活(activation)函数的集合,网络的隐藏层由多个感知器所组成,隐藏层提供非线性化,将输入层映射为低维的输出层。映射是累加输入层与权重的乘积,再加上偏移值。模型(model)就是网络结构的全部权重值(weight)和全部偏移值(bias)。
ANN模型的训练过程,就是为了确定最合适的权重和偏移的值。在训练开始时,模型的值会被随机初始化。使用损失函数(loss function),对比训练的结果与真值(ground truth)的差异。根据损失值,在步骤中,参数不断地被调整。当损失值不能进一步下降时,训练被停止。在训练中,模型学习到数据的特征(feature)。特征是原始图像的抽象。
在通用的逼近定理(approximation theory)中,神经网络可以近似任何函数。隐藏层也可以被称之为全连接层(dense layer)。每一层都含有一个激活函数。层的数量取决于问题的难度。
反向传播:
- 随机初始化参数;
- 根据反向传播原理,链式求导,获得计算参数梯度的公式;
- 将其他参数,带入梯度公式,即w1的导数值,由其他参数w决定;
- 获得梯度值,再乘以学习率,下降的具体梯度值;
- 参数值,减去梯度值,完成梯度下降;