程序员神经网络深度学习-推荐系统-CV-NLP

人工神经网络

2019-01-24  本文已影响9人  SpikeKing

人工神经网络(artificial neural network)是感知器(perceptron)和激活(activation)函数的集合,网络的隐藏层由多个感知器所组成,隐藏层提供非线性化,将输入层映射为低维的输出层。映射是累加输入层与权重的乘积,再加上偏移值。模型(model)就是网络结构的全部权重值(weight)和全部偏移值(bias)。

ANN

模型的训练过程,就是为了确定最合适的权重和偏移的值。在训练开始时,模型的值会被随机初始化。使用损失函数(loss function),对比训练的结果与真值(ground truth)的差异。根据损失值,在步骤中,参数不断地被调整。当损失值不能进一步下降时,训练被停止。在训练中,模型学习到数据的特征(feature)。特征是原始图像的抽象。

在通用的逼近定理(approximation theory)中,神经网络可以近似任何函数。隐藏层也可以被称之为全连接层(dense layer)。每一层都含有一个激活函数。层的数量取决于问题的难度。

反向传播:

  1. 随机初始化参数;
  2. 根据反向传播原理,链式求导,获得计算参数梯度的公式;
  3. 将其他参数,带入梯度公式,即w1的导数值,由其他参数w决定;
  4. 获得梯度值,再乘以学习率,下降的具体梯度值;
  5. 参数值,减去梯度值,完成梯度下降;

参考1参考2

上一篇下一篇

猜你喜欢

热点阅读