TF笔记 - BP

√反向传播：训练模型参数，在所有参数上用梯度下降，使NN模型在训练数据
上的损失函数最小。

√损失函数（loss）：计算得到的预测值 y 与已知答案 y_的差距。

损失函数的计算有很多方法，均方误差MSE是比较常用的方法之一。

√均方误差MSE：求前向传播计算结果与已知答案之差的平方再求平均。

formula.png

用 tensorflow 函数表示为：
loss_mse = tf.reduce_mean(tf.square(y_ - y))

√反向传播训练方法：以减小loss值为优化目标，有梯度下降、momentum优化
器、adam优化器等优化方法。
这三种优化方法用 tensorflow 的函数可以表示为：

train_step=tf.train.GradientDescentOptimizer(learning_rate).minimize(loss)

train_step=tf.train.MomentumOptimizer(learning_rate, momentum).minimize(loss)

train_step=tf.train.AdamOptimizer(learning_rate).minimize(loss)

√学习率：决定每次参数更新的幅度。