《莫烦TensorFlow》笔记

激励函数

AF：activation function

激励函数推荐：

• CNN：relu
• RNN：relu or tanh

优化器

SGD

SGD将大块数据拆分输入神经网络，可以大大提高训练速度，且不会损失太大的准确率。

像喝醉走弯路

普通的优化方法像一个喝醉的人，来来回回走了很多弯路。

Momentum

Momentum方法是令其直接向下坡走。

AdaGrad

AdaGrad给人一个不好走的鞋子，使其摇晃着走路的时候觉得脚疼，鞋子变成了走弯路的阻力。

RMSProp

RMSProp结合上述两种，既给出下坡方向，又给鞋子阻力。

Adam

Adam是另一种结合方法。

过拟合应对方法

方法1：增加数据集

原本过拟合的情况会被慢慢拉直

方法2：运用正规化
为了不让W变化过大，增加L1、L2等。

L3、L4也就是三次方、四次方。让cost增加W的变化，使W不要变化太大。

在神经网络中，常用Dropout。

每次丢弃的神经元都不一样，让每一次的训练结果都不依赖于某一个特定对的神经元。

自编码学习

有时候，要训练的数据很大，比如一张高清图像，这时候如果全部输入网络，可能会处理超大量的数据。如果能进行压缩，保留重要的信息，然后用压缩后的数据送入神经网络，就可以轻松的进行训练了。

通常使用自编码的时候，只会使用到前半部分，也就是编码部分，也叫做encode。

图片截取自《莫烦 Tensorflow教程》