1-4 深层神经网络
2018-12-03 本文已影响0人
温素年
吴恩达《神经网络和深度学习》课程笔记
1. 深层神经网络
为什么深层神经网络可以达到很好的效果？
可以这样理解深层神经网络的学习：如上图所示，神经网络比较浅的层学习到的是比较简单的特征，例如各个方向的边界。再往后面就是比较复杂的特征，例如各方向的边界组成了眼睛、鼻子等等。最后再由眼睛、鼻子等组成人脸。
（最后一张小图好像人面疫啊……【捂脸】）
也就是说，可以理解为前面层的简单特征，组成了后面层的复杂特征。
但是，有的时候较少的层也可以达到较好的效果。可以在交叉验证集上尝试不同层的效果差别。
2. 前向传播和后向传播
更新一次参数的流程如下：
伪代码描述如下：
3. 参数和超参数
参数：W[1], b[1], W[2], b[2], ...
超参数：
- learning rate a
- # iterations 梯度下降法的次数
- # hidden layers L
- # hidden units n[1], n[2]
- choice of activation function
超参数，即决定参数的参数。
这一周的内容比较少，等做了作业之后再补充~
