神经网络和深度学习 - Chapter4 深层神经网络

2021-09-16 本文已影响0人 nlpming

浅层、深层神经网络对比

什么是深层神经网络？.png

深层神经网络符号定义：

$L$ 表示神经网络的层数；
$n^{[l]}$ 表示第 $l$ 层神经元个数；
$a^{[l]}$ 表示第 $l$ 层神经元激活值；
$g^{[l]}$ 表示第 $l$ 层神经元激活函数；
$W^{[l]}$ 表示第 $l$ 层神经网络参数；维度为： $(n_{l+1}, n_l)$

符号定义.png

深度神经网络前向传播

$Z^{[l]} = W^{[l]}A^{[l-1]} + b^{[l]}$ ；
$A^{[l]} = g^{[l]}(Z^{[l]})$ ；

深度神经网络前向传播.png

检查神经网络参数的维度

神经网络前向传播过程中，核对每个参数（ $W^{[l]}, b^{[l]}$ ）的维度；

image.png

为什么深度神经网络比较好用？

一般来说对于深度神经网络，要求网络比较深但是并不要求很宽；从下面的例子可以看出，深度神经网络首先学习到一些局部的边缘信息（边缘检测），然后识别人的鼻子、眼睛等较大范围局部人脸信息，最后识别整个人脸。

image.png

深度神经网络前向&反向传播过程

前向传播过程计算得出的 $Z^{[l]}, W^{[l]}, b^{[l]}$ 进行缓存；因为反向传播的过程需要用到。

第l层的前向&反向传播.png

深度神经网络前向&反向传播过程.png

第 $l$ 层的前向传播过程；

第l层前向传播.png
第 $l$ 层的反向传播过程；

第l层反向传播.png

深度神经网络参数 vs 超参数

深度神经网络参数指的是 $W,b$ 这些参数，超参数的设置可以改变参数的取值，比如：神经网络层数、每层神经元个数等；学习率、迭代次数、激活函数、batch size大小这些也是超参数；

参数 vs 超参数.png

上一篇下一篇

猜你喜欢

热点阅读