神经网络和深度学习 - Chapter3 浅层神经网络

2021-09-15 本文已影响0人 nlpming

一个简单的三层神经网络结构如下所示；
其中第一个隐藏层激活值： $a^{[1]} = \left[a^{[1]}_1, a^{[1]}_2, a^{[1]}_3, a^{[1]}_4 \right]^T$

image.png
每一个神经网络的激活值计算；
$z^{[1]}_1 = w^{[1]T}_1 x + b^{[1]}_1$ ，其中 $w^{[1]}_1 \in (3, 1), x \in (3, 1)$

image.png
浅层神经网络前向传播向量化表示；
$z^{[1]} = W^{[1]}x + b^{[1]}; a^{[1]} = \sigma(z^{[1]})$

image.png
image.png

将 $m$ 个样本结果堆叠在一起： $z^{[1]} = \left[ z^{[1](1)}, z^{[1](2)}, ...,z^{[1](m)} \right]$ , 其中每一个结果 $z^{[1](i)}$ 都是一个列向量；

image.png

多个样本浅层网络向量化公式如下： $Z^{[1]} = W^{[1]}X + b^{[1]}$ ，其中 $W^{[1]} \in (h_1, n_x), X \in (n_x, m), b^{[1]} \in (h_1, 1)$
$Z^{[2]} = W^{[2]}A^{[1]} + b^{[2]}$ ，其中 $W^{[2]} \in (h_2, h_1), A^{[1]} \in (h_1, m), b^{[2]} \in (h_2, 1)$

多个样本浅层网络向量化表达.png

常见激活函数.png

线性激活函数.png

sigmoid激活函数导数.png

tanh激活函数导数.png

relu和Leaky relu激活函数导数.png

image.png

三层神经网络前向&反向传播过程.png

为什么不要把网络参数都初始化为0 ？ 因为参数 $W$ 的行与行之间是一样的，导致同一隐藏层的结点激活值是一样的。这样每次神经同一层神经网络结点学到的是同样的函数，即是对称的；这样堆叠多个神经元没有任何意义。
解决方法是随机初始化网络参数，但是网络参数值不宜太大。因为对于sigmoid, tanh等这类激活函数，在取值很大的时候其导数接近于0，容易出现梯度消失问题；

神经网络参数初始化为0的弊端.png

随机初始化网络参数.png