浅层神经网络——NG
2018-12-09 本文已影响0人
克里斯托弗的梦想
先安利一个网址,举的例子很清晰:
https://zhuanlan.zhihu.com/p/24801814
在上篇文章神经网络编程基础中,我们了解到了单个样本的前向传播和后向传播过程,以及多个样本的前向传播和后向传播过程,明白了梯度下降法在逻辑回归中的计算推导以及向量化的公式表示。
而这篇文章还是继续讲解前向传播和后向传播,只不过不是逻辑回归算法的单层网络,这次存在隐藏层,我们从2层网络的神经网络训练过程去讲解。当然,我们还是从一个样本推导开始,然后多个样本,以及向量化的公式表示。
前向传播
![](https://img.haomeiwen.com/i10460722/d54abf8f613c4d7f.jpeg)
![](https://img.haomeiwen.com/i10460722/9104a62673818251.jpeg)
![](https://img.haomeiwen.com/i10460722/5d2fce62ce6b8e6c.jpeg)
反向传播
![](https://img.haomeiwen.com/i10460722/e8af00d2759a2727.png)
![](https://img.haomeiwen.com/i10460722/a1c2b2bfcaa872cd.png)
![](https://img.haomeiwen.com/i10460722/9cfad7a6456e0a86.png)
![](https://img.haomeiwen.com/i10460722/681993335ca3ba5c.png)
激活函数
![](https://img.haomeiwen.com/i10460722/4ce4b5375da0a850.png)
![](https://img.haomeiwen.com/i10460722/1b400c65eff7f4f5.png)
![](https://img.haomeiwen.com/i10460722/ea411ab6f2bf7c30.png)
![](https://img.haomeiwen.com/i10460722/ad37111768ade721.png)
![](https://img.haomeiwen.com/i10460722/428d285a7ba35901.png)
![](https://img.haomeiwen.com/i10460722/98466d7ff7bacebf.png)