2018-02-19 浅层神经网络(一)

2018-02-19  本文已影响0人  瑶瑶_2930

写在前面

今天学的大概就是单隐层神经网络,可是为什么要加一个隐藏层进行训练不是很明白。开始讲了一些notation,然后是如何计算神经网络的输出,每一层每个节点的计算,以及实现一个训练样本的向量化,从而推广到多个训练样本,其实都是举一反一,不过要注意的是写法,通常在一个矩阵中,竖向排列的通常是每个节点的数据,而横向排列的通常是训练样本。最后讲了不同层不同激活函数的优劣。

神经网络表示

计算神经网络输出

多个样本中的向量化(略)

激活函数

sigmod tanh() ReLU
优点 二分分类 均值接近0 学习速度快
缺点 当z很大或很小时梯度很小 同前 当z为负时,导数为0

(附markdown格式注意事项:短横线必须和表头字母个数相同,空格数也要相同)

上一篇 下一篇

猜你喜欢

热点阅读