深层神经网络简单介绍(1)

1/神经网络构架:

前向神经网络,典型代表CNN;循环神经网络:典型代表RNN;对称神经网络:典型代表DBN

2/常见激活函数:(激活函数不可以是线性的)

sigmoid函数,tanh函数,Relu函数https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.htmlhttps://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html

(各种激活函数的优缺点比较参见: https://zhuanlan.zhihu.com/p/25110450)

(Relu函数可以逼近任意函数参见: https://zhuanlan.zhihu.com/p/23186434)

3/感知机与神经网络:

可以看做线性的二分类神经网络,寻找一个超平面将正负样本分开

感知机的局限:(1)对特征工程要求过于苛刻(2)不能处理线性不可分的情况

神经网络需要解决的问题:(1)如何放宽特征要求(2)如何处理非线性可分的情况（加入隐藏层）

4/神经网络的BP算法:

参见:    https://wenku.baidu.com/view/3f14f716a76e58fafab003f1.html

(上述链接可以作为一个参考)

关于BP算法的解释参见:   https://www.zhihu.com/question/24827633

5/神经网络的参数和超参数:

参数: 权重w ,偏移b

超参数:(1). 学习率η，(2). 正则化参数λ，(3). 神经网络的层数L，(4). 每一个隐层中神经元的个数j，(5). 学习的回合数Epoch，(6). 小批量数据minibatch的大小，(7). 输出神经元的编码方式，(8). 代价函数的选择，(9). 权重初始化的方法，(10). 神经元激活函数的种类，(11).参加训练模型数据的规模