Learn专题六——深度学习

输入层
隐藏层
输出层

epoch数
训练样本数
每个样本的特征数
神经网络的层数
神经网络每层包含的节点数
参数个数
超参数：学习率alpha,梯度下降法执行的次数，隐藏层数、隐藏层单元数、激活函数的选择、momentum、mini-batch size、正则化参数
超参数决定了参数w和b的值
权重参数w及偏置参数b与前一层节点个数n的关系,l代表第l层
参数的值可能会因为时间的变化需要发生改变，因为随着CPU和GPU的计算能力每年都会发生变化
w[l].shape=[n[l],n[l-1]]
b[l].shape=[n[l],1]
z[l].shape=[n[l],1]
如果有把m个样本都考虑进去
Z[l].shape=[n[l],m]
同理
dA.shape=[n[l],m]
dZ.shape=[n[l],m]

中间参数有哪些
每一层由各自的w和b
每一层还有各自的dZ和dA
Z[l]=W[l]*A[l-1]+b[l]
A[l]=g(Z[l])

dW=
dB=

W[l]=W[l]-alphadW[l]
B[l]=B[l]-alphadB[l]

超参数个数

卷积神经网络中卷积核的尺寸

随机初始化
随机梯度下降
前向传播
反向传播
激活函数
非线性激活函数
损失函数
成本函数

监督学习
半监督学习
非监督学习
强化学习
机器学习
深度学习

分类
聚类
回归

向量化
广播

特征检测器 or 边缘检测器

过拟合、欠拟合
训练集、验证集、测试集要求来自同一分布
偏差、方差
交叉验证
最优误差：贝叶斯误差

解决过拟合问题的方法：
1.增加数据量
2.正则化

• L1、L2、Fobrennis正则化。
  L2或者Fobrennis正则化可以减少过拟合的发生，因为通过改变lambda值的大小，可以影响隐藏层w的值，如果lambda设置的很大，w就会很小，使得激活函数接近于线性，进而减少过拟合。
• dropout正则化
  dropout正则化和反向随机失活，通过除以keep_prob，使得a的期望值不变来实现
• 数据增强
• early-stopping

解决训练速度问题：
1.正规化输入
2.一些优化算法

• mini-batch减少梯度下降的时间:随机梯度下降、批梯度下降：64-512
• Momentum
  解决梯度消失和梯度爆炸问题
• 权重初始化

tanh：Xavier初始化，sqrt(1/n[l-1])
Relu：sqrt(2/n[l-1])
其他：sqrt(2/(n[l-1]+n[l]))

梯度检验的意义在哪里？
由于深度学习将会是今后学习的重点，所以本专题放在以后更新。