机器学习中的超参数

超参数指的是在学习训练之前设置的参数值

1、学习速率

用来控制每次更新时权值的大小或者权值修正的幅度

2、权值初始化

3、网络层数

4、单层神经元数量

5、正则惩罚项

6、动量系数

动量是0和1之前的一个变量，被用作矩阵变化率的导数的一个因素，它影响权值随时间的变化率。用于防止系统收敛到局部最优值。高动量系数有助于提高系统收敛速度，但是有可能使得系统不稳定超过最小值。过低的动量系数不能可靠的避免局部最小值，训练速度慢

7、偏置项

用来帮助函数较好的左右平移

机器学习中的超参数