李宏毅机器学习——深度学习训练的技巧

神经网络训练的技巧

• 优化失败的原因: 局部最小值或鞍点，可以通过对H矩阵特征值正负性进行判断
• batch：加快梯度的计算，更新参数的速度比较快
• momentum: 越过局部最小值或鞍点
• learning rate: 自动调整学习率如RMSProp等
• normalization
• dropout