模型训练

模型训练就是找到给定模型最佳函数的过程

一 衡量模型

损失函数

RMSE, MSE

求参数:

利用封闭方程求解

利用梯度下降方法求解

梯度下降可以用来求解以参数为变量的损失函数的最大值。不断更新参数的值，看损失函数是否最小，到最小则停止。
影响梯度下降的优化结果的因素有:

• 学习率Learning Rate
  学习率是损失函数对超参数求偏导后的系数值，它决定了梯度下降的速度。
• 特征是否经过缩放
  特征缩放可以认为使用其他坐标系观察，缩放特征可以加速梯度下降
• 梯度下降的三类变体
  BGD 批量梯度下降，所有数据都参与到梯度下降
  SGD 随机梯度下降，每次只选一条样本参与
  MBGD 两者中和，随机选取一部分样本

模型可靠性

学习曲线判断

画出这些模型在相应的不同规模的训练集上的表现,即以训练集规模为自变量的误差(分为:在对应规模训练
子集上的误差 和 验证集上的误差)

欠拟合

训练集所得模型效果不佳
解决：
更多特征
更多数据
复杂模型 - 多项式回归

过拟合

• 正则化
  -- 岭(Ridge)回归( L2-norm )
  -- Lasso回归( L1-norm )
  -- ElasticNet( L1 + L2 )
• 早期终止