模型 Variance&Bias定性分析

• 如何对模型的variance 与bias做定性的分析？
  探究模型的training，validation error
  使用Learning Curve

• 何为learning curve？
  纵坐标为评估指标，横坐标为样本的数量（其实替换其他的横坐标也有不同的含义），分别计算train与test的结果，绘制其在不同规模样本下训练，评估的结果。
  整体趋势来看，在数据量较少的时候，train/validation acc可以很高，但是泛化能力（体现在test acc）上会比较低，随着数据的增加，train acc下降，test acc上升。

• 如何定性？
  当train 和 test的指标都比较低，并且接近时，这是bias较高，整体欠拟合，需要提升模型拟合能力。

  
  high bias （欠拟合，在训练集上误差就很大）

当train 的性能较好，但是test的性能较差，整体偏向high variance。需要增加regularization等减少variance提升泛化能力（加快收敛速度，在样本量维度），或者增加数据量。

high variance（过拟合，在训练集上误差小，在测试集上误差大）

期望达到的较好的状态：

image.png

• 其他定性方式：
  更换横坐标，以评估不同参数对bias & variance的影响：（纵坐标Cost与Acc等都可以）
  例如：

  
  探究正则化参数对此的影响（同理，横坐标可以换做epoch数量等等）

• 实际意义？
  帮我们确定我们模型是high bias还是high variance后，我们才能决定优化方向：增加复杂度（减小bias），还是增加数据，增加reg以提升泛化能力（减小variance）
  对于Variance & Bias更深入的理解，可以参考模型的variance & bias 定量分析