模型 Variance&Bias定性分析
2020-08-05 本文已影响0人
shudaxu
-
如何对模型的variance 与bias做定性的分析?
探究模型的training,validation error
使用Learning Curve -
何为learning curve?
纵坐标为评估指标,横坐标为样本的数量(其实替换其他的横坐标也有不同的含义),分别计算train与test的结果,绘制其在不同规模样本下训练,评估的结果。
整体趋势来看,在数据量较少的时候,train/validation acc可以很高,但是泛化能力(体现在test acc)上会比较低,随着数据的增加,train acc下降,test acc上升。 -
如何定性?
当train 和 test的指标都比较低,并且接近时,这是bias较高,整体欠拟合,需要提升模型拟合能力。
high bias (欠拟合,在训练集上误差就很大)
当train 的性能较好,但是test的性能较差,整体偏向high variance。需要增加regularization等减少variance提升泛化能力(加快收敛速度,在样本量维度),或者增加数据量。
high variance(过拟合,在训练集上误差小,在测试集上误差大)
期望达到的较好的状态:
image.png
-
其他定性方式:
更换横坐标,以评估不同参数对bias & variance的影响:(纵坐标Cost与Acc等都可以)
例如:
探究正则化参数对此的影响(同理,横坐标可以换做epoch数量等等) -
实际意义?
帮我们确定我们模型是high bias还是high variance后,我们才能决定优化方向:增加复杂度(减小bias),还是增加数据,增加reg以提升泛化能力(减小variance)
对于Variance & Bias更深入的理解,可以参考模型的variance & bias 定量分析