《李宏毅·机器学习》读书笔记（二）补充 偏差(Bias)和方差(

参考文章

• 偏差(Bias)和方差(Variance)——机器学习中的模型选择
• 机器学习中的Bias(偏差)，Error(误差)，和Variance(方差)有什么区别和联系？
• 总结：Bias(偏差)，Error(误差)，Variance(方差)及CV(交叉验证)

偏差(Bias)和方差(Variance) 主要是用于模型的选择上面

image.png

想象你开着一架黑鹰直升机，得到命令攻击地面上一只敌军部队，于是你连打数十梭子，结果有一下几种情况:

1. 子弹一颗没浪费，每一颗都打死一个敌军，跟抗战剧里的八路军一样，这就是方差小（子弹全部都集中在一个位置），偏差小（子弹集中的位置正是它应该射向的位置）。
2. 子弹基本上都打在队伍经过的一棵树上了，连在那棵树旁边等兔子的人都毫发无损，这就是方差小（子弹打得很集中），偏差大（跟目的相距甚远）。
3. 子弹打死了一部分敌军，但是也打偏了些打到花花草草了，这就是方差大（子弹不集中），偏差小（已经在目标周围了）。
4. 子弹打在了树上，石头上，树旁边等兔子的人身上，花花草草也都中弹，但是敌军安然无恙，这就是方差大（子弹到处都是），偏差大。

选择相对较好的模型的顺序：【1】方差小，偏差小 > 【2】方差小，偏差大 > 【3】方差大，偏差小 > 【4】方差大，偏差大。