AI学习笔记——Bias and Variance tradeo

上一篇文章介绍了机器学习中需要理解的几个重要概念，这些概念在训练模型的过程中至关重要，尤其是Bias 和 Variance 的分析，关系到在机器学习的过程的实际操作中，如何优化训练模型。

1、Bias and Variance tradeoff的最简单方法

• 当Bias很高的时候，就增加模型的复杂度（比如增加神经网络的神经元个数，神经网络的层数）
• 当Variance很高的时候，就增加训练的样本量。

然而以上的原则只是一个大的指导方向，因为在实际操作中增加模型的复杂程度将会大大增加计算机的计算量，而且还容易造成Overfitting。 下面详细介绍在实际操作中处理Bias 和 Variance 的具体方法。

2、减少Bias的几大原则

• 增加模型复杂度
• 根据误差分析结果，调整输入特征(feature)
• 减少或者去除Regularization(正则化)
• 修改模型结构
• 增加更多的训练样本

3、减少Variance的几大原则

• 增加更多的训练样本
• 增加Regularization(正则化)
• 加入提前终止(Early Stopping)
• 选择性减少输入的特征(Features)
• 减小模型规模
• 根据误差分析结果，调整输入特征(feature)
• 修改模型结构

有上面的分析可见，有些策略对减少Bias 和 Variance 都同时有用的，比如增加更多的训练样本；根据误差分析结果，调整输入特征(feature)；修改模型结构。然而有些策略对于减少Bias 或 Variance是相互矛盾的。

本笔记参考自人工智能大神 Andrew Ng（吴恩达） 的相关课程 ，在这里表示感谢和致敬。

————
相关文章
AI学习笔记——循环神经网络（RNN）的基本概念
AI学习笔记——神经网络和深度学习
AI学习笔记——卷积神经网络1（CNN）
————
文章首发steemit.com 为了方便墙内阅读，搬运至此，欢迎留言或者访问我的Steemit主页