机器学习基础

过拟合和欠拟合

• 机器学习的根本问题是optimization和generalization之间的对立，所谓optimization，即在训练数据上获得最佳性能，所谓generalization，即模型在未见的数据集上的性能。
• 欠拟合：训练数据上损失越小，测试数据上的损失也越小，此时模型欠拟合
• 过拟合：即在训练数据上迭代一定次数之后，generalization不在提高，模型开始学习仅和训练数据有关的模式，此时开始过拟合
• 防止模型过拟合的方法
  1. 获取更多的训练数据，也是最优的方法
  2. 减小网络大小

  即减小模型中科学系的参数（由层数和每层单元数决定), 迫使模型只学习记忆具有很强预测能力的压缩表示，但也主要避免因网络过小造成的欠拟合，具体实施则可以先使用较少的层和参数，然后逐渐增加层的大小或新层，直到在验证数据集上损失变得很小

  3. 添加权重正则化

  通常简单模型比复杂模型更不容易过拟合，因此可以强制让魔心权重只能取最小的值，从而限制模型复杂度.
  具体实现就是想网络损失函数中添加较大权重值的成本，有两种形式L1正则化和L2正则化，即成本分别于权重系数的绝对值和平方成正比。

  4. Dropout正则化

  即训练过程中，随机将该层的一些输出特征舍弃。

机器学习通用工作流程

1. 定义问题，收集数据集
2. 衡量指标选择

• 衡量成功的指标选择合适的损失函数

  • 平衡分类问题，精度和AUC是常用的指标
  • 不平横分类问题，precision和recall是合适的指标
  • 排序和多标签分类，mean average precision是合适的指标

3. 确定评估方法

• hang-out validation: 即流出部分数据作为验证数据
• k-fold validation
• Iterated k-fold validation with shuffling ：具体操作就是使用多次(P) K-fold validation，只是每次划分前都将数据随机打乱，需训练P x K个模型

4. 准备数据

• 数据格式化为张量
• 张量的取值应该缩放为较小的值，如min-max normalization
• 异质数据要进行数据的Standardizate
• 考虑特征工程

5. 模型开发

• 参数选择

  问题	最后一层激活	损失函数
  二分类问题	sigmoid	binary_crossentropy
  多分类、单标签	sofmax	categorical_crossentropy
  多分类、多标签	sigmoid	binary_crossentropy
  回归	不需	mse
  0-1 回归	sigmoid	mse/binary_crossentropy

6. 过拟合模型

• 添加更多的层
• 每一层更大
• 训练更多轮次

以找到欠拟合和过拟合的分界线

7. 正则化、调解超参数

• dropout
• 增加或减少参数
• L1或和L2正则化
• 尝试不同的超参数
• 特征工程

确定模型的参数之后，就可以在所有可用数据上(训练数据 + 验证数据)上训练最终的模型