Regression(回归)
2019-03-16 本文已影响19人
小T数据站
- 根据训练数据是否拥有标记信息，学习任务可大致分为两大类：
监督学习和无监督学习，分类和回归是前者的代表，聚类是后者的代表。
关于监督学习、无监督学习的百度传送门 - 如果给定的样本数据充足，进行模型选择的一种简单方法是随机地将数据集切成三部分，分别为
训练集、验证集和测试集。训练集用来训练模型，验证集用于模型的选择，而测试集用于最终对学习方法的评估。
关于训练集、验证集、测试集的百度传送门 - 机器学习的目的是从已有数据中找出合适的function，而回归的function的得出的结果是数值。
- 回归三步骤：
- 从假设空间中找出合适的模型；
- 利用
损失函数对模型进行评估； - 利用
梯度下降法对模型进行优化。
-
泛化能力是指由学习方法学习到的模型对未知数据的预测能力。学习器把训练样本学得“太好”了的时候，很可能已经把训练样本自身的一些特点当做了所有潜在样本都具有的一般性质，这样就会导致泛化能力下降，如果一味的追求提高对训练数据的预测能力，所选模型的复杂度则往往会比真模型更高，这种现象称为过拟合。过拟合是指学习时所选择的模型所包含的参数过多，以至于出现这一模型对已知数据预测得很好，但对位置数据预测得很差的现象。欠拟合则是指对训练样本的一般性质尚未学好。 - 解决过拟合的方法：
- 收集更多的数据
- 加入正则化项
