天天随手记,持续更新中(2018-05-02)
2018-05-03 本文已影响0人
叨逼叨小马甲
- 超参数hyperparameters
- 超参数通过控制机器学习算法来调整模型以至于适应数据,controls how the machine learning algorithms fits the model to the data, 即控制模型复杂度,控制算法行为。
- 超参数可以是
a. numbers of trees in a random forest
b. regularization parameter
c. learning rate
- 超参数和参数的区别
- 超参数是特指定的,例如:learning rate等,在训练前已经固定好
-
参数是待训练的,例如:weights等,在训练过程中不断调整。
image.png
- 超参数的优化算法
-
Grid search (效果不好)
image.png -
Random search (效果一般)
image.png -
Bayesian optimization (效果最好)
image.png
- Bayesian optimization
- 是个时序过程
- 通过构造后验分布方程来优化目标方程; 即随着观察样本的增加,后验分布不断改进,算法就能
详细理解参见https://zhuanlan.zhihu.com/p/29779000
步骤1. 通过之前观察的数据x来计算后验概率p(y|x)。 使用高斯过程回归算法;scikit-learn库中有GaussianProgressRegressor函数。
- 目的需要计算出每个点的均值和方差。
- 均值表示这个点最终的期望效果,均值越大表示模型最终指标越大;
- 方法表示这个点的效果不确定性,方程越大,表示这个点不确定是否可能去的最大值,值得去探索。
- 通俗说,就是要均值大,方差大
- 设计机器学习的建议步骤
- 建立初始系统,进行迭代训练
- 使用cross validation来评估模型
- 使用bias/variance, error analysis来调整下阶段安排