贝叶斯优化原理

2021-08-17 本文已影响0人 poteman

定义目标函数, $y = f(x)$
x 表示模型超参数， y表示对应超参数在验证集上的得分；
获得冷启动数据[X, Y]，假设为20条,
$(x_1, y_1), (x_2, y_2), ..., (x_{20}, y_{20})$
使用高斯混合模型对数据进行拟合，GP.fit(X, Y)
随机生成100组参数: $\widetilde{x}_{1}, \widetilde{x}_{2}, ..., \widetilde{x}_{100}$
使用高斯模型对这100组参数进行预测，获得预测值和标准差。
对应为 $\widetilde{y}_{1}, \widetilde{y}_{2}, ..., \widetilde{y}_{100}$ 和 $\widetilde{std}_{1}, \widetilde{std}_{2}, ..., \widetilde{std}_{100}$
生成的100组随机参数对应的得分p为： $\widetilde{p}_{i}=\frac{\widetilde{y}_{i}-y_{best}}{\widetilde{std}_{i}+\epsilon}$ ， i从1到100，获得最优的 $p_i$ 对应的参数 $\widetilde{x}_{i}$
其中， $\epsilon$ 表示一个很小的数字； $y_{best}$ 表示当前已知的最优参数对应的最佳得分： $y_{best}=max(y_{1},y_{2},...,y_{20})$ ，
使用 $\widetilde{x}_{i}$ 进行训练，获得对应在验证集上的得分。
使用6中新获得的样本更新[X,Y]，回到3重新训练，迭代3-7的步骤。
【参考】：Implement Bayesian Optimization from Scratch