一、简介

贝叶斯优化用于机器学习调参，主要思想是，给定优化的目标函数(广义的函数，只需指定输入和输出即可，无需知道内部结构以及数学性质)，通过不断地添加样本点来更新目标函数的后验分布(高斯过程,直到后验分布基本贴合于真实分布。简单的说，就是考虑了上一次参数的信息，从而更好的调整当前的参数。

与常规的网格搜索或者随机搜索的区别是：

• 贝叶斯调参采用高斯过程，考虑之前的参数信息，不断地更新先验；网格搜索未考虑之前的参数信息
• 贝叶斯调参迭代次数少，速度快；网格搜索速度慢,参数多时易导致维度爆炸
• 贝叶斯调参针对非凸问题依然稳健；网格搜索针对非凸问题易得到局部优最

---

二、理论

介绍贝叶斯优化调参，必须要从两个部分讲起：

• 高斯过程，用以拟合优化目标函数
• 贝叶斯优化，包括了“开采”和“勘探”，用以花最少的代价找到最优值
  高斯过程回归讲解学习参考

---

三、hyperopt

• 安装pip list hyperopt

• hyperopt贝叶斯优化包涵四个部分：

  • 目标函数：我们想要最小化的内容，在这里，目标函数是机器学习模型使用该组超参数在验证集上的损失。

  • 域空间：要搜索的超参数的取值范围

  • 优化算法：构造替代函数并选择下一个超参数值进行评估的方法。

  • 结果历史记录：来自目标函数评估的存储结果，包括超参数和验证集上的损失。

• 示例
  本程序采用感知机，对iris数据进行分类。 分别采用感知机原始方法和经过贝叶斯优化方法。

#!/usr/bin/env python
# encoding: utf-8
'''
@author: Great
@file: hyper_opt.py
@desc: hyperopt
'''
from sklearn import datasets
import numpy as np
from sklearn.model_selection import train_test_split
from sklearn.metrics import accuracy_score
from sklearn.linear_model import Perceptron
from sklearn.preprocessing import StandardScaler
iris = datasets.load_iris()
x = iris.data
y = iris.target
x_train,x_test,y_train,y_test = train_test_split(x,y,test_size=0.3,random_state=0)
std = StandardScaler()
std.fit(x_train)
std_x_train = std.transform(x_train)
std_x_test = std.transform(x_test)

ppn = Perceptron(n_iter=40,eta0=0.1,random_state=0)
ppn.fit(std_x_train,y_train)
y_pred = ppn.predict(std_x_test)
print(accuracy_score(y_test,y_pred))#0.82222

#hyperopt
#定义目标函数(最小化目标函数，添加负号的最大化accuracy_score,
def percept(args):
    ppn = Perceptron(n_iter=args["n_iter"],
                     eta0= args["eta0"],
                     random_state=0)
    ppn.fit(std_x_train,y_train)
    y_pred = ppn.predict(std_x_test)
    return -accuracy_score(y_test,y_pred)
#定义域空间
from hyperopt import hp
"""
choice：类别变量
quniform：离散均匀（整数间隔均匀）
uniform：连续均匀（间隔为一个浮点数）
loguniform：连续对数均匀（对数下均匀分布）
"""
space = {
    "n_iter":hp.choice("n_iter",range(30,50)),
    "eta0":hp.uniform("eta0",0.05,0.5)
}
#优化算法
from hyperopt import tpe, partial
"""
tpe优化算法
partial指定搜索算法tpe的参数
"""
bayesopt = partial(tpe.suggest, n_startup_jobs=10)
#结果历史
#from hyperopt import Trials
#bayes_trial = Trials()
#最小化目标函数
from hyperopt import fmin
best = fmin(percept,space,bayesopt,max_evals=100)#,trials=bayes_trial)
print(best)
print(percept(best))
#{'eta0': 0.23191782419000273, 'n_iter': 18}
#-0.9777777777777777

---

四、bayes_opt

• 安装 pip3 install bayesian-optimization
• bayes_opt流程
  • 定义优化函数
  • 定义优化参数
  • 开始优化
  • 显示结果

*示例
本程序采用随机森林对制作的二分类数据进行分类。 分别采用原始随机森林方法和经过贝叶斯优化的方法。

#!/usr/bin/env python
# encoding: utf-8
'''
@author: Great
@desc: bayes_opt
'''
from sklearn.datasets import make_classification
from sklearn.ensemble import RandomForestClassifier
from sklearn.model_selection import cross_val_score
from bayes_opt import BayesianOptimization
import numpy as np
#data
x, y = make_classification(n_samples=1000, n_features=10, n_classes=2)
rf = RandomForestClassifier()
#不做优化的结果
print(np.mean(cross_val_score(rf,x,y,scoring="accuracy",cv=20)))
#定义优化参数
def rf_cv(n_estimators, min_samples_split, max_depth, max_features):
    val = cross_val_score(RandomForestClassifier(n_estimators=int(n_estimators),
                          min_samples_split=int(min_samples_split),
                          max_depth = int(max_depth),
                          max_features = min(max_features,0.999),
                          random_state = 2),
            x,y,scoring="accuracy",cv=5).mean()
    return val
#贝叶斯优化
rf_bo = BayesianOptimization(rf_cv,
                             {
                                 "n_estimators":(10,250),
                                 "min_samples_split":(2,25),
                                 "max_features":(0.1,0.999),
                                 "max_depth":(5,15)
                             })
#开始优化
num_iter = 25
init_points = 5
rf_bo.maximize(init_points=init_points,n_iter=num_iter)
#显示优化结果
rf_bo.res["max"]
#附近搜索（已经有不错的参数值的时候）
rf_bo.explore(
    {'n_estimators': [10, 100, 200],
     'min_samples_split': [2, 10, 20],
     'max_features': [0.1, 0.5, 0.9],
     'max_depth': [5, 10, 15]
    })

#验证优化后参数的结果
rf = RandomForestClassifier(max_depth=5, max_features=0.432, min_samples_split=2, n_estimators=190)
np.mean(cross_val_score(rf, x, y, cv=20, scoring='roc_auc'))

五、参考

bayes_opt: https://www.cnblogs.com/yangruiGB2312/p/9374377.html
hyperopt: https://blog.csdn.net/linxid/article/details/81189154
高斯过程: http://www.360doc.com/content/17/0810/05/43535834_678049865.shtml