超参数搜索

为什么要超参数搜索

• 神经网络有很多训练过程中不变的参数
  • 网络结构参数 : 网络的层数,没层的宽度,每层激活函数等
  • 训练参数 : batch_size ,学习率,学习率衰减算法等

• 人工调参费时费力

搜索策略

• 网格搜索

  • 定义n维方格
  • 每个方格对应一组超参数

  • 一组组参数尝试

    
    网格搜索

• 随机搜索

  • 参数的生成方式随机

  • 可探索的空间更大

    
    QQ图片20200108154606.png

• 遗传算法搜索

  • 对自然界的模拟
  • A.初始化候选参数集合->训练->得到模型指标作为生存概率
  • B.选择->交叉(杂交?)->变异->产生下一代集合
  • C.重复A.B.

• 启发式搜索

  • 研究热点-AutoML
  • 使用循环神经网络来生成参数
  • 使用强化学习来进行反馈,使用模型来训练生成参数