NNI tuner对比

NNI Tuner对比

• TPE

目前AutoML/NAS领域较常用的一种Tuner，适用于评估函数开销较大、搜索空间较大的场景，相比Random/Grid Search等暴力搜索方法，能够在搜索空间较大的应用场景下搜索出较为理想的参数。其缺点是需要寻找合适的概率模型。

• Random Search

  随机搜索，适用于对参数先验信息未知，且搜索空间较小的场景，算法简单方便，能够在一些较为简单的任务上得到比较理想的结果，缺点也十分明显，无法改进之前的搜索结果，得到更理想的参数。

• Anneal

  与Random Search一样是随机化搜索，不同的是在时间上较近的搜索结果和历次最好的搜索结果的基础上进行采样。其优点是能够改进Random Search的结果，比Random Search更快得到理想的参数。

• Evolution

  遗传算法，由于其缓慢的参数步进过程，适用于搜索空间较小的场景，但通常能达到较理想的参数。

• SMAC

  同样也是SMBO算法的一种，在序列模型上引入了高斯随机过程的模型和基于随机森林的模型，能够同时处理连续数值型参数和离散类别型参数。

• Batch Tuner

  只能对搜索空间里显式定义的参数进行逐个遍历搜索。适用于搜索空间极小的场景，不适用于连续数值型分布的参数。

• Grid Search

  穷举法，只能搜索离散类别型参数，适用于搜索空间较小，模型训练/评估开销较小的场景。

• Hyperband

  在训练的时候只迭代一定的次数，新的一轮训练在上一轮较为理想的参数上进一步训练。其设计是为了能够尽可能地遍历所有参数组合，适用于搜索空间较大但时间开销较为有限的场景。

• Network Morphism

  类似于遗传算法的思想，每次基于父代产生一组子代，然后基于历次搜索过的网络结构和对应的评估值来预测子代的评估值，选出最理想的一个子代进行训练。适用于DL场景，能够较为稳定地搜索得到一组理想的参数，由于训练之前会进行一轮较为仔细的预测选择，避免了多次训练DL模型较大的开销。