凸优化(五)——回溯直线搜索
2016-08-08 本文已影响2540人
Herbert002
〇、说明
凸优化主要学习《凸优化》(Stephen Boyd等著，王书宁等译)[1]这本书。学习过程中，对其内容的理解时有困惑，也参考一些其他书籍资料。笔者尽量将这部分知识整理地简洁明了，成此系列笔记。
如有错误疏漏，烦请指出。如要转载，请联系笔者，hpf_2006pyy@163.com。
一、意义
回溯直线搜索是求解无约束凸优化问题中，调整搜索步长非常简单有效的方法，也是实际应用中常用的方法。[2]
考虑固定步长搜索，为防止迭代震荡，一般步长值很小，很多经验值取0.01，这就导致收敛速度过慢。
考虑精确直线搜索，其本身又是一个优化问题，如果这个优化问题很复杂，则这个搜索方法就是没有意义的。
相比以上两种调整搜索步长的方法，回溯直线搜索则简单高效很多。
二、回溯直线搜索
2.1、算法
2.2、算法解释
2.3、参数解释
附录
A、参考
[1]、《凸优化》，Stephen Boyd等著，王书宁等译
[2]、《最优化问题中，牛顿法为什么比梯度下降法求解需要的迭代次数更少？》
[3]、《回溯线搜索 Backtracking line search》
B、相关目录
凸优化(五)——回溯直线搜索
C、时间线
2016-08-08 第一次发布
2016-08-17 修改了一个错误公式，添加理解提醒
