Day 679：机器学习笔记（8）

还没来得及看太懂，生吞活剥一下。

对于有约束的最优化问题，我们可以利用拉格朗日乘子将问题转化为无约束的最优化问题，然后找到无约束的最优化问题的对偶问题，通过解对偶问题而得到原始问题的解。

原始问题

图一就是一个有约束的最优化问题，f(x), ci(x), hj(x)是定义在Rn上的连续可微函数：

图一

图二是拉格朗日函数：

图二

可以得到图三：

图三

原始最优问题就变成图四：

图四

图五是对偶函数：

图五

可以对偶问题的最优解为图六：

图六

最后得到图七：

图七

其含义可简单理解成最小值中的最大值小于等于最大值中的最小值，也就意味某些条件下，两个问题的极值相等。从而把原问题的求解转换成了对其对偶问题的求解。