Constrained Optimization - Varia

泛函优化问题：Constrained variational problems （Constrained Euler-Lagrange equations）

1、Isoperimetric problem：普通函数与等式equality限制的拉格朗日乘子法Lagrangian multiplier，也可以泛化到泛函的领域。
最简单的形式，即限制条件为一系列结果为常数的积分量。

• 这个问题的解法就跟普通Lagrangian方法一样，首先得到：
  
  解法满足一般的Lagrangain条件：a、对的导数为0，b、对导数为0
  通过泛函的变分（导数）推导，可以得到：
  （即欧拉拉格朗日方程）
  通过该方程，可以解得minimizer（stationary point）：为带的函数。将该minimizer带入第二个条件的方程即可解出：
  （即限制条件）
  注意，不一定所有的constraints都可以解，见[10]中Doc的Remark 3.1

2、更泛化的形式。不等式限制条件，可类比inequality与KKT multiplier。

优化问题2，混合类型

Finite-dimensional variational problem

使用Finite Difference Method[1]来将问题简化，将PDE，ODE形成的nonlinear problem转化成linear problem。
Finite Difference Method本身就是对导数的一个逼近。

Refer：
[1]
见：https://en.wikipedia.org/wiki/Finite_difference_method
在优化问题中的运用见Constrainted variational problems（Doc）中的Finite-dimensional variational problem

[2]
主要见Constrainted variational problems，其中有分类以及实际例子
其中isoperimetirc问题
一些具体的问题：
见:https://oer.physics.manchester.ac.uk/AM/Notes/jsmath/Notesse17.html中的Generalisation to functionals
见：https://math.stackexchange.com/questions/1208900/variational-problem-with-constraints
以及：https://math.stackexchange.com/questions/2305421/am-i-solving-this-constrained-variational-problem-correctly
由于EL equation本身是一个微分方程（PDE，ODE），所以解微分方程后，一般能得到其通解。