Mathematical optimization

部分sub-field

线性规划：在线性约束与线性目标函数下极值求解。（是convex programming，一些方法[6]）
非线性规划：非线性约束与非线性目标函数。（不一定是convex的，解决难度取决于问题本身）
整数规划：部分或者全部变量是整数。（一般不是convex的，通常比Linear Programming更困难。）
二次规划：目标函数二次，constraints为linear。

method：

有不同的思路，calculus-based[12]与iterative[5][6][7]。

modeling：

解决方法有很多，但最具决定性的，其实是建模的过程。因为模型本身是对现实的抽象，必定会存在很多approximations，如何合理地做出abstraction，抓住问题的本质与重点，确定好边界，找到合适的数学语言的表达[9]，使得approximations不会太影响模型效果，并能简化模型的计算。[8]

Refer：
[1]:Or tools：https://developers.google.com/optimization/introduction/overview
[2]:Solving Billion-Scale Knapsack Problems：https://www.sohu.com/a/389338572_99979179
[3]:拉格朗日松弛迭代：https://zhuanlan.zhihu.com/p/145944142
[4]:https://en.wikipedia.org/wiki/Mathematical_optimization
[5]:[Fermat] and [Lagrange] found calculus-based formulae for identifying optima, while [Newton] and [Gauss] proposed iterative methods for moving towards an optimum.
Fermat定理：x的极值在处取得
Lagrange：Lagrangian multipliers（KKT conditions）
[6]:simplex，interior point
[7]:有些问题用searching的方式计算最优(optimal)解复杂度过高，所以采用启发式算法得到次优(good)
[8]:Operation Research(Taha) :1.4 Art of Modeling
[9]:对应到sub-field中，有不同的方法与思路建模，每种方法都对应了一些特定的解法。建模的形式就决定了解法的方向。
[10]:2个随机变量中最大的：https://stats.stackexchange.com/questions/50501/probability-of-one-random-variable-being-greater-than-another
[11]:多个随机变量中最大的：the greatest of a finite set of random variables
[12]:Operation Research(Taha) :18 Classical Optimization Theory