迭代法

迭代法（英语：Iterative Method），在计算数学中，迭代是通过从一个初始估计出发寻找一系列近似解来解决问题（一般是解方程或者方程组）的数学过程，为实现这一过程所使用的方法统称。

跟迭代法相对应的是直接法（或者称为一次解法），即一次性解决问题，例如通过开方解决方程一般如果可能，直接解法总是优先考虑的。但当遇到复杂问题时，特别是在未知量很多，方程为非线性时，我们无法找到直接解法（例如五次以及更高次的代数方程没有解析解，参见阿贝尔定理），这时候或许可以通过迭代法寻求方程（组）的近似解。

最常见的迭代法是牛顿法。其他还包括最速下降法、共轭迭代法、变尺度迭代法、最小二乘法、线性规划、非线性规划、单纯型法、惩罚函数法、斜率投影法、遗传算法、模拟退火等等。

线性系统

求解线性方程系统的迭代方法主要分为两类，分别是定常迭代法和 Krylov 子空间法。

定常迭代法

这种方法易于推导，方便实现和分析，但只能保证某些特定形式矩阵求解的收敛性。定常迭代法的例子包括雅可比法，高斯-赛德尔迭代，以及逐次超松弛迭代法（SOR）。线性定常迭代法又称为松弛法。

Krylov子空间法

通过在子空间上最小化余量来得到近似解。Krylov子空间法的原型是是共轭梯度法（CG），其它方法还包括广义最小残量法（GMRES）和双共轭梯度方法（BiCG）。