大规模线性方程组解法简介
大规模线性方程组解法简介
原创 www.cae-sim.com 多物理场仿真技术
前面介绍过主要的线性方程组求解库,参考附录。求解大规模线性方程组是仿真软件求解器的底层技术,求解器时间基本都消耗在方程组求解上。线性方程组的解法比较成熟,方法也有很多,而且不同的方法对应不同类型方程组,所以在方法选择上实际很讲究。
商业软件通常将方法封装起来,用户包括开发人员都接触不到线性方程组求解方法。商业软件内部一般会根据求解规模,求解类型等选择合适的线性方程组求解方法。
有些商业软件开放了部分接口供用户选择;开源软件比如OpenFOAM,以及使用开源软件的平台Simscale等提供了许多选项供用户选择。
本文简单介绍下线性方程组的常用解法。通常将线性方程组表示为:
A*x=b
A为已知N*N的矩阵,通常称为刚度矩阵(刚度是力学中的概念,电磁,热等也习惯性这么称呼),b为已知向量,x为待求向量。解线性方程组的操作基本围绕矩阵A展开。
首先介绍一些相关术语:
1.矩阵条件数
条件数是一个表征矩阵稳定特性的标志,条件数越大,说明矩阵越不稳定,即当矩阵中数据出现微小变化时,x结果变化非常大。Matlab中可直接使用命令cond(A)查看矩阵条件数。
2.满秩矩阵
用初等行变换将矩阵A化为阶梯形矩阵, 矩阵中非零行的个数就定义为这个矩阵的秩,记做r(A)
即如果矩阵A为N*N,r(A)=N,则矩阵A为满秩矩阵
在边界元,矩量法等计算方法中,最终形成的A为满秩矩阵。
3.稀疏矩阵
矩阵中绝大部分元素都是0
4.对称矩阵
矩阵的上三角和下三角关于对角线对称
5.求解线性方程组直接法
先求出矩阵A的逆矩阵,再乘以向量b
6.求解线性方程组迭代法
简单讲,就是给出一个初始解x',带入原方程中,每次评价差距逐步修正,直到最终A*x'-b 接近0为止。
7. OOC(out of core)
对于大型方程组,内存通常无法装下,在求解过程中需要将部分数据写到硬盘上,再次使用的时候再读回来。
常用直接法:
直接法的本质是要计算出A的逆矩阵,通常在求解小规模和特征值问题是可以考虑使用直接法。
1. 高斯消去法/Doolittle /三角分解法/追赶法
这是最基本的方法,时间复杂度和空间复杂度都是N的三次方,软件一般都不会使用。
2. 矩阵分解相关
2. 1.LU分解法
LU分解就是将矩阵分解成单位下三角矩阵L和上三角矩阵U,本质上仍然属于高斯消去法
2.2. Cholesky分解
Cholesky 分解是把一个对称正定的矩阵表示成一个下三角矩阵L和其转置的乘积的分解。如果矩阵是正定的,使用 Cholesky分解会比LU分解更加高效。
2.3. LDLT分解法
Cholesky 分解法的改进
2.4.QR分解
QR分解是把矩阵分解成一个正交矩阵与一个上三角矩阵的积。
2.5. Schur分解
2.6. SVD/GSVD
奇异值分解/一般奇异值分解
在求解大规模线性方程组中,一般不会使用直接法求解,但在使用迭代法过程中需要使用直接法中的方法加工数据。
间接法的本质是迭代,不同方法的区别在于如何选取初始值以及迭代方法。
1. 牛顿迭代,Jacobi(雅克比)迭代,Gauss-Seidel迭代
线性迭代方法,一般情况下收敛太慢,大规模方程组不推荐使用。
2. JOR -- Jacobi Over Relaxation
Jacobi 方法加入松弛因子
3. Lanczos方法
适用于稀疏矩阵特征值问题
4. 共轭梯度方法以及改进方法
共轭梯度法
Conjugate gradient method--CG
双共轭梯度法
Bi-conjugate gradient method--BCG
稳定双共轭梯度法
Bi-conjugate gradient stabilized method--GCGS
预条件共轭梯度法
Preconditioned gradient stabilized method--PCG
相比牛顿和Jacobi,通过优化使其共轭的求解向量和方向,加速了求解性能。
共轭梯度法的思想就是找到N个两两共轭的方向,每次沿着一个方向优化得到该方向上的极小值,后面再沿其它方向求极小值的时候,不会影响前面已经得到的沿哪些方向上的极小值,所以理论上对n个方向都求出极小值就得到了N维问题的极小值。
5. GMRAS广义最小残量
(Generalized Minimal Residual Algorithm)
非对称系统的线性方程组的数值解迭代法,该方法与最小残量的 Krylov 子空间中向量来逼近解,是求解大规模线性方程组的常用算法之一,具有收敛速度快、稳定性好等优点。
改进的GMRAS:
SGMRAS Simpler GMRAS
PGMRAS Preconditioned GMRAS
6. 快速多级(Fast Multi pole Method)
当矩阵为满秩矩阵时,传统计算方法资源需求和求解规模呈指数级上升,大规模的系统求解需要使用快速多级方法。本技术博客和公众号中有详细介绍。
改进方法:多层快速多级
7. Successive Over Relaxation(SOR)连续松弛
连续过度松弛(SOR)方法是高斯-赛德尔(Gauss-Seidel)方法的一种变体,用于求解线性方程组,从而可以更快地收敛。任何缓慢收敛的迭代过程都可以使用类似的方法。
改进的SOR:
Accelerated Over relaxation (AOR)过松弛
Preconditioned AOR -- PAOR 预条件过松弛
Quasi AOR -- QAOR准过松弛
8. Krylov子空间迭代法
将矩阵A分解成多个子矩阵,并用一系列线性表达式组合表示。将整个系统降维,利于并行计算,是大规模线性方程组有效的一种解法。其中涉及到了Lanczos方法和Arnoldi方法。
按照矩阵A的特点,我们可以做如下分类:
1. 是否是满秩矩阵;
2. 是否是稀疏矩阵;
3. 是否是对称矩阵;
4. 是否是病态矩阵;
5. 是否是正定矩阵
6. 矩阵规模(矩阵中N的大小)
在选择求解方法的时候,需要考虑到方程组矩阵以上特点。根据作者的经验,方程组的求解性能高度依赖矩阵特征,矩阵规模和硬件。