我爱编程

Hypre与Petsc安装文档及性能测试

2018-04-27  本文已影响0人  冘若烦

1. 前言

本文介绍了并行计算库的Hypre和Petsc的安装方法以及在线性系统求解中不同算法的性能测试，用于日后在不同系统上的Hypre和Petsc的安装需要和新型算法性能测试基准。程序安装运行环境为NVIDIA-dgx1，详细参数请见dgx1参数。本文将分为Hypre和Petsc两个部分，分别以总体介绍，安装，程序运行关键代码和在IEEE不同节点数据下性能测试的顺序介绍两款软件的使用。

2. Hypre介绍，安装及使用

2.1 Hypre介绍

2.1.1 性能介绍

Hypre是运行在多核处理器上，借助目前性能较好的预处理矩阵（preconditioner）对于大型稀疏线性方程组使用迭代法求解的一个c语言库。其基本目标是让用户可以借助于多核处理器的并行性能，并行存储矩阵不同范围的信息，并行地进行迭代法求解，从而达到事半功倍的效果。Hypre具有扩展性极强的预处理矩阵算法，对于大型系统的预处理矩阵生成也有着不错的性能，并且迭代法所用算法选择空间较大，从后续的测试结果也可以看到，在选择了合适的算法的情况下，对于实际的电力系统线性方程组求解也可以有较快的计算速度。

另一方面，从用户的使用角度来讲，用户无需预先学习复杂的稀疏矩阵存储，而只需分配对应行列坐标给矩阵类，之后的空间压缩操作都可以由Hypre完成，这对于新手来说，可以在最短时间内搭好自己的第一个求解线性方程组程序，是很好的入门函数库。

2.1.2 程序框架介绍

Hypre使用了“原型”的概念，这个概念对于程序来说，是一种储存信息的统一格式，可以更为高效地分配存储空间。在编程之前，用户需要决定对于自己的问题，使用哪一种原型来存储信息。其包括：

在线程的资源分配上，Hypre也采用了相对坐标的方式决定一个线程拥有的矩阵信息范围。使用左下角的坐标点和右上角的坐标点，Hypre可以通过他们的差值来得出其拥有的矩阵范围。另一方面，Hypre也可以通过行坐标的范围，来决定各线程所分配到矩阵范围。用户可以通过自身系统的特点，来判断到底采取哪一种分配方式。

2.1.3 用户使用的Hypre的总体步骤

综上，在使用Hypre计算线性系统方程时，需要包括以下步骤：

2.2 Hypre安装

2.2.1 检查openmpi安装

2.2.2 安装openmpi

2.2.3 安装Hypre

2.3 Hypre计算代码详解

2.3.1 Hypre线程分配空间方式

在将矩阵不同行分给hypre不同线程时，需要告知该线程矩阵的起始行和终止行，在已知矩阵总行数（N）和处理器个数（线程个数 num_procs）的情况下，考虑N无法被num_procs整除的情况，可以得到如下的计算公式。其中，myid表示这是第几个线程。

local_size = N / num_procs;         // size per processor
extra = N - local_size * num_procs; // consider rows cannot be fully divided by procs
ilower = local_size * myid;
ilower += hypre_min(myid, extra);
iupper = local_size * (myid + 1);
iupper += hypre_min(myid + 1, extra);
iupper = iupper - 1;
// update num of rows
local_size = iupper - ilower + 1;

2.3.2 Hypre矩阵，向量储存形式和赋值

目前Hypre支持的存储形式为HYPRE_PARCSR，矩阵类为HYPRE_IJMatrix，和HYPRE_IJVector，经过print打出之后为“行，列，值”的坐标对。矩阵赋值支持按行赋值

HYPRE_IJMatrixSetValues(ij_matrix, nrows, ncols, rows, cols, values);
// 其中，ij_matrix为矩阵地址，nrows是赋值的行数，ncols为该行非0元素个数，rows为行坐标，cols为列作标，values为所赋的非0值

Vector的赋值与上述矩阵赋值相似。

另一方面，需要注意在每次赋值前都需要initialize矩阵，赋值完毕后都需要assemble矩阵，并且获取控制该矩阵的句柄。

HYPRE_IJMatrixInitialize(A);
/* ... 赋值操作 ... */
HYPRE_IJMatrixAssemble(A);
HYPRE_IJMatrixGetObject(A, (void **)&parcsr_A);

2.4 Hypre求解线性系统性能测试

<table>
<thead>
<td>计算题目</td>
<td>计算方法</td>
<td>迭代次数</td>
<td>计算时间</td>
</thead>

<tr>
    <td rowspan="4"> 14节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 13 </td>
    <td> 0.000860s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 5 </td>
    <td> 0.000328s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 4 </td>
    <td> 0.000310s </td>
</tr>

<tr>
    <td rowspan="4"> 118节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 117 </td>
    <td> 0.001329s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 10 </td>
    <td> 0.000752s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 6 </td>
    <td> 0.000787s </td>
</tr>   

<tr>
    <td rowspan="4"> 10790节点<br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 6207 </td>
    <td> 0.9464s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 12 </td>
    <td> 0.0337s </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 7 </td>
    <td> 0.0284s </td>
</tr>

<tr>
    <td rowspan="4"> 
        福建1425节点
    <br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 21246 </td>
    <td> 0.388728s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 迭代发散 </td>
    <td> NA </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 375 </td>
    <td> 0.061298s </td>
</tr>

<tr>
    <td rowspan="4"> 四川2433节点 <br/>
</tr>
<tr>
    <td> PCG </td>
    <td> 16705 </td>
    <td> 0.496167s </td>
</tr>
<tr>
    <td> AMG </td>
    <td> 迭代发散 </td>
    <td> NA </td>
</tr>
<tr>
    <td> PCG with AMG preconditioner </td>
    <td> 10000(迭代未结束但结果误差在0.01级别) </td>
    <td> 2.464774s </td>
</tr>

</table>

3. PETSC的安装及使用

3.1 PETSC安装

3.1.1 下载PETSC安装包

说明：本部分基于机器上已经安装有openmpi，如果没有，请移步“安装openmpi”部分。

$ git clone -b maint https://bitbucket.org/petsc/petsc petsc

3.1.2 安装PETSC

$ ./configure --with-mpi-dir=/usr/local/openmpi/ --download-fblaslapack --prefix=$HOME/petsc

$ make all test

3.1.3 运行PETSC程序

# 编译
$ make PETSC_DIR=$HOME/iterative/petsc PETSC_ARCH=arch-linux2-c-debug ex12
# mpi运行, -n 为指定processor数量
$ mpiexec -n 4 ./ex12

3.2 PETSC计算代码详解

3.2.1 PETSC线程分配空间方式

与Hypre不同的是，PETSC无需显式地表达分配给该线程的矩阵/向量行坐标范围，而只需告诉PETSC矩阵的行数和列数，使用PETSC_DECIDE让PETSC自行决定分配给该线程的行坐标范围，并且可以通过内置的函数来获得属于该线程的起始坐标和结束坐标。以下为示例代码：

// A为matrix
ierr = MatSetSizes(A, PETSC_DECIDE, PETSC_DECIDE, numRow, numCol);
/*...矩阵操作...*/
ierr = MatGetOwnershipRange(A, &Istart, &Iend);

值得一提的是，PETSC中大部分的函数操作均会返回该操作的状态码，可以通过

CHKERRQ(ierr)

来检查程序是否出错。推荐每做一次操作都要检查一次状态码。

3.2.2 PETSC矩阵，向量储存形式和赋值

PETSC存储矩阵的类型为Mat,存储向量的类型为Vec，在矩阵赋值时，需要告知行坐标，赋值个数，和所赋的值。

ierr = MatSetValues(A, 1, &Ii, 1, &J, &v, INSERT_VALUES);

其中INSERT_VALUES表示赋值类型，代表将该坐标上的参数设为v。而在每次赋值完毕后，都需要Assemble矩阵来告知系统矩阵赋值已完成。

// assemble matrix A
ierr = MatAssemblyBegin(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);
ierr = MatAssemblyEnd(A, MAT_FINAL_ASSEMBLY);
CHKERRQ(ierr);

3.3 PETSC求解线性系统性能测试

目前PETSC只能支持PCG的求解，如若要使用AMG的求解需要自行编写相关的代码，因此，本文只在PETSC测试中，使用了PCG的求解方法进行性能测试。

计算题目 迭代次数 计算时间
14节点 13 0.001009s
118节点 78 0.004705s
10790节点 2257 0.911253s
福建1425节点 发散 NA
四川2433节点 发散 NA

4 结论

本测试报告详细总结了并行计算库Hypre,PETSC的安装和求解线性方程组的过程，并且在不同的线性系统问题上进行了性能测试。测试结果表明，Hypre对于实际系统的适应度较高，在算法选择上多样，并且在合适的preconditioner的帮助下，对于实际系统方程的求解也会有比较好的性能。而PETSC在一些算法的开发的上仍然存在不足，如AMG的算法需要自行编写。并且在实际系统环境下的线性方程组求解上，无法获得比较好的结果。

上一篇下一篇

猜你喜欢

热点阅读