有限元结构分析多层并行算法研究运用

研究了高效消去子区域内部自由度的缩聚算法。在二级子区域的缩聚过程中，基于稀疏存储技术和稀疏直接求解器设计了一种行压缩存储格式缩聚算法。它将缩聚过程转化为一系列线性方程组的求解过程，并通过稀疏直接求解器进行求解。由于采用稀疏存储技术实现了只对刚度矩阵中非零元素的存储，并在利用稀疏直接求解器求解线性方程组的过程中通过填充-约化排序有效降低了系统的内存需求和计算量，因此它具有所需内存空间小、计算效率高和易于编程实现的优点。在一级子区域的缩聚过程中，对传统变带宽格式缩聚算法进行了并行化改进以使节点内的所有进程都能参与相应一级子区域的并行缩聚，从而有效利用了节点内的多核计算资源。
第一章 绪论

1.1 研究背景、意义及课题来源

1.1.1 研究背景

随着计算机的产生和发展，数值仿真已成为继理论和实验之后第三种科学研究手段。数值仿真一方面用在理论建模比较复杂或难以获得精确解析解的地方，它是获取想要结果的主要方法。例如复杂高层建筑物的抗震性分析是它的一个典型应用，结构在地震载荷作用下的动力响应行为目前只能通过计算机仿真得到。另一方面，数值仿真还用在物理实验比较昂贵的地方，它经常用来替代或增强物理实验。例如汽车的耐撞性分析是有限元数值仿真的一个重要工程应用，同现实中的汽车碰撞试验相比计算机仿真不仅更加经济划算，而且安全可靠。目前，数值仿真对计算机硬件性能的要求伴随着模型规模的扩大、求解复杂度的增加和求解精度的提高也越来越高[1-3]。一个低性能的计算机系统很大程度上会限制仿真的规模和精度，甚至导致仿真无法进行。因此，配备大量处理器和内存空间的超级计算机成为解决大规模和高精度数值仿真问题的有力工具[4, 5]。如图 1-1 所示，在国民经济建设、高科技发展和国防安全的各个领域已广泛采用超级计算机进行大规模并行计算。

1.2 国内外研究现状

有限元分析是最早采用并行计算技术的领域之一。在计算机发展的早期，计算资源是十分昂贵的。而有限元分析属于计算密集型任务，它在求解的过程中往往需要占用大量的计算资源。为节省成本和提高工作效率，并行计算自然成为一种行之有效的解决方法。一方面，有限元分析本身所具有的内在的并行处理特性为并行算法的设计和实现提供了有利条件。另一方面，并行计算机的快速发展也极大地促进了有限元数值仿真高性能计算在各个工程领域的应用。由于有限元分析包括的类型十分广泛如结构分析、电磁场分析、热分析、流体分析和耦合场分析等，为有针对性地分析和解决问题，本文将研究的重点集中在有限元结构静力分析和动力分析的范畴。有限元分析最终总要归结到线性方程组的求解，而线性方程组的求解时间在有限元分析总时间中往往占有很大的比重，因此对线性方程组并行求解算法的研究成为国内外许多学者关注的热点。下面分别从线性方程组并行求解算法、有限元结构静力分析和有限元结构动力分析三个方面对国内外研究现状进行介绍。

第二章 有限元结构静力分析多层并行计算方法研究

2.1 引言

目前，有限元方法已成为求解复杂工程问题的重要分析手段[134-137]。结构静力分析作为有限元分析的一个基本组成部分，在航空、航天、汽车、船舶、土木和能源等国民经济各部门有着广泛的应用[138, 139]。随着模型规模的扩大和求解精度的提高，有限元结构静力分析对大规模并行计算的需求也与日俱增，并且要求也越来越高。因此，如何充分利用现有的超级计算机以有效解决一些面向国民经济重大目标的大规模复杂结构静力分析问题成为当务之急。在高性能计算领域，采用多核处理器构建的多核多节点超级计算机由于性价比高、计算能力强已成为当前进行大规模科学计算和工程分析的主流工具。但仅仅依靠超级计算机的高机器性能并不能从根本上解决复杂结构数值仿真的大规模计算问题[140-142]，只有研究合适的并行计算方法才能有效提高工程分析的质量和效率。多核处理器由于共享系统资源一方面提高了系统的计算能力，但另一方面也带来了资源竞争问题。随着节点内处理器内核数目的增多，资源竞争的问题也愈加明显。此外，多核多节点超级计算机节点内与节点间不同的存储机制和不同的通信延迟特点也给充分利用其计算能力获取最大性能带来了挑战[143]。因此，如何使并行算法与现代超级计算机的硬件拓扑体系结构特点相适应以提高大规模结构静力分析的效率成为迫切需要解决的问题。本章主要研究高效求解有限元结构静力分析问题的并行计算方法。首先介绍了目前进行结构静力分析并行计算的相关研究工作以及存在的问题和不足，并重点对区域分解法进行了分析。接着从总体的角度介绍了本文设计的多层并行计算方法，该方法能够充分利用多核多节点超级计算机存储和通信的层次性特点有效提高大规模结构静力分析并行计算的效率。然后，依次详细阐述了多层并行计算方法中一些关键环节的实现，包括两次缩聚、求解界面方程和回代内部自由度。最后，通过典型结构静力分析数值算例对传统区域分解法和本文设计的多层并行计算法的性能进行了评估。

2.2 相关研究工作与局限性

有限元结构静力分析中耗时最多的部分为线性方程组的求解。因此，实现线性方程组求解的并行化处理以缩短有限元分析时间成为结构静力学并行计算的一个重要研究方向[14]。线性方程组的并行求解一般在形成系统总体刚度矩阵和外部载荷向量后进行，常用的求解算法包括直接法[144, 145]和迭代法[146]两类。直接法通过排序、三角分解和回代求解三个步骤能够给定线性系统的精确解，并具有良好的数值稳健性[147]。然而，它往往需要较大的内存空间，且其可扩展性不如迭代法好[148]。迭代法通过多次迭代对求解结果进行改善以尝试收敛到问题的精确解。它所需内存空间较小，容易实现并行化，并具有良好的可扩展性[149]。但随着结构模型规模的扩大和复杂性的提高，迭代法往往面临收敛性差的问题。区域分解法[150-152]是有限元结构静力分析并行计算的另一个重要研究方向。它根据“分而治之”的思想将一个复杂的问题分解为一个个较小的容易处理的子问题，然后分别在每个子问题上单独运算，最后将各个子问题的计算结果汇总得到问题的完整解。如图 2-1 所示，区域分解法求解的基本原理为：

第三章 有限元结构动力分析多层并行计算方法研究...................................59

3.1 引言...........................................................................................................59

3.2 相关研究工作与局限性...........................................................................59

3.3 结构动力分析多层并行计算方法...........................................................62

3.4 数值算例...................................................................................................72

3.5 本章小结...................................................................................................76

第四章 软件开发与系统集成 ...........................................................................79

4.1 引言...........................................................................................................79

4.2 软件总体设计...........................................................................................79

4.3 输入/输出模块开发..................................................................................85

4.4 形成数学方程和计算应变应力模块开发...............................................86

第五章 工程应用实例 .....................................................................................103

5.1 引言.........................................................................................................103

5.2 结构静力分析并行计算工程应用实例.................................................103

5.3 结构动力分析并行计算工程应用实例.................................................112

5.4 本章小结.................................................................................................120

第五章 工程应用实例

5.1 引言

根据我们长期使用超级计算机的经验，为了充分发挥超级计算机的作用，必须实现超级计算机的硬件结构、并行算法、并行软件和工程应用计算模型的合理匹配。特别是对大规模并行计算来说，既要尽量减少工程应用有限元模型的建模时间，又要使工程应用有限元模型适合超级计算机的需求，同时还要使工程应用有限元模型具有实用价值。本章通过将开发的有限元结构分析并行计算软件部署在上海超级计算中心的“Dawning 5000A”超级计算机上，并以上海市闵浦二桥和某高层建筑模型作为有限元结构分析大规模并行计算的工程应用示范对象，重点研究超级计算机体系结构对并行计算效率的影响规律，实现有限元结构分析并行计算软件与高效能计算机硬件的优化匹配。

5.2 结构静力分析并行计算工程应用实例

5.2.1 工程概况

闵浦二桥(图 5-1)是上海市城市规划和交通规划的重点工程。它位于上海市黄浦江上游闵行－奉贤段，连接闵行奉贤两区。大桥北起闵行区东川路以北，沿奉贤区沪杭公路到西闸路以南落地。它不仅是一座公路和轻轨双叠合桥，而且是一座漂亮的斜拉桥。大桥的上层为公路双向四车道，桥面宽 18 米，为四快二慢六车道，下层为轨道交通(莘闵线)，双向二车道，宽 9 米。

第六章 总结与展望

随着结构有限元模型规模的扩大，求解复杂度的增加和求解精度的提高，有限元数值仿真对大规模并行计算的需求也与日俱增，并且要求也越来越高。目前，配备大量处理器和内存空间的多核多节点超级计算机由于性价比高、计算能力强已成为高性能计算的主流。但仅仅依靠多核多节点超级计算机的高机器性能并不能从根本上解决复杂结构有限元数值仿真的大规模计算问题，只有研究合适的并行计算方法才能有效提高工程分析的质量和效率。本文立足于工程实际，结合国家高技术研究发展计划 863 重大项目“高效能计算机”子课题“大型工程设备结构力学并行计算软件及应用”，利用上海超级计算中心的“Dawning 5000A”高性能计算平台，围绕有限元结构分析多层并行算法研究及应用问题展开研究。本文主要的研究成果和结论如下：

（1）研究了高效求解有限元结构静力分析问题和动力分析问题的并行计算方法。针对传统区域分解法利用大量处理器内核进行大规模并行计算效率低的问题，提出了一种多层并行计算方法。该方法在区域分解法的基础上利用两级分区和两次缩聚策略进行求解。它首先通过两级分区为并行计算准备数据，以确保节点间和节点内工作载荷的均衡。然后在并行计算时一方面通过两次缩聚大幅度降低了求解问题的规模，有效提高了界面方程的收敛速度；另一方面通过多层并行计算机制实现了对节点内和节点间通信的分层处理，有效提高了系统通信效率。该方法充分考虑了多核分布式并行计算环境下存储和通信的层次性特点，实现了对存储、通信和计算的层次化处理，因而能够有效利用现代超级计算机——多核多节点超级计算机的高效计算能力获取最大性能。数值试验结果表明：本文提出的多层并行计算方法同传统区域分解法相比能够获得较高的加速比和并行计算效率，并且核数越多效果越明显。

（2）研究了高效消去子区域内部自由度的缩聚算法。在二级子区域的缩聚过程中，基于稀疏存储技术和稀疏直接求解器设计了一种行压缩存储格式缩聚算法。它将缩聚过程转化为一系列线性方程组的求解过程，并通过稀疏直接求解器进行求解。由于采用稀疏存储技术实现了只对刚度矩阵中非零元素的存储，并在利用稀疏直接求解器求解线性方程组的过程中通过填充-约化排序有效降低了系统的内存需求和计算量，因此它具有所需内存空间小、计算效率高和易于编程实现的优点。在一级子区域的缩聚过程中，对传统变带宽格式缩聚算法进行了并行化改进以使节点内的所有进程都能参与相应一级子区域的并行缩聚，从而有效利用了节点内的多核计算资源。