| 摘要：现代CAE分析的发展对计算能力提出了越来越高的需求，ABAQUS作为功能最为强大的CAE分析软件之一，在生产和研究中为各国的工程师和研究人员所广泛采用。ABAQUS提供了强大的并行功能，它采用Threads和MPI两种并行模式，可应用于SMP或者Cluster。本文在对ABAQUS的并行求解的硬件需求进行详细分析的基础上，提出了一套完整的集群解决方案，并在此平台上对ABAQUS的并行求解器进行了详细的测试。测试结果表明，所提出的集群解决方案对ABAQUS的各种应用均有较好的适应性，能获得令人满意的加速比。本文所提出的解决方案对推动ABAQUS在大规模CAE分析中的并行应用具有较高的参考价值。
1. CAE分析对高性能计算的需求
CAE（Computer Aided Engineering）就是用计算机辅助求解工程和产品的强度、刚度、屈曲稳定性、动力响应、热传导、弹塑性等力学性能以及性能的优化设计等问题的方法。从20世纪60年代初开始，CAE技术逐渐被应用于解决复杂的工程分析计算问题。CAE的广泛应用使得工程和产品的设计水平发生了质的飞跃。经历了40多年的发展历史，CAE理论和算法都经历了从蓬勃发展到日趋成熟的过程，现已成为工程和产品结构分析中（如航空、航天、机械、土木结构等领域）必不可少的数值计算工具，同时也是分析连续力学各类问题的一种重要手段。
随着现代科学技术的发展，人们正在不断建造更为快速的交通工具、更大规模的建筑物、更大跨度的桥梁、更大功率的发电机组和更为精密的机械设备。因此，要进行CAE分析设计必须获得更高的计算能力，主要表现在：
要处理更多的工程数据：现代勘探和测量技术的发展，使得在设计、生产或施工前后都能获得大量的数据。数据的及时有效处理能为后继的、生产或施工提供有力的指导。
要处理更大规模的问题：为了提高分析的精度，必须采用更精密的网格划分、模拟更加精细的结构，使得问题规模不断扩大。
要完成更加困难的分析：在分析中要考虑更多的影响因素，不仅要处理线性弹性问题，还要处理非线性、塑性、流变、损伤以及多物理场的耦合等，分析起来更加困难。
要进行更深层次的优化：为了降低成本，提高经济效益，对设计要反复进行优化，而且优化的规模也日渐增加。
拥有高性能计算能力，将使CAE工程师能更快、更好地解决更大、更难的实际工程和产品设计问题，从而创造更多的价值。曙光公司作为国内高性能计算集群的领军者，从当前CAE工程师对高性能计算的需求出发，在对常用CAE软件，如ABAQUS、ANSYS、MSC.Nastran、MSC.Marc和LS-DYNA等进行长期测试和研究的基础上，制订出一系列针对不同行业特点的CAE高性能计算解决方案。该解决方案计算性能高，性价比好，特别适用于经常需要进行大规模CAE分析的公司、企业以及科研部门。
2. ABAQUS及其并行计算简介
ABAQUS及其并行计算
ABAQUS是一款功能强大的有限元分析软件，它有两个主求解器模块—ABAQUS/Standard和ABAQUS/Explicit，如上图所示，可以分析复杂的固体力学、结构力学系统，特别是能够驾驭非常庞大复杂的问题和模拟高度非线性问题。ABAQUS不但可以做单一零件的力学和多物理场的分析，同时还可以做系统级的分析和研究。ABAQUS在大量的高科技产品研究中都发挥着巨大的作用。
随着并行有限元分析的发展，ABAQUS的并行计算日益成熟。ABAQUS 6.5支持Threads和MPI两种模式的并行。Threads模式只能在SMP系统上运行，而MPI模式则在SMP或者集群系统上都可以运行。ABAQUS/Standard的并行求解器包括：具有动态负载均衡功能的并行直接稀疏矩阵求解器、基于区域分解的并行迭代求解器和并行Lanczos特征值求解器；ABAQUS/Explicit的并行求解器也是基于区域分解的。
目前国内应用ABAQUS的单位很多，但大多局限于单机器小规模计算。当处理实际问题时，计算规模的增加非常快，1000万以上自由度的问题也并不鲜见，而20万左右自由度的问题在单机上进行计算时，要在合理的时间内得到一个分析结果已经非常困难，更不用说反复进行优化。单机的计算能力已经越来越难以满足实际计算的需求。曙光集群CAE高性能计算解决方案可较好地满足ABAQUS对运算速度、内存和磁盘空间的需求。实测表明，ABAQUS在8节点曙光集群上求解100万以上自由度问题时，能使求解时间缩短为原来的20％左右，并行性能令人满意。
3. 曙光ABAQUS解决方案
曙光集群CAE高性能计算ABAQUS解决方案基于Linux操作系统，主要包括节点、网络、存储、监管和软件等几个部分，其基本体系结构如下图所示。该解决方案可根据用户不同分析规模的需要对节点、网络和存储等进行量身定制。
曙光集群体系结构
3.1. 节点
3.1.1. 节点类型
对于节点类型的选择，现在大多采用2路SMP结构，以提高单位计算能力。对于ABAQUS而言，它支持Threads和MPI两种模式的并行，其中Threads模式只能在SMP系统上运行。不同的求解器支持的并行模式不同，见下图：
ABAQUS并行求解器
上图可见ABAQUS/Explicit全部支持MPI并行，ABAQUS/Standard则只有单元操作和迭代解法器支持MPI并行，这就意味着如果用户的题目需要采用直接求解器或者求解特征值得话，则可能大部分情况都无法获得跨节点的并行。
对于需要采用稀疏矩阵求解器或者Lanczos特征值求解器的用户来说，只能通过SMP系统进行并行计算，因此可以考虑4路、8路或者8路以上的服务器。进行隐式求解时，如果要获得更高的加速比，只能采用迭代求解器，并通过MPI模式进行并行。并且实测表明，由于减少了节点之间的通信，多路服务器在计算性能方面亦较双路服务器为优。配置同样数目的CPU，推荐优先采用多路服务器，以适应对不同类型问题进行分析的需要。 |
