基于超级计算平台的LS-DYNA综合应用

djh2003

$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
本文在2013第一届中国LS-DYNA用户大会中被评为优秀论文
$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$

基于超级计算平台的LS-DYNA综合应用
李根国, 丁峻宏(jhding@ssc.net.cn), 王惠
(上海超级计算中心, 上海, 201203)
摘要: 近年来高性能计算技术的发展促进了数值仿真在工程计算领域的深入和广泛应用。本文首先介绍了上海超级计算中心十余年来的发展历程和工程计算这一主营业务的情况，其次阐述了LS-DYNA软件在中心最新的计算平台“蜂鸟”上的并行加速性能测试情况，再次描述了中心的几个重点制造业用户利用该软件取得了大量的成果，最后结合中心的一系列科研课题和项目案例，给出了对LS-DYNA软件强大功能的应用和开发情况。
关键词：高性能计算；有限元；LS-DYNA；并行计算；工程计算


1  上海超级计算中心的工程计算业务
    上海超级计算中心(以下简称中心)成立于2000年12月，是国内首屈一指的集高性能计算(HPC)应用、科研开发与创新、技术支持与咨询、人才培养和科普教育等多功能为一体的面向社会开放，资源共享，设施一流的高性能计算公共服务平台。目前中心服务以上海为主、遍布全国28个省市自治区的近400家科研机构和企事业单位，十多年来为2500名以上的科研人员支持各类研发项目超过3000个，有力地支持了上海及全国的科学研究和工业创新。在气象预报、药物设计、生命科学、新材料、天文、物理、化学、航空航天、汽车、船舶、核电工程、土木工程等数十个应用领域取得了一批重大成果，充分发挥了公共服务平台的支撑作用。
    中心经过三期持续建设，先后拥有五台超级计算机，目前运行的“魔方”和“蜂鸟”集群峰值速度达到230万亿次/秒；为了满足科学计算和工程应用的需求，中心还配备和购置了大量的通用应用软件。工程计算模拟应用方面的通用软件有几十种，如结构计算分析软件LS-DYNA、ABAQUS、ANSYS和NASTRAN，计算流体力学软件FLUENT和CFX，电磁场计算分析软件FEKO，优化设计软件OPTIMUS等以及其他相关的各种前后处理软件，上述数值计算软件一般都具有大规模并行计算能力。中心还拥有国内领先的大型计算服务技术团队，在超级计算机系统管理和运维、应用支持服务、大规模计算技术、海量数据存储和管理、以及面向服务的软件开发等多个领域均有良好的技术储备和优势。
上海依据历史和地缘优势集聚了一大批具有重要国际和国内影响力的工业企业，目前以上海为龙头的长三角地区是中国重要的大型制造业基地之一，在航空航天、汽车、船舶、核电、电气工程等领域有举足轻重的地位。当前，上海地区信息化和工业化正进入深度融合阶段，对于制造类企业来讲，包括CAE在内的CAX技术作为数字化设计主要技术之一，正在制造类企业中得到充分使用，同时产品设计和研发过程对高性能计算的需求也一直非常迫切。中心在提供面向制造业和工程的计算服务同时，十多年来在航天航空、汽车、船舶、核电、钢铁、市政工程等领域也开展了大量应用推广工作，在工程计算方面积累了丰富实践经验。其中，LS-DYNA软件在涉及多个工业企业项目案例和多个科研领域工程课题的开发攻关方面均有大量运用并有不俗表现。
2  LS-DYNA软件的并行加速性能测试
LS-DYNA除了可以进行单CPU(或CORE,核)求解计算外，对于大规模计算模型和大型工程问题，其优异的并行计算能力可以极大地缩短计算时间，提高产品研发效率。LS-DYNA并行计算功能除了早先的SMP（Shared memory parallel）与MPP(Massively parallel processing) 两种并行计算模式外，近些年来LSTC通过使用混合编程技术(MPI + OpenMP) 也开发了融合SMP 程序和MPP程序优点的HYBRID并行模式，旨在解决特定条件下精度一致性问题以及多核计算并行加速性能问题等[1]。
对LS-DYNA软件并行加速性能的测试基于中心新近建设的工程计算“蜂鸟”集群(见图1)，它包含65台IBM HS23刀片服务器作为计算节点，分别配置6台与4台x3650M3机架服务器作管理登录和存储节点，配置2台dx360M3图形服务器，采用Nvidia quadro5000图形加速卡。所有节点间通过40Gb Infiniband高速网络连接，整套系统峰值双精度浮点运算能力将近21.6TFLOPS。对于计算节点，每台刀片服务器配置两路Intel E5-2670处理器(2.60GHz 1600MHz/20MB 8核)，8根8GB VLP DDR3 内存(共64GB)，1块300GB 热插拔1万转SAS硬盘，操作系统是Red Hat Enterprise Linux 6.2 (Santiago)。
测试模型选用Topcrunch.org网站给出的三车碰撞测试案例(3 Vehicle Collision)，该计算模型单元数808970，节点数827605，碰撞求解时间为150ms。测试时采用的软件版本为LS-DYNA_MPP971_S_ R5.1.1，最大调用计算核数为256，采用HP-MPI，对SMP/MPP/HYBRID三种并行模式均分别开展了测试分析。图2显示的是150ms计算结束时的三车碰撞挤压状态。
   
   图1  “蜂鸟”计算集群                图2  LS-DYNA求解三车碰撞模拟结果(T=150ms时刻)
由于“蜂鸟”集群单个计算节点为双路8核，因此本平台上SMP并行最大测试核数为16核。图3给出了从1到16核之间，随着计算核数的增加，分别采用SMP和MPP两种并行模式所得到的计算耗时、加速比和并行效率等性能数据对比。从中可以看出，SMP并行加速性能相对而言并不理想，与单核相比，需要至少8核并行才能将单核计算耗时数值降至一半，而且进一步使用16核时该数值将再无明显降低；MPP并行加速性能则十分突出，刚开始2核并行时几乎是线性加速，随着计算核数的继续增加，计算耗时随之不断回落，加速比数据一直呈小幅攀升趋势。进一步将MPP并行测试规模逐渐扩大至128核（见图4），可以看到计算时间已经从单核时的20.4小时缩短至到22分钟，此时加速比依旧高达56％，并行效率也仍可维持在44％的水平。对于计算工程师来说，如此大规模的汽车碰撞仿真计算，夙夜等待已经变为半盏茶歇，LS-DYNA的MPP并行加速性能的确给人以惊喜表现。
HYBRID并行模式充分结合了消息传递和共享内存两种并行模式的优点，MPI可以显式控制数据分布策略，而OpenMP用于单进程内共享内存并行。有些工业用户在使用LS-DYNA MPP进行并行求解时，往往倾向于使用指定软件版本和指定计算核心数目（MPI进程数），这是出于长时间计算经验和消除数值噪音影响的考虑。同一软件版本下数据一致性问题多是由于分区数目不同引起的，因此考察HYBRID并行加速性能时，应该先确定MPI的数目；以本文为例，若定下MPI进程数为8，则可以依次考察8核(8MPIx1OMP)，16核(8MPIx2OMP)，32核(8MPIx4OMP)，64核(8MPIx8OMP)，128核(8MPIx16OMP)共5种并行组合方案。
图5和图6给出了不同MPI进程数和不同OpenMP线程数组合得到的一组并行求解测试数据，受计算许可证限制，最大测试规模为MPI进程数和SMP线程数均定为16。综合计算数据分析，有以下一些认识：
(1) 在HYBRID并行计算模式下，决定计算时间长短的仍然是MPI进程数而非SMP线程数。图5反映了不同HYBRID组合对应计算条件下的计算耗时，每个MPI进程数对应的5个SMP线程数可归为一个Group，可以看到每个Group内的计算耗时数值水平较为接近；在每个Group内，尽管SMP线程数从1陆续增加到16，但是计算耗时最好情况下也就减少了一半左右，并没有大幅度降低；上述现象随着MPI进程数的增加，观察更为明显。

  
图3  16核内SMP和MPP并行计算测试数据对比     图4  128核内MPP并行计算测试数据对比
(2) 在HYBRID并行计算模式下，对单个计算核心内存使用量发挥重要影响的是SMP线程数而非MPI进程数。制定大规模模型计算策略时，需要注意系统资源的调配和使用情况。图6反映了不同HYBRID组合对应计算条件下的最大内存使用量，可以看出，在任一指定MPI进程数对应的一组Group中，SMP线程数的增加可以降低单个计算核心使用的内存量。当MPI进程数大于2时，每个Group内线程数16对应数值可比线程数1对应数值平均减少2.5倍左右；当计算总核心数一定情况下，比如32核时，(2MPIx16OMP) 组合对应数值是(16MPI x2OMP)组合对应数值的4.4倍。
(3) 是否选择HYBRID并行计算模式，应该取决于计算模型规模和计算时间诉求。计算模型规模不太大而无需虑及MPI进程通讯开销负荷时，HYBRID并行计算优势并不能充分体现，比如本文所用的三车碰撞测试案例，当计算总核心数达128时，MPP并行模式下计算时间(22分钟)要比HYBRID并行计算模式(8MPIx16OMP, 82分钟; 或16MPIx8OMP, 54分钟)表现要好。
(4) 虽然平时超大规模的计算模型并不常见，但是LS-DYNA软件的HYBRID并行计算模式仍有其用武之地，比如说有些企业或公司的计算经验决定日常并行计算时必须使用某一固定MPI进程数，此时可以考虑通过增加SMP线程数来进一步缩短计算时间。对此，针对固定MPI进程数时采用不同SMP线程数而开展的数据一致性比较也已经有了很好的验证。
  
       图5 不同HYBRID并行策略下的计算耗时对比   图6 不同HYBRID并行策略下单核使用内存消耗对比
3 LS-DYNA软件在上海超算工业用户中的典型应用
作为一款功能强大的显式动力学CAE计算软件，LS-DYNA软件的用户群多来自汽车、航空航天、制造、建筑、电子、石油和国防等多个应用领域，和工业界的联系十分密切。上海超算是一家面向社会的公共计算平台，一直以来工业企业是工程计算业务领域的主要客户来源。两者功能和定位上的有效结合，使得LS-DYNA软件成为中心工业用户服务业务领域中的一颗闪亮明星。
现代制造工业是CAE技术兴起和发展的原动力，各种CAE技术正是在实际工业应用的需求推动下，在半个世纪时间里迅猛发展起来的。当前，相对于其他行业来说，汽车行业CAE发展和综合应用水平相对较高，从零部件直至整车装配级别的研发设计阶段都有大量计算分析，涉及刚度强度、NVH、机构运动、碰撞模拟、板件冲压、疲劳和空气动力学分析等许多力学和计算问题。中心所提供的HPC资源，给不少汽车工业用户在解决大规模和大批量计算模型的处理手段上，提供了强有力的辅助工具(见图7和图8)，有的已经发展成为企业高性能计算协同设计平台的重要组成部分[2,3]。比如在上汽荣威550/750车型和奇瑞A3车型研发过程中，均借助了超级计算平台完成了大量虚拟安全碰撞试验计算工作，使虚拟碰撞试验数量、分析精度、精细程度和设计周期等都接近全球一流汽车研发水平。
           图7 不同角度下的汽车碰撞结果观察                   图8 白车身顶压性能优化
随着大型计算机及工作站的出现和大量工程应用软件的投入使用，飞行器等航空航天产品设计复杂的工程问题得以借助数值仿真方法进行分析。LS-DYNA在鸟撞、叶片包容性设计、异物损伤分析、飞机结构冲击动力分析等问题的模拟计算上，发挥了不可替代的作用。以上海商发工业用户为例，如图9和图10所示，利用超级计算平台，可预测发动机在风扇叶片脱落(FBO)时的动力学行为，以及后续对发动机产生的振动和不平衡载荷；利用LS-DYNA用户自定义材料模型开发功能，开展风扇包容机匣周围编织结构的外物冲击仿真，支撑了商用航空发动机复合材料部件的设计；基于超级计算平台上充足的软硬件计算资源，还可分析影响包容性数值仿真并行计算效率的原因，研究提高并行计算效率的方法[4]。
  图9 发动机FBO仿真分析               图10 基于超算平台进行自定义材料模型开发
        LS-DYNA 在非线性特别是大变形问题上的计算功能和处理能力，使其在钢铁和制造加工领域内的应用也比较常见，比如说钢板的轧制和矫直，薄板的冲压和拉伸成形，钢坯的锻造和挤压成型，以及零件的切削加工等诸多问题均可以借助该软件来进行仿真模拟。以中心宝钢用户为例，在多辊矫直机对钢板矫直过程模拟计算(见图11)时，对辊和钢板之间接触区域的细致模拟需要大规模网格模型，HPC资源的使用可以缩短确定矫直工艺和方案所需的时间。目前制造业发展要求推动产业链上下游协同创新，比如说，宝钢在为汽车企业提供零部件之前，就已经对B柱进行刚度、强度和碰撞安全性分析(见图12)，为车身B柱总成部件的轻量化工作提供思路。
        
图11  钢板矫直过程力学模拟                      图12  B柱碰撞前后变形比较分析
4 LS-DYNA软件在课题项目中的广泛应用
十余年间，作为一个提供计算资源和技术服务的政府公共计算资源的管理者，上海超算与很多领域的研究单位、科研团队和软硬件供应商都开展了深入和广泛的合作。中心自身建设有一支从事高性能计算学术研究和技术开发，工程计算和科学计算应用研究的技术队伍；在多年发展和运营中，以一些高校为依托并与相关研究团队也形成了紧密合作关系，共同承接了国家、地方和企业的科研项目，利用HPC资源和数值仿真技术参与了一批具有重要社会影响力的工程项目建设或工业产品设计过程。
地下建筑结构抗震和施工仿真是上海超算与上海交大金先龙教授课题组合作利用LS-DYNA软件最早参与的工程领域，也是多年以来涉足比较深入的研究方向之一，见图13。以上海外环线沉管隧道为例[5]，可建立包括地基土、沉管管段以及柔性接头在内的全三维分析模型，单元数和节点数均超过百万，充分考虑材料非线性和接触非线性因素进行大规模地震响应分析，模拟地基土-沉管隧道体系在地震荷载作用下的相互作用和整体变形，同时对沉管及柔性接头等关键部位进行了深入分析。同样的仿真手段还应用于更为常见的盾构隧道工程[6]，不仅可反映地基土－盾构隧道在地震荷载作用下的相互作用和变形，还可对隧道衬砌结构中的管片应力以及连接螺栓的受力变化进行深入分析，计算规模达四百万以上。最新研究项目采用精粗混合建模策略，更将十四公里长青草沙输水隧道进行全三维建模，开展隧道开挖、抗震分析和水锤效应等多个问题[7-9] 的综合计算分析。
         
(1)沉管隧道管段模型                       (2)地下隧道-地基土体系
           
(3)盾构隧道衬砌管片承压计算                        (4)盾构刀盘掘削土体仿真
图13  LS-DYNA在地下结构仿真中的应用案例
    对地震和冲击问题的仿真研究方法同样适用于桥梁和大厦等地上建筑结构，见图14。对于斜拉桥结构来说，利用中心HPC资源开展的大规模LS-DYNA显式动力学计算可用于解决船桥碰撞、车桥、车隧耦合等仿真问题[10,11]；对于高层建筑结构来说，针对爆炸冲击波对玻璃幕墙破坏问题，可基于多物质ALE有限元法，模拟玻璃幕墙防爆炸实验中爆炸荷载的产生及其与玻璃幕墙之间相互作用[12]；考虑玻璃结构的上海中心大厦结构幕墙大震弹塑性分析[13] 表明，玻璃结构对建筑主体结构影响较少，但对幕墙结构层间位移角抑制明显，从而减少了支撑结构内力。
             (1)斜拉索桥梁                      (2)桥上轻轨车辆(单节)                (3)超高层建筑
图14  LS-DYNA在地上结构计算中的应用案例
    上海超算内部技术团队，借助LS-DYNA软件处理复合材料以及复杂接触问题的强大功能，也独立为工业用户开展了一些涉及航天和机械领域的项目研究。例如图15所示，针对空间豆荚杆薄膜展开机构的盘卷收拢和展开过程进行的非线性准静态模拟[14]，考察机构功能设计并就结构改型和参数调整进行预知仿真。再比如利用显式有限元算法完成的曲轴－连杆体系结构的运动学仿真[15], 考察柔性结构的应力应变时间历程，继而将动力仿真结果直接转入疲劳分析软件进行寿命及安全系数快速评估。
   
(1)豆荚杆机构收展过程模拟                      (2)曲轴连杆机构运动仿真(多核分区)
图15  LS-DYNA在机械机构模拟中的应用案例
5 小结
     作为是世界上最著名的通用显式动力分析程序，LS-DYNA在求解三维非线性结构的高速碰撞/冲击，爆炸和金属成型以及流固耦合问题等一系列复杂非线性问题上，拥有强大而可靠的计算功能。而面对高性能计算硬件技术的不断发展，其并行计算能力也一直随之不断开发和提升，可扩展性等性能参数始终呈现出超过同类计算软件的不俗表现。随着LS-DYNA在多物理场研究领域计算功能及模拟能力的进一步扩充和壮大，该软件将在以上海超算为代表的超级计算平台上与工业界应用需求进一步融合，并在未来发挥更为耀眼的光芒。
参考文献
[1]        Meng N., Wang J., Pathy S. New features in LS-DYNA HYBRID version[C]. 11th International LS-DYNA Users Conference, Detroit, USA, 2010.
[2]        Li Z.，Jin X.L.，Cao Y.，et al． Conception and implementation of a collaborative manufacturing grid［J］．International Journal of Advanced Manufacturing Technology, 2007, 34( 11-12) : 1224-1235．
[3]        张伟, 张鲲鹏, 戴轶. 轻量化车身车顶抗压设计优化[J]. 计算机辅助工程, 2012, 21(2): 46-49.
[4]        史同承, 柴象海, 张晓云. 航空发动机包容性数值仿真并行计算效率研究[J]. 计算机仿真, 2003, 30(1): 86-90.
[5]        Ding J. H., et al. Numerical simulation for large-scale seismic response analysis of immersed tunnel[J]. Engineering Structures, 2006, 28(10): 1367-1377.
[6]        Guo Y. Z., et al. Parallel numerical simulation with domain decomposition for seismic response analysis of shield tunnel[J]. Advances in Engineering Software, 2006, 37(7): 450-456.
[7]        沈建奇, 金先龙等. 基于并行计算的盾构刀盘三维切削仿真[J]. 上海交通大学学报, 2009, 43(6): 1017-1020.
[8]        翁依柳等. 基于混合模型的超大规模隧道结构非线性动态有限元分析[J]. 振动与冲击, 2011, 30(7): 157-163.
[9]        曹源等. 基于流固耦合的水力瞬变三维模拟及管壁动态应力分析[J]. 振动与冲击, 2009, 28(11): 70-83.
[10]        Du X.G., et al. Dynamic simulation of cable stayed bridge-ship collision and its impact on the moving train[J]. Journal of Ship Mechanics, 2012, 16(9): 1064-1084.
[11]        张伟伟等. 列车动载下双线隧道联络通道动力响应数值分析. [J]. 铁道学报, 2013, 35(4): 110-116.
[12]        邓荣兵等. 爆炸冲击波对玻璃幕墙破坏作用的多物质ALE 有限元模拟[J]. 高压物理学报, 2010, 24(2): 81-87.
[13]        杨颜志等. 考虑玻璃结构的上海中心大厦幕墙大震弹塑性分析[J]. 防灾减灾工程学报, 2012, 32(3): 307-312.
[14]        丁峻宏, 咸奎成, 韩轩等. 空间豆荚杆机构收展过程的并行仿真计算[J]. 宇航学报, 2011, 32(3): 676-682.
[15]        丁峻宏, 张晓云, 李根国. 基于高性能计算的曲轴系统动力学与疲劳仿真[J]. 农业机械学报, 2010, 40(5):34-38.