秦国人 发表于 2019-6-4 12:58:31

最快多物理场耦合仿真单机与多机集群配合方案

COMSOL公司是全球多物理场建模与仿真解决方案的提倡者和领导者,Comsol Multiphysics是采用有限元方法求解偏微分方程的大型仿真软件.借助这个软件工具,使工程师和科学家们可以通过模拟,赋予设计理念以生命。它有无与伦比的能力,使所有的物理现象可以在计算机上完美重现。

http://www.xasun.com/upload/image/big/78/7889_190404002753.png

Comsol Multiphysics求解类型
A1稳态Stationary
A2 瞬态Time-Dependent
A3 特征值Eigenvalue
A4 参数化Parametric
A5 稳态分离式Stationary segregated
A6 瞬态分离式Time dependent segregated

Comsol Multiphysics求解器两大类
B1直接求解器UMFPACK、SPOOLS、PARDISO、Cholesky(TAUCS)等
B2迭代式求解器GMRES、FGMRES、共轭梯度法CG、BICGStab和粗化求解器等

真实测试数据


分析:由于我们知识局限于计算机硬件,对行业应用软件算法(不同的求解器)特点了解肤浅,因此,通过运行典型算例在不同硬件配置上,观测求解时间和中间过程单多核并行特点,找到最佳硬件配置方案是一个有效实用的方法,

测试1: 算例(瞬态,约58万自由度)测试,在多核(4核、6核、8核、16核、28核)测试结果看到,Comsol Multiphysics多物理场耦合,到8核多核并行计算加速比最高,也是性价比最高,CPU核数再提升,性能幅度很低,

测试2:算力(稳态,600万自由度)测试,8核还是最佳的,单机计算时间过长,承受太重,建议用集群方式求解

厂家针对硬件配置相关描述(虽然非常详细,但关键的地方也验证了我们的测试数据,文章中提到求解器PARDISO多核并行提升,可以增加CPU核数,提升性能):
https://cn.comsol.com/support/knowledgebase/866/

计算规模划分与硬件配置推荐


                                    NO                        自由度规模            推荐计算架构            推荐配置      
                  1            小于150万            单机计算            8核@4.7GHz/64GB~256GB/      
                  2            150万~500万            集群计算            4个计算节点(32核@4.7GHz)/IB网络      
                  3            500万~1000万            集群计算            8个计算节点(64核@4.7GHz)/IB网络      
                  4            1000万~2000万            集群计算            16个计算节点(128核@4.7GHz)/IB网络      
   
上述 配置规格,应该是目前最快的硬件配置架构,欢迎远程测试验证

UltraLAB硬件配置方案推荐

(1)基于单机架构多物理场耦合仿真计算硬件配置推荐
求解规模:小于150万自由度


                                    NO                        型号            主要配置            报价      
                  1            UltraLAB H380 14864-S5TCA                        Intel 第9代高频处理器            (B8@4.8Ghz]6核@4.8Ghz)/64GB DDR4             /Quadro P620 2GB            /512GB SSD+4TB SATA企业级            /塔式(750W)/23寸图显                        25800      
                  2            UltraLAB H38015264-S5TCA            Intel 第9代高频处理器            (B8@5.2Ghz]8核@5.2Ghz)/64GB DDR4             /Quadro P620 2GB            /512GB SSD+4TB SATA企业级            /塔式(750W)/23寸图显            29500      
                  3            UltraLAB AX400 147128-SATCB            Intel 第9代至尊处理器            (B8@4.7Ghz]8核@4.7Ghz)/128GB DDR4 2666             /Quadro P2000             /1TB SSD +4TB SATA企业级            /塔式(750W)/23寸图显            49990      
                  4            UltraLAB AX400 146256-SATCB            Intel 第9代至尊处理器            (B8@4.7Ghz]8核@4.7Ghz)/256GB DDR4 2666             /Quadro P2000            /1TB SSD +4TB SATA企业级            /塔式(750W)/23寸图显            59990      
   


(2)基于集群架构多物理场耦合仿真计算硬件配置推荐

推荐方案1
集群型号:UltraLAB CT400 32C47-512
集群规模:4个计算节点(32核*4.7GHz ,512GB DDR4)
求解规模:150万~500万自由度
配置明细:


                                    NO                        货物名称            型号            数量            单价            小计      
                  (一)硬件设备      
                  1.1            计算节点            8核@4.7Ghz/128GB DDR4 /QK420/512GB SSD企业级/4U机架式(750W)/双56Gbps IB低延迟网卡/无显示器            4套            41500            166000      
                  1.2            存储节点            Xeon E3 1245v5/32GB DDR4 /Quadro P620 2GB/512GB SSD企业级+28TB SATA并行存储/4U机架式(1200W)/ 双56Gbps   IB低延迟网卡/23寸图显            1套            48500            48500      
                  1.4            计算交换机            迈络思IB交换机12口@56Gbps             1台            32500            32500      
                  1.5            管理交换机            24口千兆电口            1台            1100            1100      
                  1.6            KVM切换器            8口,HDMI接口            1台            2350            2350      
                  1.7            机柜            42U,服务器级,插排,托盘            1台            5500            5500      
                                                                                          
                  (二)集群系统      
                  2.1            操作系统                                                          
                  2.2            作业调度软件            UltraLAB JOB-Schedule软件            4个节点            10000/节点            40000       
                  2.3            求解器                                                          
                                                                                          
                  合计:¥295,950元      
   
推荐方案2
集群型号:UltraLAB CT400 64C47-1T
集群规模:8个计算节点(64核*4.7GHz ,1TB DDR4)
求解规模:600万~1000万自由度
配置明细:

                                    NO                        货物名称            型号            数量            单价            小计      
                  (一)硬件设备      
                  1.1            计算节点            8核@4.7Ghz/128GB DDR4 /QK420/512GB SSD企业级/4U机架式(750W)/双56Gbps IB低延迟网卡/无显示器            8套            41500            332000      
                  1.2            存储节点            Xeon E3 1245v5/32GB DDR4 /Quadro P620 2GB/512GB SSD企业级+28TB SATA并行存储/4U机架式(1200W)/ 双56Gbps   IB低延迟网卡/23寸图显            1套            48500            48500      
                  1.4            计算交换机            迈络思IB交换机12口@56Gbps             1台            32500            32500      
                  1.5            管理交换机            24口千兆电口            1台            1100            1100      
                  1.6            KVM切换器            8口,HDMI接口            1台            2350            2350      
                  1.7            机柜            42U,服务器级,插排,托盘            1台            5500            5500      
                                                                                          
                  (二)集群系统      
                  2.1            操作系统                                                          
                  2.2            作业调度软件            UltraLAB JOB-Schedule软件            8个节点            10000/节点            80000       
                  2.3            求解器                                                          
                                                                                          
                  合计:¥505,400元      
   
常见问题
1)为什么Comsol Multiphysics运行CPU使用率只能到4%
答:很多求解是单线程的,或求解过程的某个阶段,是单线程的,这是正常的

2)Comsol Multiphysics怎样选择CPU
答:不同求解器有不同的多核并行计算特点,具体情况具体分析,参考测试数据

3)Comsol Multiphysics运行为什么会内存不够
答:网格划分过细过大,造成数据计算规模大,超出内存容量,通过优化或简化模型可以降低计算量,少占用内存

4)Comsol Multiphysics求解速度为什么这么慢
答:可能原因CPU核数、频率不合理,也可能是内存容量不够,如果是集群,网络延迟大,另外跟网格划分过细有关系,计算量太大,算不动,具体情况具体分析

5)为什么在超级计算机系统上运行求解计算,还不如单机快
答:多核并行有限度,超级计算机cpu核数多,但频率普遍太低(通常不超过3GHz),某些计算需要有限多核和高频(越高越好),才是最理想的计算架构,另外也可能软件授权的核数有限制

如果你用那些所谓的大品牌机器,跑程序计算不理想或对其专业服务不满意,可以看看我们的方案,也可以通过测试体验,我们可以针对不同的计算规模或预算,量身定制出最快的硬件配置架构,欢迎技术咨询
页: [1]
查看完整版本: 最快多物理场耦合仿真单机与多机集群配合方案