最快多物理场耦合仿真单机与多机集群配合方案

秦国人

COMSOL公司是全球多物理场建模与仿真解决方案的提倡者和领导者，Comsol Multiphysics是采用有限元方法求解偏微分方程的大型仿真软件.借助这个软件工具，使工程师和科学家们可以通过模拟，赋予设计理念以生命。它有无与伦比的能力，使所有的物理现象可以在计算机上完美重现。



Comsol Multiphysics求解类型
A1稳态Stationary
A2 瞬态Time-Dependent
A3 特征值Eigenvalue
A4 参数化Parametric
A5 稳态分离式Stationary segregated
A6 瞬态分离式Time dependent segregated

Comsol Multiphysics求解器两大类
B1直接求解器  UMFPACK、SPOOLS、PARDISO、Cholesky（TAUCS）等
B2迭代式求解器  GMRES、FGMRES、共轭梯度法CG、BICGStab和粗化求解器等

真实测试数据


分析：由于我们知识局限于计算机硬件，对行业应用软件算法（不同的求解器）特点了解肤浅，因此，通过运行典型算例在不同硬件配置上，观测求解时间和中间过程单多核并行特点，找到最佳硬件配置方案是一个有效实用的方法，

测试1： 算例（瞬态，约58万自由度）测试，在多核（4核、6核、8核、16核、28核）测试结果看到，Comsol Multiphysics多物理场耦合，到8核多核并行计算加速比最高，也是性价比最高，CPU核数再提升，性能幅度很低，

测试2：算力（稳态，600万自由度）测试，8核还是最佳的，单机计算时间过长，承受太重，建议用集群方式求解

厂家针对硬件配置相关描述（虽然非常详细，但关键的地方也验证了我们的测试数据，文章中提到求解器PARDISO多核并行提升，可以增加CPU核数，提升性能）：
https://cn.comsol.com/support/knowledgebase/866/

计算规模划分与硬件配置推荐

NO	自由度规模	推荐计算架构	推荐配置
1	小于150万	单机计算	8核@4.7GHz/64GB~256GB/
2	150万~500万	集群计算	4个计算节点(32核@4.7GHz)/IB网络
3	500万~1000万	集群计算	8个计算节点(64核@4.7GHz)/IB网络
4	1000万~2000万	集群计算	16个计算节点(128核@4.7GHz)/IB网络

上述 配置规格，应该是目前最快的硬件配置架构，欢迎远程测试验证

UltraLAB硬件配置方案推荐

（1）基于单机架构多物理场耦合仿真计算硬件配置推荐
求解规模：小于150万自由度

NO	型号	主要配置	报价
1	UltraLAB H380 14864-S5TCA	Intel 第9代高频处理器              （[url=mailto:6%E6%A0%B8@4.8Ghz]6核@4.8Ghz[/url]）/64GB DDR4              /Quadro P620 2GB              /512GB SSD+4TB SATA企业级              /塔式(750W)/23寸图显	25800
2	UltraLAB H380  15264-S5TCA	Intel 第9代高频处理器              （[url=mailto:8%E6%A0%B8@5.2Ghz]8核@5.2Ghz[/url]）/64GB DDR4              /Quadro P620 2GB              /512GB SSD+4TB SATA企业级              /塔式(750W)/23寸图显	29500
3	UltraLAB AX400 147128-SATCB	Intel 第9代至尊处理器              （[url=mailto:8%E6%A0%B8@4.7Ghz]8核@4.7Ghz[/url]）/128GB DDR4 2666              /Quadro P2000              /1TB SSD +4TB SATA企业级                /塔式(750W)/23寸图显	49990
4	UltraLAB AX400 146256-SATCB	Intel 第9代至尊处理器              （[url=mailto:8%E6%A0%B8@4.7Ghz]8核@4.7Ghz[/url]）/256GB DDR4 2666              /Quadro P2000              /1TB SSD +4TB SATA企业级                /塔式(750W)/23寸图显	59990

  
（2）基于集群架构多物理场耦合仿真计算硬件配置推荐

推荐方案1  
集群型号：UltraLAB CT400 32C47-512
集群规模：4个计算节点（32核*4.7GHz ，512GB DDR4）
求解规模：150万~500万自由度
配置明细：

NO	货物名称	型号	数量	单价	小计
（一）硬件设备
1.1	计算节点	8核@4.7Ghz/128GB DDR4 /QK420/512GB SSD企业级/4U机架式(750W)/双56Gbps IB低延迟网卡/无显示器	4套	41500	166000
1.2	存储节点	Xeon E3 1245v5/32GB DDR4 /Quadro P620 2GB/512GB SSD企业级+28TB SATA并行存储/4U机架式(1200W)/ 双56Gbps   IB低延迟网卡/23寸图显	1套	48500	48500
1.4	计算交换机	迈络思IB交换机12口@56Gbps	1台	32500	32500
1.5	管理交换机	24口千兆电口	1台	1100	1100
1.6	KVM切换器	8口，HDMI接口	1台	2350	2350
1.7	机柜	42U，服务器级，插排，托盘	1台	5500	5500
（二）集群系统
2.1	操作系统
2.2	作业调度软件	UltraLAB JOB-Schedule软件	4个节点	10000/节点	40000
2.3	求解器
合计：￥295,950元

推荐方案2  
集群型号：UltraLAB CT400 64C47-1T
集群规模：8个计算节点（64核*4.7GHz ，1TB DDR4）
求解规模：600万~1000万自由度
配置明细：
  

NO	货物名称	型号	数量	单价	小计
（一）硬件设备
1.1	计算节点	8核@4.7Ghz/128GB DDR4 /QK420/512GB SSD企业级/4U机架式(750W)/双56Gbps IB低延迟网卡/无显示器	8套	41500	332000
1.2	存储节点	Xeon E3 1245v5/32GB DDR4 /Quadro P620 2GB/512GB SSD企业级+28TB SATA并行存储/4U机架式(1200W)/ 双56Gbps   IB低延迟网卡/23寸图显	1套	48500	48500
1.4	计算交换机	迈络思IB交换机12口@56Gbps	1台	32500	32500
1.5	管理交换机	24口千兆电口	1台	1100	1100
1.6	KVM切换器	8口，HDMI接口	1台	2350	2350
1.7	机柜	42U，服务器级，插排，托盘	1台	5500	5500
（二）集群系统
2.1	操作系统
2.2	作业调度软件	UltraLAB JOB-Schedule软件	8个节点	10000/节点	80000
2.3	求解器
合计：￥505,400元

常见问题
1）为什么Comsol Multiphysics运行CPU使用率只能到4%
答：很多求解是单线程的，或求解过程的某个阶段，是单线程的，这是正常的

2）Comsol Multiphysics怎样选择CPU
答：不同求解器有不同的多核并行计算特点，具体情况具体分析，参考测试数据

3）Comsol Multiphysics运行为什么会内存不够
答：网格划分过细过大，造成数据计算规模大，超出内存容量，通过优化或简化模型可以降低计算量，少占用内存

4）Comsol Multiphysics求解速度为什么这么慢
答：可能原因CPU核数、频率不合理，也可能是内存容量不够，如果是集群，网络延迟大，另外跟网格划分过细有关系，计算量太大，算不动，具体情况具体分析

5）为什么在超级计算机系统上运行求解计算，还不如单机快
答：多核并行有限度，超级计算机cpu核数多，但频率普遍太低（通常不超过3GHz），某些计算需要有限多核和高频（越高越好），才是最理想的计算架构，另外也可能软件授权的核数有限制

如果你用那些所谓的大品牌机器，跑程序计算不理想或对其专业服务不满意，可以看看我们的方案，也可以通过测试体验，我们可以针对不同的计算规模或预算，量身定制出最快的硬件配置架构，欢迎技术咨询