ANSYS 12.0 Product多机并行计算设置（含fluent ansys cfx等）

wubei7231

64 位 ANSYS 12.0 Product多机并行计算设置（含fluent ansys cfx等）    测试平台为 Windows XP 64 位、Windows 2003 企业版 64 位(虚拟机 Virtual Box 3.0 版)
    2010年3月29日22:59:45更新
记得，一定不要禁用网卡。 如果没有网络连接（比如 单机，无局域网），是不能并行计算得（就是不能开单机多核），如果实在不能连网的话，那么可以设置个虚拟的网络。
比如添加个 虚拟的网卡 或者安装wmware、virtualbox等软件（按好，会多个虚拟机和你连起来）

fluent的话，在ansys12/fluent/licens/  里面  如果放置一个以前版本的 fluent 许可文件，也是可以单独使用fluent的。  比如 可以单机 单核 开 所谓的并行计算（4核，16核等等）一般用于32位2003系统，单进程2g限制，需要多开进城，来计算数量多的网格。。。。。。
不知道 说清楚没。
另外，如果安装了12.0.。。然后想安装12.1的话，很难卸载干净诶。。
我就是重装了系统。。。才搞好。。悲剧
---------------------------------------------------------------------------------------------------------------
   刚刚在外面搜索了下，看到有人转载。欢迎转载，不过请注明simwe论坛的链接。谢谢大家合作。
   
我一个同学近几日研究的成果，绝对原创和首发。不知道留下他的名字是否会给他带来烦恼，先不具名。
做成pdf文件。我上传附件了。阅读权限、仿真币。。。我就不要求了。因为我因为权限不够，仿真币不足痛苦过。
    --------------------------------------------------------------------
         
    概述
    ANSYS 12.0 已经将 Fluent和 CFX 包含在内，对并行计算做了改变，主要包括：

    1、 去掉了 Fluent 并行计算对 -mpi=net 选项的支持；

    2、  Fluent、 ANSYS和 CFX 均可以使用 ANSYS 提供的 HP-MPI 进行数据通讯， 并且 Fluent
    中 -mpi=hp 取代 -mpi=mpich2 成为默认选项(fluent和CFX子目录下的hpmpi实
    际上都是 ANSYS 子目录下 HP-MPI 的副本，就是一个东西)；

    4、 要并行计算，必须在每台主机上创建用户名和密码相同的帐户(简称公共用户)；

    3、 使用 HP-MPI 进行数据通讯的缺点：HP-MPI 直接使用启动并行计算的用户名启动各
    主机上的进程，因此必须使用各主机上的公共用户登录才能开启并行计算(不像
    mpich2 那样可以显式提供用户名和密码)；如果你的电脑没有联网(任务栏右下角的本地连接上有个小叉)， 那么你连本机并行也休想3； 我使用虚拟网络进行测试时，
    不论是宿主机做主机还是虚拟机做主机，ANSYS，CFX和 Fluent 都只能实现单机并
    行， 开启其它主机节点不是没有反应(宿主机做主机)就是进程开启后出现一堆错误
    (虚拟机做主机)，真实的网络上是否如此不得而知4；

    要更多了解 ANSYS 12.0 Product，请接着往下看。
    ANSYS 12.0
   

        ANSYS 12.0 是ANSYS 系列中资格最老的软件，本人拿到的版本好像只带了 HP-MPI 作为 Message passing Interface，该软件位于安装目录下\v120\ansys\HP-MPI，该文件夹里面 有 安 装 说 明 ，安装完后切换到公共用户登录 ，运 行 \v120\ansys\HP-MPI  下 的 sethpmpipassword.bat，输入公共用户密码。要启动并行计算也必须以公共用户身份登录， 不然会失败，因为ANSYS 将使用该登录用户启动各主机上的并行进程。
    ANSYS 12.0 启动并行计算有命令行方式和图形界面两种方式，这里主要介绍命令方式， 命令方式启动的 ANSYS 均以批处理模式执行。
    方式 1
        ansys120 -dis -np  n  –i jobone –o output
   
使用本机进行并行计算，如果不指定-dis，则进行共享内存并行计算。

    方式 2
        ansys120  –dis  –machines mach3:1:mach2:1:mach4:1  –i jobone –o output
   
使用machines文件中指定主机进行计算，并可以给定每台主机所使用的核数，machines
   
文 件 可 由 ANSYS 工 具 生 成 ， 程 序 路 径 为
“开 始 -> 程 序 ->ANSYS
        12.0->Utilities->ANS_ADMIN”，需要说明的是，工具生成的文件格式和ANSYS帮助文件
中说明的不同，Why!
    方式 3
    ansys120 -dis -mpifile  appfile  –i jobone –o output
   
该方式使用-mpifile 中的全部主机进行计算，mpifile 文件格式如下

   

        computer1
   

        computer1
   

        computer2
   

        ...
   

   
如果一台主机有多个核，则需要将主机名字重复几次。

   
结果非常令人沮丧，本人使用虚拟机进行测试，没有一种方式能启动主机间并行计算， 单机并行倒是没有问题。使用 HP-MPI 时，CFX 和 Fluent 也存在同样的问题。

    ANSYS Fluent 12.0
        Fluent 12.0 的并行启动方法和 Fluent 6.3 基本一样，参数含义也相同，详见( 《32  ANSYS 的理念是 “连不起网的人的电脑一定很烂，根本就不能进行任何并行计算”，解决的方法是安装 一块虚拟网卡，穷人吗？上不了真网，弄个假的骗骗ANSYS 总可以吧！

    4 你问我为什么用虚拟机进行测试？唉！我就是那有电脑没有网络的可怜人。
    位 Fluent 6.3.26 并行计算》)，不过 ANSYS 公司给 Fluent 12.0 增加了一个 Launcher，不喜 欢命令行的人可以直接使用图形界面设置并行参数了。

   
如前所述，Fluent 12.0去掉了-mpi=net选项的支持(因此也就不需要安装rsh服务了)，
    增加了-mpi=hp 选项，并且是默认选项，HP-MPI 的安装见ANSYS 12.0 部分。HP-MPI 带来的

   

    问题是无法实现主机间并行计算(虚拟机网络)。
        -mpi=mpich2 选项的使用同 Fluent 6.3 相同，并且该选项在网卡没联网时依然能开启 单击并行计算，不过会输出几条warnings(这一定是 ANSYS 公司在笑话你的电脑太差劲，连 网都上不了，哈哈)。
    ANSYS CFX 12.0
   

        CFX 12.0 可以使用 ANSYS 提供的 HP-MPI，问题同 Fluent 12.0；也可以使用 mpich2 进行通讯，这种方式的问题主要是和 Fluent 12.0 提供的 mpich2 冲突。CFX 12.0 和 Fluent 12.0所带的mpich2 只能安装一个，经过测试，Fluent 12.0不能使用CFX 12.0所带的mpich2 服务，而 CFX 12.0 能兼容 Fluent 12.0 的 mpich2，因此如果两个软件都想用的话请运行 \fluent\fluent12.0.16\multiport\mpi\win64\mpich2\bin 目录中的smpd-install，也就 是Fluent 12.0 带的那个mpich2 服务(谦让是一种美德吗)。CFX 12.0 自带的mpich2 服务

    安装请使用如下命令(cfxparallel位于\CFX\bin 目录中)
        cfx5parallel -install-mpich2-service
   
注册用户名(公共用户)和密码使用如下命令

        cfx5parallel -register-mpich2-user     
    关于CFX 12.0默认情况下需要安装rsh服务的问题，实际上CFX只在启动时检测主机才会 用到rsh服务，不装也可以，方法是建立环境变量CFX_SOLVE_DISABLE_REMOTE_ CHECKS，这样CFX就不会检查主机，也就不用rsh服务了。
如果CFX 12.0   和  Fluent   6.3并存，并且想让CFX启动时检测主机，则建议安装Fluent 6.3 带的  rsh 服务，因为CFX 12.0可以兼容Fluent 6.3的rsh服务( 已测) 。如果装CFX 12.0带的  rsh，则会导致Fluent 6.3的 -mpi=net   选项无法使用。

        CFX 12.0 的对并行计算主机参数定义格式如下

        HOST DEFINITION: ghost
           Remote   Host   Name   =   ghost
           Installation   Root   =   D:\ANSYS Inc\v%v\CFX
            Host Architecture String = winnt-amd64
           Number   of   Processors   =   4
            Relative   Speed   =   1.7
       END   #   HOST   DEFINITION   china424c64d0e
   
主机信息放在配置文件\CFX\config\hostinfo.ccl      中，CFX 12.0  安装后会自动将本机参数 写入主机配置文件，因此填写所有主机参数最简便的方法是将各主机上自动生成的配置文件 合并到一个文件中，并用合并后的文件替换自动生成的配置文件，这样从任何一台主机都可 以启动并行计算。
--------------------------------------------------------------------
    研究的初衷或许是找个好理由告诉老板，我们联网用来计算么。
    上文送给可以联网的同志们。。。。没网可联的也可以自己创建虚拟机，自己连着玩么。

myleader

特意试验了楼主的方法，硬件平台：2台真实的独立电脑，用一台独立百兆的switch组建成隔绝网络。单机配置是：Intel E5300双核，2G内存，千兆网卡。软件环境2台机器完全一致是：win7_64位终极版，神key激活，关闭网络防火墙，指定ip分别为192.168.0.101和102，Ansys12.1 x64版，除系统、驱动程序以外没有其他任何软件，杀毒软件也没有。共用mpich2用户，同样的密码，管理员权限。安装fluent自带的mpich2通信服务。

fluent没有问题，可以直接用mpich2并行，多台机器的CPU满负荷工作，结果也正确。实验文件是我自行绘制的NACA0018翼型升力系数计算文件，66万节点，实践检验如此小规模的问题单机hp-mpi双核并行比2台机器4线程要快。暂时没有找到大规模问题来实验，即使有的话这个内存也太小了，一共才4G内存，估计最多也就能算400万节点的问题。

Ansys Mechanics尚未实验，Workbench尚未实验，暂时还没到流固耦合那步

CFX实验失败，在环境变量中不设置CFX_SOLVE_DISABLE_REMOTE_CHECKS时会用rsh检测主机，由于未安装rsh服务，检测失败，不能启动求解器，设置该环境变量为YES之后确实不再检测主机，也在2台机器上分别启动了进程，不过只在master机器上有1个进程达到了50%cpu占用率，另外一个进程偶尔会有大幅增长，在slave机器上的2个进程偶尔会有大幅占用，绝大部分时间停滞，也许是问题本身规模不够，导致数据传输占用了太多时间，可是实际上网络带宽的占用非常低，百兆switch的连接，一般情况下占用1%不到。实验文件是CFX tutorial中的齿轮泵浸没式实体的例子。

由于本人盗版用户，搞不到CFX的文档，还请楼主多多帮忙解决。

hftuo.uiuc

顶~谢谢楼主，阅读权限是让新手很痛苦

bluelc1982

支持原创，谢谢分享

falltime

赞原创精神！

wubei7231

目前网上还没有ansys12相关的教程或者帖子。算是比较新的了。

zhaomf

"如果你的电脑没有联网(任务栏右下角的本地连接上有个小叉)， 那么你连本机并行也休想"?
莫非我不能单机多核并行，就是这个原因？试试先，不成再找楼主请教，先谢谢了！

wubei7231

就是这个原因。 一般装个虚拟网卡就可以解决了。
xp或者win7下 都有虚拟的网卡可以添加。
不会的话  就在网上找些程序吧。

"如果你的电脑没有联网(任务栏右下角的本地连接上有个小叉)， 那么你连本机并行也休想"?
莫非我不能单机多核并行，就是这个原因？试试先，不成再找楼主请教，先谢谢了！
zhaomf 发表于 2009-11-6 06:41

wubei7231

在网上一搜索，竟然有其他人转载出去了。O(∩_∩)O~
欢迎转载。不过转载请注明来自simwe论坛的链接。谢谢合作。

zhweizi

开创性的工作总是很让人佩服的。
赞叹之余请教一个问题，我之前试ANSYS 11.0版本的分布式并行计算时，发现咱们用的DAO版最多只能支持4个核的并行计算，超过就报错。有人跟我说ANSYS从11.0版本开始，各个模块都是有独立的licese的，就是说要用到并行计算（超过4个核）的时候就需要买或者去找人po jie专门的license了，这个说法我不清楚对不对。但不知楼主试过12.0版本更多数量核的并行计算吗？

wubei7231

.ansys12中fluent12.0开始时候最多只能开四核，然后换了个单独的licens后（以前老版本的），可以不限制核心数目了。
由此看来，确是有你说的这种可能。至少fluent的licens可以自己添加以前的来解决。

开创性的工作总是很让人佩服的。
赞叹之余请教一个问题，我之前试ANSYS 11.0版本的分布式并行计算时，发现咱们用的DAO版最多只能支持4个核的并行计算，超过就报错。有人跟我说ANSYS从11.0版本开始，各个模块都是有独 ...
zhweizi 发表于 2009-11-8 03:13

LION_ARTHAS

.ansys12中fluent12.0开始时候最多只能开四核，然后换了个单独的licens后（以前老版本的），可以不限制核心数目了。
由此看来，确是有你说的这种可能。至少fluent的licens可以自己添加以前的来解决。


wubei7231 发表于 2009-11-8 22:05

请教楼主，难道您的意思是这个12的licens不完美喽？有没有比较完美的，在下用a11sp1的时候就出现了licens限制用户数目的问题，找了专门的破 解，终于解决。
望赐教

seraph_8023

楼主好样的！

zhaomf

多谢楼主指教！我添加了虚拟网卡，安装了虚拟机，并创建了虚拟网络后，果然实现了单机并行！呵呵！
另外回复9楼zhweizi ：我用ANSYS11.0时也发现并行时最多只能分四部分（当时我的电脑是双核的，只能看分几块）；今天解决了ANSYS12.0的并行后，试了一下，同时用6个核是可以的，更多的没试，因为一共就8个核，还留两个干别的呢！呵呵！反正是没有四核的限制了！

luan_ma

今天测试了下12，在XP64位下，ANSYS MECHENICAL 启动，在HPC中设定SMP启动模型，6核可以同时启动，而且不设定的话，系统默认2核启动，也就是说，我的8核CPU的利用峰值只能到25%（这一情况本人测试了很长时间），所以建议多核在启动时候采用SMP设定，不然CPU效率提不上来，至于分布式并行，还没有搞出来，正在研究中，

sinofsi

最近正在摸索11.0并行设置，谢谢楼主的风险，拿来参考一下。不知道有没有高手能够分享一些关于11.0的单机多核并行设置？谢谢啦。。

goodboy087

頂頂~謝謝樓主分享~不然基礎沒打好真的不容易了解~謝謝

footloose

谢谢分享。。。。。。。。。

slaon

赞赏lz同学。这个不太容易弄。我正在准备多机多核并行，挺麻烦。起先想用linux并行，将ansys12-x64-linux在opensuse下安装。安装过程中，到添加host name时，键盘失效了，鼠标右键粘贴失效了，无法添加honst name，无功而返。哎，不知是否有同感者？

jacky1108

感谢楼主的资料，学习了！